- A+
4月2日,人工智能在线教育机构流利说(NYSE:LAIX)宣布旗下AI英语老师提供的“定级测试”完成与中国英语能力等级量表(CSE,China’s Standard of English Language Ability,简称CSE)对接。这是目前国内第一家与CSE对接的企业,此前,英
国文化教育处旗下雅思、普思等国际英语考试宣布与CSE完成对接。
研制中国英语能力等级量表是外语能力测评体系建设的重要任务。量表是首个面向中国学习者的英语能力标准,于2018年2月由教育部、国家语言文字工作委员会正式发布。根据循序渐进的原则,CSE 将语言能力分为9个级别和3个发展阶段,其中1-3 级为初级,4-6级为中级,7-9级为高级阶段。
流利说此次提交的对接产品,是公司核心App“英语流利说”提供的“定级测试”系统。定级测试作为流利说AI英语老师的重要组成部分,该系统已经帮助近四千万用户完成了英语水平定级。其定级题库涵盖了六种题型,采用3PL模型(3 parameter logisitic model)估计出每道题的难度、区分度和猜测度。测试过程根据用户每一题的答题情况得出相应的测量误差,随着做题数量增加,测量误差降低,在误差低于设定阈值时结束测试。从测试实施到结果判定,整个过程由AI老师负责,涉及用户的听说读写能力,利用音频、图片等多种多媒体形式,完全自动化。
本次对接过程主要采用改良的Angoff方法,CSE的主要起草人之一、广东外语外贸大学刘建达教授作为团队学术带头人,与数名具备丰富的一线高校英语教学经验的成员组成专家组。他们结合CSE的分级方法,通过自身作答、知识点分析、难度判断等方式进行讨论和判断,最终得出各题目对应CSE的级别。
值得注意的是,改良的Angoff方法相比传统的Angoff方法多了一轮讨论和二次判断的步骤,根据对接报告中援引的论文注1,第二次判定的结果相
比第一次往往更为一致。结果显示,第二轮判定后有13题级别上调,9题级别下调,充分体现了改良后Angoff方法弥补了传统Angoff的不足,提高了对接的准确性。
对接报告显示,流利说定级测试中的级别与CSE的级别基本相当:1级相当于CSE的1-2级,流利说的2级相当于CSE的2-3级,流利说的3级相当于CSE的3-4级,流利说的4级相当于CSE的4级,流利说的5级相
当于CSE的4-5级,流利说定级测试的6级以上能力水平相当于CSE的5级或以上等级。