分数转换表是如何制定的?——从老SAT谈起
其实,大家最好奇地是CB,或者说ETS(SAT考试实际由ETS承担命题、批卷和算分的工作)是如何计算出每套题目的分数转换表的呢?具体的过程十分复杂,涉及到很多高端的科学知识,但是基本的原理却很容易懂。
我们假设全世界第一套SAT基准卷子称为form A,这套卷子须经过大量的测试,可以非常准确地测试出学生成绩,而且这套题目的算分表也已经成型。这就是为什么一个考试一开始开发的慢,但是越到后来速度会加快,因为最原始的考题和算分基础定好之后,将会直接影响未来后续的成绩情况,所以所有的测试会非常慎重。
我们只有一套form A是不够的。虽然理论上考完后题目应该不会泄漏,但是实际情况并非如此,而且对于美国时差跨越较大,很有可能会通过时差作弊。所以这个时候,研发人员要继续开发form B/C/D/E/F/G……(大家每次在考试的时候,会发现试题册背面有一个FormID,就是这套试题的代码)
那么问题来了,form B的raw score不可能直接用form A转换表进行分数转换,因为这两套题目的难度可能存在差异。如何确定form B的算分表呢?
一个非常笨的方法,就是在这套题目使用之前招募很多学生,让同学们同时做form B和form A。然后我们观察这一波人在这两套试卷的表现,从而获得对应关系。我们以语法section为例。如果我们大数据发现,做form B的同学一般语法错3个的,在做form A的时候基本错2个,那就说明form B语法错3个的得分应该和formA语法错2个的得分保持一致。
如果这个样本有足够的说服力,那么就可以用这个样本数据,测出所有form B的raw score和 formA的raw score的对应关系,进而形成了form B的算分表。
但是我们不可能在这套form使用之前招募太多的被试,不仅费钱,而且可能存在试题泄漏的风险。因此我们对于form B算分表的测试,要在考试的时候同步进行才可以。听起来好玄幻对吧,其实这就是老SAT获取算分表的方式,称之为external-anchor design。ETS公开的材料指出在老SAT中使用external-anchordesign操作的全过程。
(上图选自2016年笔者到ETS培训时,培训师的讲义材料,向我们揭示了ETS分析anchor items的大致方法)