三、编辑项目或题目
(一)搜集有关资料
测验计划编好后,就要搜集有关资料作为命题取材的依据,一个测验的好坏和测验材料的选择适当与否有密切关系。为此要注意以下几个问题:
1.材料要丰富
资料搜集愈齐全,命题工作便愈顺利,这样测验内容便不致有所偏颇,而且能提高行为样本的代表性。如编制人格测验,搜集的资料应包括:人格的主要理论,用于描述人格的术语,临床观察的资料,以及其它人格调查表的题目等。
2.材料要有普遍性
所选择的材料对测验对象要尽可能公平,即受测者都有相等的学习机会。譬如,编制标准化的学科成绩测验时,要以统一的教学大纲和统编教材作为题目来源,不能只考虑个别教师的意见,而要考虑大多数教师和专家的意见。在编制智力测验时则要尽量避免特殊知识经验和文化水平的影响。
(二)选择项目形式
测验编制者还必须确定题目的表现方式,是纸笔测验还是操作测验,是只要受测者认出正确答案,还是需要他自己做出正确答案。在大多数情况下,任何题目都可以用几种形式呈现,问题是如何选择“最优的’形式(各种题目形式的比较和编题原则,在下一节详细讨论)。在一个测验中,可以采用一种形式,也可以采用几种形式。
在选择题目形式时,要考虑以下几点,
1.测验的目的和材料的性质
如果要考察学生对概念和原理的记忆,适于用简答题,要考察对事物的辨别和判断,适于用选择题,而要考察综合运用知识的能力,则适于用论文题。
2.接受测验的团体的特点
如对幼儿宜用口头测验,对于文盲识字不多的人不宜采用要求读和写的项目,而对有言语缺陷的人(如聋哑,口吃)则要尽量采用操作项目。
3.各种实际因素
譬如,当被试人数过多,测验时间和经费又有限时,宜用选择题进行团体纸笔测验,而人数步,时间充裕,又有某些实验器和设备,则可用操作测验。
我国的廖世承、陈鹤琴先生几十年前曾提出以下几条选择测验形式的原则:使被试者容易明了测验作法;在做测验时不会弄错;做法简明省时,计分省时省力;经济。
(三)编写和修订题目
制定测题的过程包括,写出、编辑、预试和修改等一系列过程。在获得一个令人满意的测题之前,这些步骤是不断重复的。在这个过程中,编制者和有关方面专家要对题目反复审察修订,改正意义不明确的词语,取消一些重复的和不合用的题目。然后将初步满意的题目集起来组成一个预备测验。编写题目要注意以下几个问题。
1.题目的范围要与测验计划所列的内容技能双维表相一致。
2.题目的数量要比最后所需的数目多一倍至几倍,以备筛选和编制复份。
3.题目的难度必须符合测验目的的需要。
4.题目的说明必须清楚明白。
四、项目的试测和分析
初步筛选出的项目虽然在内容和形式上符合要求,但是否具有适当的难度与鉴别作用,必须通过实践来检验,也就是要通过预测进行项目分析,为进一步筛选题目提供客观依据。
(一)试测
项目性能之优劣,不能仅凭测验编制者主观的臆测来决定,必须将初步筛选出的项目结合成一种或几种预备测验,经过实际的试测而得客观性资料。预测应注意以下几个问题:
1.预测对象应取自将来正式测验准备应用的群体。例如,对于一个学绩测验来说,进行预备测验的学生必须和测验所指定的被试属于同一个年级。并且具有相同的课程背景。取样时应注意其代表性,人数不必太多,亦不可过少。
2.预测的实施过程与情境应力求与将来正式测验时的情况相近似。
3.预测的时限可稍宽一些,最好使每个受试者都能将题目做完。以搜集较充分的反应资料,使统计分析的结果更为可靠。
4.在预测过程中,应对受试者的反应情形随时加以记录,如在不同时限内一般受试者所完成的题数、题意不清之处及其他有关问题。
预测的目的在于获得被试对题目如何反应的资料,它既能提供哪些题目意义不清,容易引起误解等质量方面的信息,又能提供关于题目好坏的数量指标,而且通过预测还可以发现一些原来想不到的情况,如检验时限长合适,在施测过程中还有哪些条件需要进一步控制等。
(二)项目分析
对项目的分析包括质的分析和量的分析两个方面。前者是从内容取样的适切性,题目的思想性以及表达否清楚等方面加以评鉴,后者是对预测结果进行统计分析,确定题目的难度、区分度、备选答案的合适度等。
编制一套测验,只依据一次预测的结果所作的题目分析是不够的。
由于预测的被试样本可能会有取样误差,故由此得到的项目分析结果未必完全可靠;为了检验所选出的项目的性能是否真正符合要求,通常需再选取来自同一总体的另一样本再测一次,并根据其结果进行第二次项目分析,看两次分析结果是否一致。如果某个题目前后差距较大,说明该题的性能值得怀疑。这种在两个独立样本中进行项目分析的过程叫做复核。关于项目分析方面的问题,将在第七章详细讨论。
五、合成测验
经过预测和项目分析,对各个题目的性能已有可靠的资料作为评价的根据,下一步就可以选出性能优良的题目加以适当的编排,组合成测验。
(一)项目的选择
在选择项目时,不但要考虑项目分析所提供的资料,还要考虑测验的目的、性质与功能。最好的题目,就是只测定所需要的特征,并能对该特征加以有效区分的难度合适的题目。首先是要测定所需要的特征,如果我们想测定语言推理能力,就不要包括主要测量阅读能力或算术知识的项目。题目性能好坏是相对的,不同的测验对题目的难度和区分度有不同的要求。
一般说来,题目的区分度越高越好,这是选择题目的一条重要标准。特别是对于选拔测验,此条尤为重要。但有时根据需要也可以保留个别鉴别力不高的题目。如在学科成就测验中有些内容十分重要,即使区分度低一些,也要包括在内。
选择题目的另一个指标是难度.难度多大合适并无一个绝对标准,而要根据测验目的来确定。有的要求难一些,有的则要求容易一些,有的可不考虑难度,就是同一张试卷,题目难度也可以不同,只要整个测验的平均难度符合测验要求即可。
根据题目分析资料选出的题目,还要与测验计划(双向细目表)再次对照,看看在材料内容以及所测量的认知技能上的比率是否与计划相符,必要时须加以适当调整。此外题目的数量还必须适合于所限定的时间。
(二)项目的编排
项目选出之后,必须根据测验的目的与性质,并考虑受试者作答时的心理反应方式,加以合理安排。
在测验开头应该有一,两个十分容易的题目,以使受测者熟悉作答程序,解除紧张情绪,建立信心,进入测验情境。对试题的总的编排原则是要由易到难。这样可避免受测者在难题上耽搁时间太多,而影响对后面问题的解答。在测验最后可有少数难度较大的题目,以测出受测者的最高水平。
下面是两种常见的排列方式:
1.并列直进式
此种方式是将整个测验按试题材料的性质归为若干分测验,在同一分测验的试题,则依其难度由易到难排列。
2.混合螺旋式
此种方式是先将各类试题依难度分成若干不同的层次,再将不同性质的试题予以组合,作交叉式的排列,其难度则渐次升进。此种排列的优点是,受试者对各类试题循序作答,从而维持作答的兴趣。
(三)编造复本
为增加实际的效用,一种测验至少要有等值的两份,份数越多,使用起来愈便利。例如,我们要用测验来考察一班学生在一学期中的进步,必须测量两次,一次在开学初,一次在学期末,两次结果的差别代表一学期中成绩的提高。如果测验只有一份,用两次就难免有练习的影响,不能完全代表进步的数量。要是这个测验有好几份替换使用,就可以免掉这种困难。
测验的各份复本必须等值,所谓等值需符合下列几个条件:
1.各份测验测量的是同一种心理特性。
2.各份测验具有相同的内容和形式。
3.各份测验的题目不应有重复的地方。
4.各份测验题目数量相等,并且有大体相同的难度和区分度。
5.各份测验的分数分布(平均数和差异度)大致相等。
只要有足够数量的题目,编造复本的手续是很简单的。先将所有合用的题目按难度排列,其次序为1、2、3、4、5、6、……如果要分成两个等值的测验本,可采用下面的分法。
A本:1、4、5、8、9、12、13、16、17、20、……
B本:2、3、6、7、10、11、14、15、18、19、……
如果要分成三个等值的测验本,可用采下的分法:
A本:1、6、7、12、13、18、19、24、……
B本:2、5、8、11、14、17、20、23、……
C本:3、4、9、10、15、16、21、22、……
采用上面的分法可使复本之间在难度上基本相等,从而获得大体相同的分数分布。复本编好后,应该再试测一次,以决定各份究竟是否等值。
一级建造师二级建造师消防工程师造价工程师土建职称房地产经纪人公路检测工程师建筑八大员注册建筑师二级造价师监理工程师咨询工程师房地产估价师 城乡规划师结构工程师岩土工程师安全工程师设备监理师环境影响评价土地登记代理公路造价师公路监理师化工工程师暖通工程师给排水工程师计量工程师