【心理与教育测量】06 测量的项目分析
2025-09-02 09:55:17 0 举报
AI智能生成
【心理与教育测量】《心理与教育测量》(第4版),戴海琦主编,暨南大学出版社,2018年;
作者其他创作
大纲/内容
难度
难度定义
难度是指被试完成测验项目任务时所遇到困难的程度,用P表示
难度计算
二分法计分项目
适用
是/否,对/错(单择题)
通过率
答对或通过该项目的人数百分比:通过率=答对的人数/总人数
极端分组法
27%比例分高低分组:(高分组答对的人数/高分组总人数+低分组答对人数/低分组总人数)/2
非二分法计分项目
适用
论述题,从0-满分间有多个结果
计算
该题平均分/该题满分
测验难度水平的确定
常模参照测验: 难度值应接近0.5;
标准参照测验:不必过度考虑难度;
选拔录用人员:难度控制在录取率
速度测验:难度不宜太高;
难度测验:难度在0.5左右;
难度的等距变换
正态分布转化为Z分数
等距难度指数=13+4xZ分数
Z值越大,难度越高
难度对测验的影响
影响测验分数的分布形态
难度高 (P小),得分低,正偏态,难度低 (P大),得分高,负偏态
影响测验分数的离散程度
过易和过难,分数集中在高分端或低分端,分数全距缩小难度0.50左右最佳,以集中在两极端为最差
区分度
项目区分度意义
定义
区分度是测验项目对被试心理品质水平差异的区分能力,用D表示。
D值的取值范围[-1,+1],正值,为积极区分;负值,为消极区分;为0,为无区分作用
D值(正) 越大,区分效果越好
区分度计算
项目鉴别指数法/项目辨别指数法
测验总分是连续变量时
从分数分布的两端各选择27%的被试,分别称为高分组和低分组,
计算出高分组和低分组各自在项目上的通过率两者之差就是鉴别指数(D),即D = Ph - Pl
计算出高分组和低分组各自在项目上的通过率两者之差就是鉴别指数(D),即D = Ph - Pl
题目鉴别指数
0.40以上,很好
0.30-0.39,良好,修改会更好
0.20-0.29,尚可,扔需修改
0.20以下,差,必须淘汰
0.30-0.39,良好,修改会更好
0.20-0.29,尚可,扔需修改
0.20以下,差,必须淘汰
极端组的划分
一般以27%
当效标分数较正态分布平坦时,33%左右
标准化测验,习惯用27%
团体人数少于100时候,以50%分界
相关法
总概
以项目分数与效标分数或测验总分的相关作为项目区分度的指标
相关越高,项目区分度就越高,
点二列相关
项目分数为0,1记分 (二分变量)
效标分数/测验总分为连续变量
效标分数/测验总分为连续变量
二列相关
连续的测量变量,其中一个被人为划分两类
两个变量都是二分变量
积差相关
连续变量,正态分布,呈线性,不少于30对
区分度与难度的关系
难度越接近0.50时,项目的潜在区分度越大,而难度越接近于1.00或者0时,项目的潜在区分度越小。
如果测验的所有项目都是中等难度,只有在项目的内在相关为0时,整个测验分数才产生正态分布
区分度的相对性
不同的计算方法,所得区分度值不同
样本容量大小影响相关法区分度值的大小
分组标准影响鉴别指数值(D)
被试样本的同质性程度影响区分度值的大小
猜测问题
猜测问题与猜测率
猜测误差来源
猜相对于不猜的误差
猜测成功与否引起的误差
项目难度受猜测影响的校正
某个项目的通过率
CP为校正后的通过率,P为实得通过率,K为选项数目
测验的得分
S为校正后的得分,R为答对的项目数,w为答错的项目数,K为选项数目
猜测矫正的优缺点
优点
猜测校正可避免降低测验的信度
校正后的得分可以反映被试的真正水平和能力
在教育测验中,可以培养被试诚实的美德
比较公平
校正后的得分可以反映被试的真正水平和能力
在教育测验中,可以培养被试诚实的美德
比较公平
缺点
公式的基本假设不成立
只要被试能够答完全部试题
不采用猜测校正对信度并无重大影响
有时会出现无法解释的现象
实际生活中,由于经常缺乏充分的证据与资料,必须凭借部分知识来判断,且进行合理猜测
只要被试能够答完全部试题
不采用猜测校正对信度并无重大影响
有时会出现无法解释的现象
实际生活中,由于经常缺乏充分的证据与资料,必须凭借部分知识来判断,且进行合理猜测
多重选择题的项目分析方法
分析难度、区分度、被试在项目作答上的反应
1.项目是否具有所预期的功能?对于常模参照测验,测题是否有足够的区分度?对目标参照测验来说,测题是否能充分地测量到教学结果?
2.项目的难度是否得当?
3.项目是否有缺陷?
4.诱答选项是否都有效?
1.项目是否具有所预期的功能?对于常模参照测验,测题是否有足够的区分度?对目标参照测验来说,测题是否能充分地测量到教学结果?
2.项目的难度是否得当?
3.项目是否有缺陷?
4.诱答选项是否都有效?
分析难度区分度的方法
1.按被试测验的总分,从高到低依次排列试卷
2.从最高分依次向下取全部试卷的27%作为高分组:
3.从最低分依次向上取全部试卷的27%作为低分组
4.分别登记高分组与低分组选中各选择项的人数 (也可用人数比例)
5.根据登记结果进行选择项的质量分析。
2.从最高分依次向下取全部试卷的27%作为高分组:
3.从最低分依次向上取全部试卷的27%作为低分组
4.分别登记高分组与低分组选中各选择项的人数 (也可用人数比例)
5.根据登记结果进行选择项的质量分析。
分析被试反应
1.如果正确的备选答案被所有的受测者所选择,就说明该项目太容易或者可能是项目中提供了某种暗示,使正确答案过于明显
2.如果某个错误答案没有任何被试选择,就说明该选项不具有迷惑性,错得过于明显,除增加阅读时间外,不起任何作用。
一般来说,除非有2%以上的人选择,否则该备选答案应该予以修改或删除
3.如果所有被试都选择了同一个错误答案,就可能是编制测验时把正确答案搞错了,也可能是在教学中出现了错误
2.如果某个错误答案没有任何被试选择,就说明该选项不具有迷惑性,错得过于明显,除增加阅读时间外,不起任何作用。
一般来说,除非有2%以上的人选择,否则该备选答案应该予以修改或删除
3.如果所有被试都选择了同一个错误答案,就可能是编制测验时把正确答案搞错了,也可能是在教学中出现了错误
项目功能差异分析
项目功能差异
项目功能差异 (diferential item function,DIF):不同群体对同一项目的答对概率(或得分率)不
同,即不同群体在同一项目上得分存在差异。-测验对所有团体的公平性
同,即不同群体在同一项目上得分存在差异。-测验对所有团体的公平性
题目区分度高,可以测出学生真实水平
题目设置有问题,比如在书上找不到这个知识
项目功能差异分析的基本步骤
分析数据准备
准备性分析
探索性分析
差异根源分析
准备性分析
探索性分析
差异根源分析
项目功能差异检测方法简介
01 方差分析法
02 项目难度比较法
03 卡方检验法
04 项目反应理论方法
02 项目难度比较法
03 卡方检验法
04 项目反应理论方法

收藏

收藏
0 条评论
下一页