How to Make the Results of Academic Evaluation More Valid: Research on Adjustment Model Based on Latent Variable
-
摘要: 高考作为选拔性学业测评，其效度大小取决于能否区分学生在问题解决时所表现出的迁移能力的强弱。而学业测评的原始得分并不能很好地反映学生实际的能力水平。能力是一个潜变量。为使学业测评的结果更有效，本研究构建了基于潜变量的调节模型，以能力满分学生作为参照，依据试题的难易程度为学生的原始得分重新加权，由此得到每个学生的能力得分。将基于潜变量的调节模型运用于11所高中联考的数据分析中，此次联考共有9008名高一学生参加，涉及10门学科。研究发现：（1）相较原始得分，调整后的能力得分更趋于正态分布；（2）能力得分相对于原始得分更为稳定；（3）从总体上看，原始得分与能力得分具有高相关性；（4）从个体上看，学生的原始得分和能力得分之间有较大的差异。Abstract: The validity of Gaokao(Chinese college entrance examination), a selective test of academic evaluation, depends on its identification of the variability of students' transferable ability in problem-solving. However, the raw score in academic evaluation does not reflect the actual level of students' ability, which is a latent variable. In order to make the results of academic evaluation more valid, this study constructs a moderated model based on latent variable by treating a student with full score in ability as a reference. Raw score of a particular question is re-weighed according to the difficulty of the question. The moderated model based on the latent variable was applied to the data analysis of an 11-school-league examination, with a total of 9, 008 high school students participating in 10 subjects tests. The results show that:a) the adjusted score is more normal than the raw score; b) the ability score is more stable than the raw score; c) the total score has a high correlation with the ability score; d) individually, there is a big difference between the raw score and the ability score.
-
Key words:
- academic assessment /
- reform of Gaokao /
- validity /
- transfer /
- ability /
- latent variable
-
表 1 样本基本信息
学科 总成绩(分) 数(个) 考生数(人) 最高分 最低分 平均分 语文 102 13 77.17 27 8258 数学 120 4 72.81 13 8203 英语 112 17 80.60 82 8256 物理 98 20 71.44 19 4682 化学 96 10 62.69 27 5540 生物 96 10 61.20 33 7475 历史 95 20 68.49 40 2786 地理 92 25 67.40 45 4027 政治 97 3 65.88 39 6918 技术 94 24 66.04 33 4393 
下载: 导出CSV
表 2 与前一次学业测评的相关系数
学科 语文 数学 英语 物理 原始得分相关系数 0.181 0.337 0.537 0.262 能力得分相关系数 0.335 0.350 0.653 0.409
下载: 导出CSV
表 3 各科原始得分与能力得分的相关性
学科 语文 数学 英语 物理 化学 生物 历史 地理 政治 技术 总分 相关系数 0.780 0.912 0.714 0.896 0.900 0.950 0.893 0.820 0.933 0.885 0.871
下载: 导出CSV
-
[1] 布兰思福特. (2013). 人是如何学习的: 大脑、心理、经验及学校(扩展版)(程可拉等译). 上海: 华东师范大学出版社. [2] 崔海丽.(2017).暂缓实施"一科两考", 稳步推进高考改革.教育发展研究, (12), 30-37. http://mall.cnki.net/magazine/magadetail/SHGJ201712.htm [3] 董秀华, 王薇, 王洁.(2017).新高考改革的理想目标与现实挑战.复旦教育论坛, (3), 5-10. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=shdjxyxb200402018 [4] 富兰.(2016).极富空间:新教育学如何实现深度学习.重庆:西南师范大学出版社. [5] 富兰等. (2009). 突破(孙静萍, 刘继安译). 北京: 教育科学出版社. [6] 关晓虹.(2013).科举停废与近代中国.北京:社会科学文献出版社. [7] 加德纳. (2008). 多元智能新视野(沈致隆译). 北京: 中国人民大学出版社. [8] 赖格卢特, 卡诺普. (2015). 重塑学校——吹响破冰的号角(方向译). 福州: 福建教育出版社. [9] 联合国教科文组织. (2017). 反思教育: 向"全球共同利益"的理念转变?(联合国教科文组织总部中文科译). 北京: 教育科学出版社. [10] 刘徽. (2018-01-03). 启动真实性变革. 中国教育报, (005). [11] 潘昆峰, 刘佳辰, 何章立.(2017).新高考改革下高中生选考的"理科萎缩"现象探究.中国教育学刊, (8), 31-36. https://www.cnki.com.cn/lunwen-1017803565.html [12] 乔纳森. (2015). 学会解决问题: 支持问题解决的学习环境设计手册(刘明卓译). 上海: 华东师范大学出版社. [13] 威金斯, 麦克泰. (2017). 追求理解的教学设计(闫寒冰, 宋雪莲, 赖平译). 上海: 华东师范大学出版社. [14] 文东茅, 鲍旭明, 傅攸.(2015).等级赋分对高考区分度的影响——对浙江"九校联考"数据的模拟分析.中国高教研究, (6), 17-21. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zghgxyj201506007 [15] 辛涛, 姜宇.(2017).基于核心素养的基础教育评价改革.中国教育学刊, (3), 12-15. [16] 杨向东.(2017).核心素养测评的十大要点.人民教育, (2), 41-46. http://www.doc88.com/p-5867404710048.html [17] 袁振国, 秦春华等.(2017).高校招生能力建设七人谈.华东师范大学学报(教育科学版), (1), 11-29. http://xbjk.ecnu.edu.cn/CN/Y2017/V35/I1/11 [18] 章建石.(2016).一项公平与效率兼备的高考改革为什么难以为继?——标准分制度的变迁及其折射的治理困境.北京师范大学学报(社会科学版), (1), 31-41. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=bjsfdxxb-shkx201601003 [19] Baker, F.(2001).The basics of item response theory. Washington:Office of Educational Research and Improvement. [20] Papert, S.(1993).The children's machine:Rethinking school in the age of the computer. New York:Basic Books. [21] Skrondal, A., Rabe-Hesketh, S. (2004). Generalized latent variable modeling: Multilevel, longitudinal, and structural equation models. Crc Pres. [22] OECD. (2017). PISA 2015 Technical Report. Derived from: http://www.oecd.org/pisa/sitedocument/PISA-2015-technical-report-final.pdf. -
点击查看大图
图(6) / 表(3)
计量
- 文章访问数: 235
- HTML全文浏览量: 184
- PDF下载量: 351
- 被引次数: 0