中国人文社会科学核心期刊

中文社会科学引文索引(CSSCI)来源期刊

中文核心期刊

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于学生成绩残差分解技术的教师教学质量评价

雷万鹏 马红梅 黄华明

雷万鹏, 马红梅, 黄华明. 基于学生成绩残差分解技术的教师教学质量评价[J]. 华东师范大学学报(教育科学版), 2021, 39(7): 84-91. doi: 10.16382/j.cnki.1000-5560.2021.07.008
引用本文: 雷万鹏, 马红梅, 黄华明. 基于学生成绩残差分解技术的教师教学质量评价[J]. 华东师范大学学报(教育科学版), 2021, 39(7): 84-91. doi: 10.16382/j.cnki.1000-5560.2021.07.008
Lei Wanpeng, Ma Hongmei, Huang Huaming. Evaluate Teaching Performance by Residuals of Student Achievement[J]. Journal of East China Normal University (Educational Sciences), 2021, 39(7): 84-91. doi: 10.16382/j.cnki.1000-5560.2021.07.008
Citation: Lei Wanpeng, Ma Hongmei, Huang Huaming. Evaluate Teaching Performance by Residuals of Student Achievement[J]. Journal of East China Normal University (Educational Sciences), 2021, 39(7): 84-91. doi: 10.16382/j.cnki.1000-5560.2021.07.008

基于学生成绩残差分解技术的教师教学质量评价

doi: 10.16382/j.cnki.1000-5560.2021.07.008
基金项目: 湖北省教育科学规划重大招标课题“湖北省师范教育改革发展研究”(2018ZDZB11);韶关市教育局“韶关市基础教育学校公办教师‘县聘校管’改革政策研究”
  • ①例如,Stronge等(2007)在弗吉利亚州一个非裔美国人口占比60%的城区对85个班级的1936名3年级学生进行了调查并按照这种思路评估教师教师质量,他们将英语、数学、科学与社会四个科目在班级层面的加总残差值得分最高的10%和最低的10%两种情形分别视为“高效教学”和“无效教学”。
  • ②俄亥俄州政府于1998年引进了一套含有17项指标的标准化教师评价体系,涵盖教师备课、学习环境创设、学习者为中心的教学过程和教师专业性四个维度。
  • ③教师和班级之间是一对一匹配关系,不存在同一教师同时教授多个班级的情况。教授其他科目的149名教师不参与分析。即使被访教师的主授科目是语文、数学或英语,但由于其任教的班级没有参加考试也不计入其内。
  • ④其中,7个参加测试的班级没有任课教师参与答题,而408名填写问卷的教师所教班级学生没有参加考试(含主授科目不是语文、数学和英语的情形)。
  • ⑤各科试卷由湖北省名师出题,答卷由本项目组成员参照标准答案采取流水作业方式批改。
  • 表1第(4)−(6)列结果还表明,学生成绩的科目间显著相关,若不在公式1或公式3中加入Aj′Aj″项,将产生较大的遗漏变量偏误。
  • Borman和Kimball(2005)基于内华达州瓦肖县400名教师和7000名4−6年级学生在2002—2003年的追踪数据,在增值模型的基础上利用HLM预测学生成绩,然后基于学生成绩残差分解过程得到阅读和数学两个科目的教师教学质量,他们发现学业基础好的班级若由高质量教师教,则比低质量教师教成绩高10%。

Evaluate Teaching Performance by Residuals of Student Achievement

  • 摘要: 运用教育生产函数方法,在控制学生特征、教师特征和学校特征后,学生成绩的预测值与班级均值之差可视为教师教学对学生学业发展的净效应,将此残差值在班级层面加总平均即为教师教学质量的效应量。本文基于课题组在湖北和广东两省收集的数据,利用多层线性模型预测学生成绩,结合学生成绩残差分解技术讨论语文、数学和英语三科教师教学质量的效应量差异。本研究的主要发现是:第一,语文、数学和英语三个科目的教师教学质量的边际效应介于0.3−0.5个标准差间,且数学教师的教学质量对学生成绩的影响最大;第二,教师教学质量的个体间差异较大,若将教学质量处于平均水平的教师替换为最优秀的教师,全班学生的成绩可整体提升0.3个标准差;而将其替换为教学质量最差的教师后,全班成绩将集体下滑0.5-0.7个标准差。在如何科学评价教师“教得好”方面,本研究具有较大的应用价值。
    1)  ①例如,Stronge等(2007)在弗吉利亚州一个非裔美国人口占比60%的城区对85个班级的1936名3年级学生进行了调查并按照这种思路评估教师教师质量,他们将英语、数学、科学与社会四个科目在班级层面的加总残差值得分最高的10%和最低的10%两种情形分别视为“高效教学”和“无效教学”。
    2)  ②俄亥俄州政府于1998年引进了一套含有17项指标的标准化教师评价体系,涵盖教师备课、学习环境创设、学习者为中心的教学过程和教师专业性四个维度。
    3)  ③教师和班级之间是一对一匹配关系,不存在同一教师同时教授多个班级的情况。教授其他科目的149名教师不参与分析。即使被访教师的主授科目是语文、数学或英语,但由于其任教的班级没有参加考试也不计入其内。
    4)  ④其中,7个参加测试的班级没有任课教师参与答题,而408名填写问卷的教师所教班级学生没有参加考试(含主授科目不是语文、数学和英语的情形)。
    5)  ⑤各科试卷由湖北省名师出题,答卷由本项目组成员参照标准答案采取流水作业方式批改。
    6)  ⑥表1第(4)−(6)列结果还表明,学生成绩的科目间显著相关,若不在公式1或公式3中加入Aj′Aj″项,将产生较大的遗漏变量偏误。
    7)  ⑦Borman和Kimball(2005)基于内华达州瓦肖县400名教师和7000名4−6年级学生在2002—2003年的追踪数据,在增值模型的基础上利用HLM预测学生成绩,然后基于学生成绩残差分解过程得到阅读和数学两个科目的教师教学质量,他们发现学业基础好的班级若由高质量教师教,则比低质量教师教成绩高10%。
  • 表  1  基于HLM的学生成绩方差分解

    I:HLM零模型II:HLM完整模型
    (1)(2)(3)(4)(5)(6)
    CMECME
    C 0.2969*** 0.2808***
    (0.0310) (0.0499)
    M 0.2176*** 0.4590***
    (0.0334) (0.0464)
    E 0.3210*** 0.3053***
    (0.0339) (0.0316)
    学生层面的变量 × × ×
    教师层面的变量 × × ×
    其他控制变量 × × ×
    u0c2 43.2761 60.6185 33.4951 5.3860 6.4779 2.5661
    ε2 58.0091 46.3027 64.0972 31.8488 24.3419 34.6120
    ICC 0.4273 0.5669 0.3432 0.1446 0.2102 0.0690
    ICC/(1−ICC) 0.7460 1.3092 0.5226 0.1691 0.2661 0.0741
    $ \sqrt{\mathrm{I}\mathrm{C}\mathrm{C}/(1-\mathrm{I}\mathrm{C}\mathrm{C})} $ 0.8637 1.1442 0.7229 0.4112 0.5159 0.2723
    N 1250 1155 856 670 672 441
      注:①系数下方的括号里为标准误,+******分别表示在10%,5%,1%和0.1%的水平上显著;②估计方法为最大似然估计;③完整模型中的变量除了各科成绩外还包括学生所在年级、监护人陪读与否等,详见“模型界定”部分。此处省略了控制变量的估计系数,如有需要,欢迎来函。
    下载: 导出CSV

    表  2  教师教学质量的分布特征

    变量名语文(Cj=1)数学(Mj=2)英语(Ej=3)
    均值标准差N均值标准差N均值标准差N
    学生层面的考试成绩(Aj 70.607 9.954 1250 70.563 10.522 1155 70.147 10.106 856
    学生层面的教师教学质量($ {\widehat{\rm{u}}}_{0c.ji} $) −0.346 5.198 670 −0.026 5.321 672 −1.097 5.235 441
    $ {\widehat{\rm{u}}}_{0c.ji} $为正的比例($ {\widehat{\rm{u}}}_{0c.ji} $>0) 0.527 0.500 763 0.569 0.496 832 0.513 0.500 534
    收缩因子($ {\lambda }_{c,j} $) 0.892 0.014 763 0.929 0.010 832 0.784 0.026 534
    班级层面的教师教学质量($ {{u}^{*}}_{0c,j} $) −1.719 4.530 65 0.023 4.930 65 −0.402 8.964 40
    $ {{u}^{*}}_{0c,j} $为正的比例($ {{u}^{*}}_{0c,j} $>0) 0.385 0.490 65 0.538 0.502 65 0.446 0.501 40
      注:①语文、数学、英语三科教师教学质量$ {{u}^{*}}_{0c} $的最大值和最小值分别是[−13.192、6.366]、[−8.668、20.438]和[−25.687、33.492]。②表中的比例值是没有乘以100%的小数标记法。
    下载: 导出CSV
  • [1] 常芳, 党伊玮, 史耀疆, 刘承芳. (2018). “优绩优酬”: 关于西北农村教师绩效工资的实验研究. 华东师范大学学报(教育科学版),36(4),131—141.
    [2] 梁文艳, 杜育红. (2011). 基于学生学业成绩的教师质量评价: 来自中国西部农村小学的证据. 北京大学教育评论,9(3),105—120. doi:  10.3969/j.issn.1671-9468.2011.03.009
    [3] 雷万鹏, 马红梅. (2019). 学生成绩对教师工资的影响. 北京大学教育评论,17(4),160—172.
    [4] 薛海平, 王蓉. (2016). 义务教育教师绩效奖金、教师激励与学生成绩. 教育研究,37(5),21—33.
    [5] Borman, G. D. and Kimball, S. M. (2005). Teacher Quality and Educational Equality: Do Teachers with Higher Standards-Based Evaluation Ratings Close Student Achievement Gaps?. Elementary School Journal, 106(1), 3—20. doi:  10.1086/496904
    [6] Chang, F., Wang, H., Qu, Y., Zheng, Q., Loyalka, P., Sylvia, S., Shi, Y., Dill, S.-E. and Rozelle, S. (2020). The Impact of Pay-for-Percentile Incentive on Low-Achieving Students in Rural China. Economics of Education Review, 75(3), 1—10.
    [7] Chetty, R., Friedman, J. N. and Rockoff, J. E. (2014). Measuring the Impacts of Teachers Ii: Teacher Value-Added and Student Outcomes in Adulthood. American Economic Review, 104(9), 2633—2679. doi:  10.1257/aer.104.9.2633
    [8] Cowan, J. and Goldhaber, D. D. (2018). Do Bonuses Affect Teacher Staffing and Student Achievement in High Poverty Schools? Evidence from an Incentive for National Board Certified Teachers in Washington State. Economics of Education Review, 65(4), 138—152.
    [9] Duflo, E., Dupas, P. and Kremer, M. (2011). Peer Effects, Teacher Incentives, and the Impact of Tracking: Evidence from a Randomized Evaluation in Kenya. American Economic Review, 101(5), 1739—1774. doi:  10.1257/aer.101.5.1739
    [10] Duflo, E., Dupas, P. and Kremer, M. (2015). School Governance, Teacher Incentives, and Pupil-Teacher Ratios: Experimental Evidence from Kenyan Primary Schools. Journal of Public Economics, 123(3), 92—110.
    [11] Goldhaber, D. D., Brewer, D. J. and Anderson, D. (1999). A Three-Way Error Components Analysis of Educational Productivity. Education Economics, 7(3), 199—208. doi:  10.1080/09645299900000018
    [12] Goldstein, H. (2014). Using League Table Rankings in Public Policy Formation: Statistical Issues. Annual Review of Statistics and Its Application, 1(1), 385—399. doi:  10.1146/annurev-statistics-022513-115615
    [13] Goldstein, H. and Spiegelhalter, D. J. (1996). League Tables and Their Limitations: Statistical Issues in Comparisons of Institutional Performance. Journal of the Royal Statistical Society: Series A (Statistics in Society), 159(3), 385—409. doi:  10.2307/2983325
    [14] Hanushek, E. A. (2011). The Economic Value of Higher Teacher Quality. Economics of Education Review, 30(3), 466—479. doi:  10.1016/j.econedurev.2010.12.006
    [15] Hanushek, E. A., Piopiunik, M. and Wiederhold, S. (2019). The Value of Smarter Teachers: International Evidence on Teacher Cognitive Skills and Student Performance. Journal of Human Resources, 54(4), 857—899. doi:  10.3368/jhr.54.4.0317.8619R1
    [16] Hanushek, E. A. and Rivkin, S. G. (2006). Teacher Quality. In E. A. Hanushek and F. Welch (Eds.), Handbook of the Economics of Education (Vol. 2, pp. 1051-1075). Amsterdam, North-Holland: Elsevier.
    [17] Hanushek, E. A. and Rivkin, S. G. (2012). The Distribution of Teacher Quality and Implications for Policy. Annual Review of Economics, 4(1), 131—157. doi:  10.1146/annurev-economics-080511-111001
    [18] Leckie, G. and Goldstein, H. (2015). A Multilevel Modelling Approach to Measuring Changing Patterns of Ethnic Composition and Segregation among London Secondary Schools, 2001-2010. Journal of the Royal Statistical Society. Series A (Statistics in Society), 178(2), 405—424. doi:  10.1111/rssa.12066
    [19] Loyalka, P., Sylvia, S., Liu, C., Chu, J. and Shi, Y. (2019). Pay by Design: Teacher Performance Pay Design and the Distribution of Student Achievement. Journal of Labor Economics, 37(3), 621—662. doi:  10.1086/702625
    [20] Milanowski, A. (2004). The Relationship between Teacher Performance Evaluation Scores and Student Achievement: Evidence from Cincinnati. Peabody Journal of Education, 79(4), 33—53. doi:  10.1207/s15327930pje7904_3
    [21] Muñoz, M. A., Prather, J. R. and Stronge, J. H. (2011). Exploring Teacher Effectiveness Using Hierarchical Linear Models: Student-and Classroom-Level Predictors and Cross-Year Stability in Elementary School Reading. Planning and Changing, 42(3-4), 241—273.
    [22] Nagler, M., Piopiunik, M. and West, M. R. (2020). Weak Markets, Strong Teachers: Recession at Career Start and Teacher Effectiveness. Journal of Labor Economics, 38(2), 453—500. doi:  10.1086/705883
    [23] Pham, L. D., Nguyen, T. D. and Springer, M. G. (2020). Teacher Merit Pay: A Meta-Analysis. American Educational Research Journal, 57(6), 1—40.
    [24] Rothstein, J. M. (2010). Teacher Quality in Educational Production: Tracking, Decay, and Student Achievement. Quarterly Journal of Economics, 125(1), 175—214. doi:  10.1162/qjec.2010.125.1.175
    [25] Shifrer, D., Turley, R. L. and Heard, H. (2017). Do Teacher Financial Awards Improve Teacher Retention and Student Achievement in an Urban Disadvantaged School District?. American Educational Research Journal, 54(6), 1117—1153. doi:  10.3102/0002831217716540
    [26] Stronge, J. H., Ward, T. J., Tucker, P. D. and Hindman, J. L. (2007). What Is the Relationship between Teacher Quality and Student Achievement? An Exploratory Study. Journal of Personnel Evaluation in Education, 20(3-4), 165—184. doi:  10.1007/s11092-008-9053-z
    [27] Subedi, B. R., Reese, N. and Powell, R. (2015). Measuring Teacher Effectiveness through Hierarchical Linear Models: Exploring Predictors of Student Achievement and Truancy. Journal of Education and Training Studies, 3(2), 34—43.
  • 加载中
计量
  • 文章访问数:  327
  • HTML全文浏览量:  216
  • PDF下载量:  42
  • 被引次数: 0
出版历程
  • 刊出日期:  2021-07-01

目录

    /

    返回文章
    返回