The Quantitative Methods in Education Empirical Research in China: A Review on Five Years’ Application
-
摘要: 自2015年“全国首届教育实证研究论坛”召开后,中国教育科学领域兴起了一股定量研究方法的应用之风。然而,由于受到研究水平、研究环境的制约,有关量化研究和混合研究中定量方法的应用和方法论的研究仍是我国教育研究中的一个薄弱项,学术界还没有对教育实证研究中的定量方法的应用形成全面客观的认识。即便陆续有学者对定量方法在我国的应用情况做了综述研究,却多是对统计数据的简单描述与概括,针对具体问题的详细分析几乎没有。更没有针对实际方法误用的纠正,无法切实帮助到具体方法的应用者。因此,详细地梳理、分析定量研究方法在我国的实际应用情况,并尝试对其不足之处给出较为具体的建议,对定量研究方法在我国的发展与成熟具有重要的作用与价值。本文以2015—2019年在11本教育综合类中文社会科学引文索引(CSSCI)期刊中应用定量方法的论文为研究对象,总结了定量研究方法五年来在我国教育实证研究中的应用现状,并针对具体问题提出对策与建议;整理了一些常见的定量研究方法的误用情况,并针对这些误用给出了正确应用的建议;分析了定量研究方法在教育实证研究中的使用趋势。Abstract: Since the “National Educational Empirical Research Forum” was first held in 2015, the application of quantitative methods in the field of education science in China has been popular. However, due to the limitation of research level and research environment, investigating the methodology of quantitative methods and applying quantitative methods in quantitative or mixed research are still a weak point in educational research in China. The academic community has not formed a comprehensive and objective understanding of the application of quantitative methods in education empirical research. Even though some scholars review the application of quantitative methods in education empirical research in China, they only describe and summarize the statistical data, and there is limited analysis on the specific problems with the application. Moreover, there is no correction for the misuse of quantitative methods, which cannot help the applicators effectively. Therefore, efforts to analyze the practical application of quantitative methods in China and give more specific suggestions on its shortcomings are of great significance for the development of quantitative methods in China. This paper examined the articles published in 11 comprehensive education journals included in the Chinese Social Science Citation Index (CSSCI) from 2015 to 2019 as the objects. It summarized the application of quantitative methods in educational empirical research in China in the past five years, and provided suggested solutions to some specific issues. Also, it presented the misuse of some widely used quantitative methods, and made the correct application suggestions; analyzed the future trend of applying quantitative methods in educational empirical research in China.
-
Key words:
- quantitative research methods /
- application status /
- misuse /
- trend
-
表 1 选取期刊简介
序号 期刊名 IF(2018) 排序 1 华东师范大学学报(教育科学版) 6.327 2/274 2 教育研究 4.487 5/274 3 清华大学教育研究 2.661 14/274 4 中国教育学刊 2.429 17/274 5 北京大学教育评论 2.379 20/274 6 复旦教育论坛 2.010 29/274 7 教育发展研究 1.893 33/274 8 教育学报 1.608 39/274 9 教育科学 1.584 41/274 10 教育研究与实验 1.360 48/274 11 湖南师范大学教育科学学报 1.187 57/274 注:参考《中国学术期刊影响因子年报(人文社会科学•2019版)》制表 表 2 定量方法和分析工具应用情况
定量方法 论文篇数占比 分析工具 论文篇数占比 描述性统计 77.56% SPSS 80.05% 回归分析 54.09% AMOS 14.13% 相关分析 25.59% Mplus 3.84% 方差分析 17.12% STATA 0.49% t检验 34.09% SAS 0.85% 卡方检验 4.80% R 0.19% 结构方程模型 9.88% Python 0.14% 因子分析 15.05% 其他 0.31% 多层线性模型 1.90% 元分析 0.88% 其他 4.87% 注:由于某些研究中使用了不止一种定量方法,故总百分比加起来超过100%。 表 3 国际上常用但目标论文中较少或从未出现的定量研究方法
方法 简介 代表性分析软件 参考资料 项目反应理论(IRT) 是一系列心理统计模型的总称,其分析结果综合直观地呈现出项目的难度、区分度等特征,主要被用来指导量表的编制和项目筛选 R、MatLab、Mplus、PARSCALE、Winsteps、MUlTILOG Handbook of Item Response Theory: Volume 1,Models(van der Linden,2016,pp. 1−623);Volume 2,Statistical Tools(van der Linden,2017,pp. 1−456) 聚类分析(Cluster Analysis) 把研究对象进行归类,使同一类的个体具有高度的同质性,不同类之间具有高度的异质性的多元分析技术的总称 R、SAS、SPSS、S-Plus、MatLab Handbook of Cluster Analysis(Hennig,Meila,Murtagh,& Rocci,2016, pp. 1−773) 时间序列分析(Time Series Analysis) 分析随机数据序列所遵循的统计规律的方法,用于系统描述、系统分析和预测未来趋势 R、SPSS、Eviews(计量经济学软件包)、SAS、Stata、Python、MatLab Time Series Analysis and Its Applications with R Examples,third edition(Shumway & David,2011,pp. 1−596) 基于Agent的建模(ABM) 结合了博弈论、复杂系统、计算社会学、多智能体系等元素,用于模拟个体或团体的行为和交互的计算模型,以评估他们对整个系统的影响。 Python、Swarm、C++、Smalltalk Agent-Based Models,second edition(Gilbert,2020,pp. 1−153) 多层线性模型(MLM) 处理层次数据或多水平数据的多元统计方法,能正确处理个体效应和组效应之间的关系。 R、Mplus、HLM、SAS、MLWIN、MIXOR 多层次模型(卢克,2016,pp. 1−89) 元分析(Meta-Analysis) 用测量和统计分析技术对众多实证文献的统计结果再次统计,得到一个综合的结论。 R、CMA(综合元分析)、RevMan、Meta-Analyst、MIX Introduction to Meta-Analysis(Borenstein,Hedges,Higgins,& Rothstein,2009,pp.1−421) 多层元分析(Multilevel Meta-Analysis) 由于元分析本身就是多层次的,所以多层元分析一般指三层或以上的元分析。该方法特别适用于总结层次结构数据 R、Mplus Quantitative Synthesis of Research Evidence:Multilevel Meta-Analysis(Moeyaert,2019) 元分析结构
方程模型(MASEM)结合了元分析和结构方程模型方法,对应用结构方程模型的实证研究结果再次统计,增强结论的可概括性;还可用于测试某些变量在单个研究中难以测量的复杂的结构方程模型 R、Mplus、SAS Meta-Analysis:A Structural Equation Modeling Approach(Cheung,2015,pp. 214−278) 多层结构
方程模型(Multilevel SEM)结合了层次线性模型和结构方程模型方法,使得结构方程模型中变量之间的关系可以存在于不同层面,并在不同层面上研究变量之间的复杂关系 R、Mplus、SAS Multilevel Structural Equation Modeling(Silva,Bosancianu,& Littvay,2019,pp. 1−179) 社会网络分析(Social Network Analysis) 用数学方法、图论等测量和调查社会系统中各部分的特征、相互间的关系,包括人的关系、互动和网络结构 UCINET、Pajek、NetMiner、MultiNet、StOCNET 社会网络分析,第二版(诺克,杨,2012,pp. 1−201 ) 表 4 各教育领域每年发文量
教育领域 2015年 2016年 2017年 2018年 2019年 教育经济 39 52 42 50 52 教育社会 32 20 19 27 22 教育心理 20 24 22 27 33 教师教育 11 4 9 9 10 职业技术教育 9 7 15 13 6 教育技术 10 17 19 22 23 高等教育 20 17 14 17 11 教育学原理 1 1 0 2 0 教育史 0 2 0 0 1 其他 45 51 62 46 63 表 5 不同区域幼儿园的比较分析结果
变量 地区 样本量 F值 p值 东部 10 物质条件 中部 5 2.376 0.120 西部 7 东部 10 师幼互动 中部 5 0.180 0.837 西部 7 东部 10 健康与安全 中部 5 2.970 0.075 西部 7 东部 10 幼儿发展 中部 5 0.573 0.573 西部 7 表 6 不同办园体制幼儿园教师资质的比较分析结果
变量 教办园 他办园 普惠性民办园 卡方值 p值 N % N % N % 学历 本科以下 15 28.8 18 36.0 33 62.3 13.296 0.001 本科及以上 37 71.2 33 64.0 30 37.7 教学年限 小于3年 13 25 8 15.7 25 47.2 29.945 0.000 3到5年 11 21.2 9 17.6 7 13.2 6到10年 13 25 8 15.7 6 11.3 大于10年 15 28.8 26 51 15 28.3 职称 无 7 13.5 10 19.6 26 49.1 45.299 0.000 三级 9 17.3 3 5.9 13 24.5 二级 16 30.8 9 17.6 7 13.2 一级 17 32.7 16 31.4 5 9.4 高级 3 5.7 13 25.5 2 3.8 表 7 大一新生抑郁情况
无抑郁或极轻微N(%) 轻度抑郁N(%) 中度抑郁N(%) 重度抑郁N(%) 卡方值 性别 男 421(60.93) 206(29.81) 45(6.51) 19(2.75) 20.12*** 女 1074(51.22) 763(36.39) 189(9.01) 71(3.38) 民族 汉族 1365(53.87) 872(34.41) 211(8.33) 86(3.39) 3.77 少数民族 130(51.18) 97(38.19) 23(9.06) 4(1.57) 注:***表示p<0.001。 表 8 两种情境下不同调节定向被试的决策偏好差异
就业N(%) 创业N(%) χ2 促进定向 16(55.17) 13(44.83) 1.00 预防定向 23(79.31) 6(20.69) 33.64*** χ2 4.30* 8.73** 熟悉创业项目N(%) 陌生创业项目N(%) $ {\chi }^{2} $ 促进定向 18(62.07) 11(37.93) 5.76* 预防定向 25(86.21) 4(13.79) 51.84*** χ2 3.89* 11.08*** 注:*表示p<0.05,**表示p<0.01,***表示p<0.001。 表 9 因子提取结果
题目 课堂讨论 项目参与 前沿涉猎 跨学科学习 导师交流 1 0.89 2 0.89 3 0.86 4 0.84 5 0.84 6 0.75 7 0.80 8 0.79 9 0.73 10 0.83 11 0.76 12 0.74 13 0.79 14 0.75 15 0.61 表 10 模型修正前后拟合度情况
χ2 df χ2/df RMSEA NFI CFI GFI AGFI AIC 初始模型 11798 246 47.959 0.067 0.914 0.915 0.871 0.843 11906.01 修正模型 8999.2 243 35.502 0.061 0.937 0.939 0.906 0.884 8707.477 -
[1] 邓猛, 潘剑芳. (2002). 论教育研究中的混合方法设计. <italic>教育研究与实验</italic>, (03),56−61. [2] 付瑛, 周谊. (2004). 教育研究方法中定性研究与定量研究的比较. <italic>中华医学教育探索杂志</italic>,3(02),9−11+21. doi: 10.3760/cma.j.issn.2095-1485.2004.02.004 [3] 国务院. (2017). 新一代人工智能发展规划. 取自中华人民共和国中央人民政府网站(2017年7月20日): http://www.gov.cn/home/2017-07/20/content_5212053.htm. [4] 高潇怡. (2010). 论混合方法在高等教育研究中的具体应用. <italic>国内高等教育教学研究动态</italic>, (03),9. [5] 何哲. (2015). 大数据战略上升为国家战略. 取自人民网(2015年11月8日): http://politics.people.com.cn/n/2015/1108/c1001-27790239.html. [6] 黎荷芳. (2001). 浅析教育量化研究存在的问题及其正确应用. <italic>吉林教育科学</italic>, (06),36−39. [7] 刘建设. (1999). 对我国教育量化研究的若干思考. <italic>北京邮电大学学报(社会科学版)</italic>, (02),22−25. [8] 卢克. (2016). 多层次模型(郑冰岛译). 上海: 上海人民出版社. [9] 李宪印, 张宝芳, 姜丽萍. (2019). 大学生创新行为的构成因素及其实证研究. <italic>教育研究</italic>, (04),91−100. [10] 诺克, 杨. (2012). 社会网络分析(李兰译). 上海: 格致出版社. [11] 佟庆伟. (2004). 论量化研究方法在教育科研中的应用. <italic>教育探索</italic>, (11),24−25. doi: 10.3969/j.issn.1002-0845.2004.11.012 [12] 田虎伟. (2007a). 混和方法研究——美国教育研究方法的一种新范式. <italic>比较教育研究</italic>,28(01),12−17. [13] 唐涌. (2015). 混合方法研究——美国教育研究方法论的新取向. <italic>外国教育研究</italic>, (02),12−21. [14] 吴战杰, 秦健. (2003). Agent技术及其在网络教育中的应用研究. <italic>电化教育研究</italic>, (03),32−36. [15] 谢美华. (2005). 浅评定量研究方法及其在我国教育研究中的应用. 南昌: 江西师范大学硕士学位论文. [16] 向蓉. (2019). 研究方法的发展及其在基础教育研究中的应用. <italic>现代教育科学</italic>, (07),33−39. [17] 易红梅, 何婧, 张林秀. (2019). 有条件的现金转移支持承诺对贫困学生高中完成情况的影响研究. <italic>北京大学教育评论</italic>,17(02),149−166. [18] 余胜泉. (2018). 人工智能+教育. 北京: 北京师范大学出版社. [19] 袁振国. (2017). 实证研究是教育学走向科学的必要途径. <italic>华东师范大学学报(教育科学版)</italic>,35(03),4−17+168. [20] 张东辉. (2013). 美国教育研究方法论的最新进展:混合法研究的兴起与应用. <italic>教育研究与实验</italic>, (04),9−12. [21] 张绘. (2012). 混合研究方法的形成、研究设计与应用价值——对“第三种教育研究范式”的探析. <italic>复旦教育论坛</italic>, (05),53−59. [22] 朱军文, 马银琦. (2020). 教育实证研究这五年: 特征、趋势及展望. <italic>华东师范大学学报(教育科学版)</italic>, (9),16−35. [23] Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R. (2009). Introduction to Meta-Analysis. United Kingdom: Wiley Press. [24] Cheung, M. W-L. (2015). Meta-Analysis: A Structural Equation Modeling Approach (pp. 1- 152). New York: Wiley Press. [25] Creswell, J. W. (2015). A Concise Introduction to Mixed Methods Research. Sydney: SAGE Publications. [26] Creswell, J. W., & Clark, P. V. L. (2018). Designing and Conducting Mixed Methods Research. Sydney: SAGE Publications. [27] Geldhof, G. J., Preacher, K. J., & Zyphur, M. J. (2014). Reliability estimation in a multilevel confirmatory factor analysis framework. <italic>Psychological Methods</italic>, 19(1), 72−91. doi: 10.1037/a0032138 [28] Gilbert, N. (2020). Agent-Based Models, Second Edition. London: SAGE Publications. [29] Greene, J. C. (2012). Engaging critical issues in social inquiry by mixing methods. <italic>American Behavioral Scientist</italic>, 56, 755−773. doi: 10.1177/0002764211433794 [30] Hennig, C., Meila, M., Murtagh, F., & Rocci, R. (2016). Handbook of Cluster Analysis. Boca Raton: CRC Press. [31] Lv, J., & Maeda, Y. (2020). Evaluation of the efficacy of meta-analytic structural equation modeling with missing correlations. <italic>Structural Equation Modeling: A Multidisciplinary Journal</italic>, 27(3), 414−437. doi: 10.1080/10705511.2019.1646651 [32] Lv, J., Liu, Q., Zeng, X., OEI, T. P. S., Liu, Y., Xu, K., Sun, W., Hou, H., & Liu, J. (2020). The effect of four immeasurable meditations on depressive symptoms: a systematic review and meta-analysis. <italic>Clinical Psychology Review</italic>, 76, 101814. doi: 10.1016/j.cpr.2020.101814 [33] MacKinnon, D. P., & Valente, M. J. (2014). Mediation from multilevel to structural equation modeling. <italic>Annals of Nutrition and Metabolism</italic>, 65(2–3), 198−204. [34] Mcintyre, L. J. (2003). Need to Know: Social Science Research Methods. McGram Hill: München. [35] Moeyaert, M. (2019). Quantitative synthesis of research evidence: multilevel meta-analysis. <italic>Behavioral Disorders</italic>, 44(4), 241−256. doi: 10.1177/0198742918806926 [36] Muthén, B., du Toit, S.H.C., & Spisic, D. (1997). Robust Inference Using Weighted Least Squares and Quadratic Estimating Equations in Latent Variable Modeling with Categorical and Continuous Outcomes. Unpublished technical report. [37] Preacher, K. J., Zhang, Z., & Zyphur, M. J. (2016). Multilevel structural equation models for assessing moderation within and across levels of analysis. <italic>Psychological Methods</italic>, 21(2), 189−205. doi: 10.1037/met0000052 [38] Rabe-Hesketh, S., Skrondal, A., & Zheng, X. (2007). Multilevel Structural Equation Modeling. In S. Lee (Ed.), Handbook of Latent Variable and Related Models (pp. 209–227). Amsterdam: Elsevier. [39] Ryu, E. (2014). Model fit evaluation in multilevel structural equation models. <italic>Frontiers in Psychology</italic>, 5, 81. [40] Shumway, R. H., & David, S. S. (2011). Time Series Analysis and Its Applications with R Examples, Third Edition. Switzerland: Springer Science+Business Media. [41] Silva, B. C., Bosancianu, C. M., & Littvay, L. (2019). Multilevel Structural Equation Modeling. Germany: SAGE Publications. [42] Teddlie, C., & Tashakkori, A. (2012). Common “core” characteristics of mixed methods research: a review of critical issues and call for greater convergence. <italic>American Behavioral Scientist</italic>, 56, 774−788. doi: 10.1177/0002764211433795 [43] van den Noortgate, W., & Onghena, P. (2003). Multilevel meta-analysis: a comparison with traditional meta-analytical procedures. <italic>Educational and Psychological Measurement</italic>, 65(5), 765−790. [44] van den Noortgate, W., & Onghena, P. (2008). A multilevel meta-analysis of single-subject experimental design studies. <italic>Evidence-Based Communication Assessment and Intervention</italic>, 2(3), 142−151. doi: 10.1080/17489530802505362 [45] van der Linden, W. J. (2016). Handbook of Item Response Theory: Volume 1, Models. Boca Raton: CRC Press. [46] van der Linden, W. J. (2017). Handbook of Item Response Theory: Volume 2, Statistical Tools. Boca Raton: CRC Press. [47] Yue, C., & Xu, X. (2020). Review of quantitative methods used in Chinese educational research, 1978-2018. <italic>ECNU Review of Education</italic>, 2(4), 515−543.