Reliability of Self-reported Data in College Student Engagement Surveys: Social Desirability Bias in Self-reported Survey
-
摘要: 以"学"为中心的高等教育质量评价理念，推动了国内大学生学情调查的广泛开展。此类调查使用自陈式问卷进行，其数据质量可能受填答者社会称许性反应的影响。使用清华大学2014-2016年"中国大学生学习与发展追踪研究"的数据研究发现：有关学习行为和主观感受的自陈性指标存在5-10%的社会称许性反应偏误，但自我汇报的客观情况（如学习成绩）偏误较小；学生的社会称许性水平越高，自陈性指标中的偏误越大；指标内容与社会称许性反应偏误的大小有一定关系。上述发现对大学生学情调查的科学性和工具开发的有效性具有方法论的意义。Abstract: Inspired by learner-centered and evidence-based evaluation in higher education quality assur-ance, investigations on college student experience and engagement become increasingly popular in China. However, with self-reported survey as a major instrument, the quality of data collected in such investigations is vulnerable to bias caused by socially desirable responses. Using data from the China College Student Survey (CCSS) in 2014-2016, the authors found that indicators constructed from student self-reported data on learn-ing activities and perceptions are subject to a social desirability response bias of 5-10%, while the bias in ob-jective information reported in the survey (such as GPA) is negligible. What's more, the higher the students' social desirability level, the larger the bias. It's also found that the size of social desirability bias shows its correlation with the content of the question items and indicators. These findings have methodological signifi-cance for quantitative investigations in social sciences. Further, implications for survey instrument develop-ment are discussed.1) 本研究样本中同时具有真实高考成绩和自我报告高考成绩的样本共86, 764个，为了消除奇异值的影响，将非零高考成绩差分布前后各5%的观测值删除，共删除了2.5%的样本。再删除社会称许性变量缺失的个案，最终用于表 2效度分析的样本数为79, 910个。
-
图 1 Paulhus的社会称许性反应双层结构(Paulhus, 2002, p.64)
表 1 CCSS 2014-2016社会称许性指标构成及信度
2014 2015 2016 例题 题项数 6 7 7 我从来没发过脾气(自我欺骗提高) Cronbach’s alpha 0.83 0.62 0.63 我从未失信于人(能动性管理) 观测值数 58，541 67，676 79，320 我从来没有讨厌过谁(自我欺骗否定) 均值(方差) 59.07(17.96) 67.08DG(25.40) 52.57(22.36) 只要是我的错，我都会承认(交流性管理) 
下载: 导出CSV
表 2 社会称许性四分位组与自我汇报高考成绩差异
社会称许性四分位组 样本数 真实成绩 自我汇报成绩 自我汇报差值 自我汇报偏高比例 自我汇报偏低比例 自我汇报一致比例 低水平组 24, 967 536.97(92.73) 540.59(90.17) 3.62(20.43) 14.26% 6.65% 79.09% 中低水平组 22, 307 527.79(96.43) 531.98(93.49) 4.19(21.05) 15.59% 6.15% 78.27% 中高水平组 15, 530 520.15(98.82) 525.15(95.65) 5.00(21.56) 18.65% 5.87% 75.47% 高水平组 17, 106 510.52(101.63) 517.00(98.54) 6.47(23.90) 21.68% 6.06% 72.26% 总体 79, 910 525.48(97.40) 530.14(94.41) 4.66(21.63) 17.07% 6.23% 76.70% 注：1.括号中为变量标准差。
2.自我汇报溢出值与社会称许性指标相关性检验：Pearson’s r : 0.0472 (p < 0.001), Spearman’s rs: 0.0653 (p < 0.001), Kendall’s Tau-a: 0.0391 (p < 0.001), Kendall’s Tau-b: 0.0498 (p < 0.001)。
下载: 导出CSV
表 3 CCSS 2014-2016样本分布
分布 样本数 比例(%) 学校类型 “985 ”高校 42, 888 19.35 “211 ”高校 42, 890 19.36 地方本科大学 99, 360 44.84 地方本科学院 36, 453 16.45 性别 男 120, 066 54.18 女 101, 494 45.8 民族 汉族 202, 031 91.17 少数民族 19, 560 8.83 年级 大一年级 65, 741 29.67 大二年级 60, 745 27.41 大三年级 56, 099 25.32 大四年级 39, 006 17.6 学科 人文学科 27, 097 12.23 社会科学 47, 539 21.45 自然科学 36, 661 16.54 工程类学科 107, 095 48.33
下载: 导出CSV
表 4 社会称许性四分位组在我国大学生不同群体中的分布
类别 社会称许性四分位组 总计 低水平组 中低水平组 中高水平组 高水平组 性别 男 26.47% 27.80% 21.15% 24.59% 100.00% 女 31.60% 28.98% 20.03% 19.40% 100.00% 年级 大一年级 31.83% 29.12% 19.46% 19.59% 100.00% 大二年级 30.49% 28.68% 20.19% 20.64% 100.00% 大三年级 27.71% 28.50% 21.10% 22.69% 100.00% 大四年级 22.84% 26.27% 22.63% 28.26% 100.00% 学科 人文学科 28.57% 28.26% 20.31% 22.86% 100.00% 社会科学 27.71% 28.45% 21.10% 22.74% 100.00% 自然科学 31.57% 28.89% 20.06% 19.47% 100.00% 工程类学科 27.97% 28.22% 20.84% 22.96% 100.00% 院校类型 985院校 34.12% 28.78% 18.55% 18.56% 100.00% 211院校 28.76% 27.95% 21.07% 22.21% 100.00% 大学本科 28.59% 28.48% 20.64% 22.29% 100.00% 学院本科 23.48% 27.91% 22.51% 26.09% 100.00%
下载: 导出CSV
表 5 社会称许性指标对自陈性指标的影响
因变量 模型2 β1估计结果 模型比较 回归系数 标准误 标准化回归系数 样本数 模型1 R2 模型2 R2 R2增加值 学业挑战度(LAC) 3.107*** 0.093 0.253*** 202409 0.059 0.122 0.063 主动合作学习水平(ACL) 5.123*** 0.165 0.275*** 202, 395 0.023 0.097 0.074 生师互动(SFI) 6.910*** 0.209 0.324*** 202, 409 0.080 0.183 0.103 教育经验的丰富程度(EEE) 3.967*** 0.144 0.228*** 202, 408 0.080 0.131 0.051 校园环境的支持度(SCE) 4.324*** 0.118 0.263*** 202, 130 0.063 0.130 0.067 教学-课堂教学(ETP_CI) 3.020*** 0.084 0.170*** 202, 409 0.015 0.043 0.028 教学-教师反馈(ETP_FB) 4.326*** 0.088 0.239*** 202, 409 0.021 0.077 0.056 教学-激发学习志趣(ETP_MS) 3.758*** 0.110 0.190*** 143, 892 0.017 0.052 0.035 教学-测评(多元评价)(ETP_AS) 5.028*** 0.231 0.207*** 143, 802 0.056 0.098 0.042 向学/厌学(SWL) 3.793*** 0.072 0.255*** 202, 144 0.017 0.081 0.064 高阶学习(HOC_HOL) 5.253*** 0.148 0.244*** 202, 333 0.013 0.072 0.059 整合性学习(LS_IL) 5.530*** 0.117 0.285*** 202, 408 0.027 0.106 0.079 反思性学习(LS_RL) 4.871*** 0.097 0.254*** 202, 347 0.016 0.079 0.063 自我报告的教育收获(SSLO) 6.262*** 0.117 0.333*** 201, 944 0.022 0.131 0.109 在校满意度(SSTF) 2.775*** 0.137 0.137*** 201, 527 0.021 0.039 0.018 自我报告GPA 0.021** (0.008) 0.036** 134, 396 0.073 0.075 0.002 自我报告平均成绩(百分制) 0.077 (0.046) 0.008 151, 413 0.073 0.074 0.001 注：* p < 0.05, ** p < 0.01, *** p < 0.001;标准误为以学校为单位聚集后的稳健标准误; 模型控制了人口学变量和调查年固定效应；缺失值采用pair-wise deletion的方法处理，各方程因此被删除的样本为总样本的1.5-2.7%。
下载: 导出CSV
表 6 社会称许性指标对自陈性指标的影响，按社会称许性水平分组
因变量 低水平组(1-25%含) 中低水平组(25-50%含) 中高水平组(50-75%含) 高水平组(75-100%含) 回归系数a 标准误 效应量b 回归系数a 标准误 效应量b 回归系数a 标准误 效应量b 回归系数a 标准误 效应量b 学业挑战度(LAC) 2.199*** (0.135) 0.179 2.226*** (0.167) 0.181 2.385*** (0.383) 0.194 5.782*** (0.279) 0.471 主动合作学习水平(ACL) 3.460*** (0.202) 0.186 3.984*** (0.314) 0.214 3.929*** (0.636) 0.211 10.420*** (0.499) 0.560 生师互动(SFI) 3.248*** (0.226) 0.152 3.695*** (0.505) 0.173 2.095* (0.842) 0.098 15.412*** (0.611) 0.722 教育经验的丰富程度(EEE) 2.149*** (0.126) 0.123 3.270*** (0.243) 0.188 3.739*** (0.424) 0.215 11.511*** (0.686) 0.661 校园环境的支持度(SCE) 3.736*** (0.217) 0.227 4.843*** (0.318) 0.294 3.498*** (0.591) 0.213 6.489*** (0.362) 0.395 教学-课堂教学(ETP_CI) 3.293*** (0.217) 0.186 3.952*** (0.355) 0.223 4.398*** (0.497) 0.248 4.051*** (0.403) 0.229 教学-教师反馈(ETP_FB) 3.154*** (0.179) 0.174 3.918*** (0.307) 0.216 3.075*** (0.479) 0.170 7.234*** (0.376) 0.399 教学-激发学习志趣(ETP_MS) 3.549*** (0.270) 0.179 3.221*** (0.477) 0.163 3.778*** (1.072) 0.191 3.899*** (0.479) 0.197 教学-测评(多元评价)(ETP_AS) 2.127*** (0.302) 0.088 2.687*** (0.658) 0.111 -2.509 (1.386) -0.103 12.140*** (0.590) 0.501 向学/厌学(SWL) 3.682*** (0.125) 0.247 4.655*** (0.313) 0.313 7.091*** (0.389) 0.476 5.516*** (0.348) 0.371 高阶学习(HOC_HOL) 3.769*** (0.262) 0.175 4.937*** (0.328) 0.229 3.531*** (0.568) 0.164 10.042*** (0.563) 0.467 整合性学习(LS_IL) 3.963*** (0.193) 0.204 4.740*** (0.345) 0.244 5.760*** (0.512) 0.297 10.706*** (0.545) 0.551 反思性学习(LS_RL) 3.955*** (0.194) 0.206 4.739*** (0.294) 0.247 6.288*** (0.453) 0.328 8.258*** (0.501) 0.431 自我报告的教育收获(SSLO) 5.155*** (0.186) 0.274 6.003*** (0.316) 0.319 9.181*** (0.510) 0.488 10.143*** (0.540) 0.540 在校满意度(SSTF) 3.622*** (0.234) 0.178 3.820*** (0.314) 0.188 3.304*** (0.858) 0.163 0.621 (0.544) 0.031 自我报告GPA 0.017* (0.007) 0.029 -0.018 (0.015) -0.031 -0.007 (0.023) -0.012 0.033** (0.012) 0.056 自我报告平均成绩(百分制) 0.151 (0.093) 0.016 0.089 (0.249) 0.009 -0.203 (0.313) -0.021 -0.123 (0.189) -0.013 注：* p < 0.05, ** p < 0.01, *** p < 0.001;标准误为以学校为单位聚集后的稳健标准误; 模型控制了人口学变量和调查年固定效应；缺失值采用pair-wise deletion的方法处理，各方程因此被删除的样本为总样本的1.5-2.7%。
1.表中汇报的是对模型3中β2系数的回归估计。
2.效应量为Cohen’s D类型效应量，计算方法为回归系数/因变量标准差，由于自变量(社会称许性指标)已做标准化处理，其意义为自变量变化1个标准差所引起的因变量标准差的变化，与表 5中标准化回归系数的意义相同。
下载: 导出CSV
-
[1] 韩振华, 任剑峰. (2002).社会调查研究中的社会称许性偏见效应.华中科技大学学报(社会科学版), 16(3), 47-50. http://www.cqvip.com/QK/82843A/200203/6521419.html [2] 蒋华林, 邢全超, 吴芳, 朱晓华. (2014). "社会称许性"影响大学生学情调查的实证研究.大学教育科学, 6(6), 105-111. http://www.cqvip.com/QK/81233A/201406/662848634.html [3] 李强, 徐晟, 李凌, 黄艳, 徐旻. (2012).心理健康素质测评系统·中国成年人多维社会赞许性量表的编制.心理与行为研究, 10(4), 255-261. http://edu.wanfangdata.com.cn/Periodical/Detail/xlyxwyj201204003 [4] 刘萃侠. (2001).马洛-克罗恩社会赞许性量表对中国被试适用性之初步验证.社会学研究, (2), 49-57. http://cdmd.cnki.com.cn/Article/CDMD-10345-1012259106.htm [5] 吴燕. (2008). 人格测验中社会赞许性反应的测定与控制. 陕西师范大学. http://cdmd.cnki.com.cn/article/cdmd-10718-2009045938.htm [6] 徐晟, 李强, 李凌, 尹艺璇, 梁栋. (2014).心理健康素质测评系统·中国成年人社会赞许性全国常模的制定.心理与行为研究, 12(6), 748-755. http://mall.cnki.net/magazine/Article/CLXW201406006.htm [7] 赵丹. (2011). 马洛-克罗恩社会赞许性量表的修订及相关研究. 浙江师范大学. http://cdmd.cnki.com.cn/Article/CDMD-10345-1012259106.htm [8] 赵琳, 王传毅. (2015).以"学"为中心:研究生教育质量评价与保障的新趋势.学位与研究生教育, (3), 11-14. http://www.cnki.com.cn/Article/CJFDTotal-XWYY201503004.htm [9] 赵志裕, 邹智敏, 林升栋. (2010).文化与社会赞许反应:社会个人互动的观点.心理学报, 42(1), 48-55. http://mall.cnki.net/magazine/Article/XLXB201001009.htm [10] 甄育玲. (2011). 社会赞许性反应量表的修订. 湖南师范大学. http://cdmd.cnki.com.cn/Article/CDMD-10542-1011167207.htm [11] Bowman, N. A., & Hill, P. L. (2011). Measuring how college affects students:Social desirability and other potential biases in college student self-reported gains. New Directions for Institutional Research, 2011(150), 73-85. doi: 10.1002/ir.v2011.150 [12] Cowen, E. L., & Tongas, P. N. (1959). The social desirability of trait descriptive terms:Applications to a self-concept inventory. Journal of Consulting Psychology, 23(4), 361-365. doi: 10.1037/h0046699 [13] Crowne, D. P., & Marlowe, D. (1960). A new scale of social desirability independent of psychopathology. Journal of Consulting Psychology, 24(4), 349-354. doi: 10.1037/h0047358 [14] Damarin, F., & Messick, S. (1965). Response styles as personality variables:A theoretical integration of multivariate research. ETS Research Bulletin Series, 1965(1), 1-116. http://cn.bing.com/academic/profile?id=42401e84e47e645ffc0ee09f598ddbb2&encoded=0&v=paper_preview&mkt=zh-cn [15] Edwards, A. L. (1953). The relationship between the judged desirability of a trait and the probability that the trait will be endorsed. Journal of Applied Psychology, 37(2), 90-93. doi: 10.1037/h0058073 [16] Edwards, A. L., & Horst, P. (1953). Social Desirability as a Variable in 2 Technique Studies. Educational and Psychological Measurement, 13(4), 620-625. doi: 10.1177/001316445301300409 [17] Fordyce, W. E. (1956). Social desirability in the MMPI. Journal of Consulting Psychology, 20(3), 171-175. doi: 10.1037/h0048547 [18] Marlow, D., & Crowne, D. P. (1961). Social desirability and response to perceived situational demands. Journal of Consulting Psychology, 25(2), 109-115. doi: 10.1037/h0041627 [19] Miller, A. L. (2012). Investigating social desirability bias in student self-report surveys. Association for Institutional Research, 36(1), 30-47. http://cn.bing.com/academic/profile?id=c47a9221e7410c8e095411aefafd21ee&encoded=0&v=paper_preview&mkt=zh-cn [20] NSSE. (2012). Are NSSE scores influenced by a desire to respond in a socially desirable manner? Retrieved August 23, 2017, from http://nsse.indiana.edu/pdf/psychometric_portfolio/2010socialdesirability_formated.pdf. [21] Paulhus, D. L. (1984). Two-component models of socially desirable responding. Journal of Personality and Social Psychology, 46(3), 598-609. doi: 10.1037/0022-3514.46.3.598 [22] Paulhus, D. L. (1986). Self-Deception and Impression Management in Test Responses. In A. Angleitner & J. S. Wiggins (Eds. ), Personality Assessment via Questionnaires (pp. 143-165). Berlin, Heidelberg: Springer Berlin Heidelberg. doi: 10.1007%2F978-3-642-70751-3_8 [23] Paulhus, D. L. (2002). Socially desirable responding: The evolution of a construct. In I. Brown, D. N. Jackson, & D. E. Wiley (Eds. ), The role of constructs in psychological and education measurement (pp. 49-69). Mahwah, NJ: Erlbaum. [24] Sackeim, H. A., & Gur, R. C. (1978). Self-Deception, Self-Confrontation, and Consciousness. Springer US. http://cn.bing.com/academic/profile?id=a441032a288be8867066e1b247325317&encoded=0&v=paper_preview&mkt=zh-cn [25] Saunders, D. G. (1991). Procedures for adjusting self-reports of violence for social desirability bias. Journal of Interpersonal Violence, 6(3), 336-344. doi: 10.1177/088626091006003006 [26] Stark, S., Chernyshenko, O.-S., Chan, K.-Y., Lee, W.-C., & Drasgow, F. (2001). Effects of the testing situation on item responding:Cause for concern. Journal of Applied Psychology, 86(5), 943-953. doi: 10.1037/0021-9010.86.5.943 [27] Steenkamp, J.-B. E. M., de Jong, M. G., & Baumgartner, H. (2010). Socially Desirable Response Tendencies in Survey Research. Journal of Marketing Research, 47(2), 199-214. doi: 10.1509/jmkr.47.2.199 [28] Wiggins, J. S. (1959). Interrelationships among MMPI measures of dissimulation under standard and social desirability instruction. Journal of Consulting Psychology, 23(5), 419-427. doi: 10.1037/h0047823 [29] Zerbe, W. J., & Paulhus, D. L. (1987). Socially Desirable Responding in Organizational Behavior:A Reconception. The Academy of Management Review, 12(2), 250-264. doi: 10.5465/amr.1987.4307820 -
点击查看大图
图(1) / 表(6)
计量
- 文章访问数: 328
- HTML全文浏览量: 558
- PDF下载量: 389
- 被引次数: 0