义务教育阶段学生科学学业成就评价框架的初步开发
-
摘要: 义务教育阶段科学学业成就监测是新课程改革的重大研究课题。它是客观公正地评价义务教育新课程科学教育改革的整体效果、科学全面地检测学生学习水平的重要工具，也是新课程科学教育改革课程决策的重要参考依据。全面深入地分析与借鉴PISA、TIMSS、NAEP等国际性学生评价项目，吸收认知目标分类理论、教育测量与评价理论的最新成果，厘清新课程科学学业成就监测的设计理念，梳理评价维度，整体设计评价框架，并初步开发试题编制模型与质量保证技术，能为新课程科学教育评价改革提供参考。1) 转引自黄慧娟等：《关于三项著名国际学生评价项目的比较》，《福建师范大学学报》2004年第4期。2) John F. Olson, Michael O. Martin, Ina V.S. Mullis(2008). TIMSS 2007 Technical Report TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College.37.3) Gale H. Roid & Thomas M. Haladyna(1982).A Technology for Test-Item Writing.London :Academic Press INC.LTD.161-171.4) Gale H. Roid & Thomas M. Haladyna(1982).A Technology for Test-Item Writing.London :Academic Press INC.LTD.162.5) Kansky, Robert(2006). NAEP, PISA & TIMSS: A Brief Comparison [EB/OL]. http://www.trianglecoalition.org/pdf/naeppisatimss1.pdf, 2009-10-10.Neidorf, T.S., M. Brinkley, K. Gratis, and D. Nohara (May 2006). Comparing Mathematics Content in the National Assessment of Educational Progress (NAEP), Trends in International Mathematics and Science Study (TIMSS), and Program for International Student Assessment (PISA) 2003 Assessments. Technical Report, National Center for Education Statistics, US Department of Education Institute of Education Sciences, 1-43. Scott, E.(2003). Comparing NAEP, TIMSS, and PISA in Mathematics and Science[EB/OL]. http://nces.ed.gov/timss/pdf/naep_timss_pisa_comp.pdf, 2009-9-9.笔者据此整理。6) ohn F. Olson, Michael O. Martin, Ina V.S. Mullis(2008). TIMSS 2007 Technical Report TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College.28.7) ohn F. Olson, Michael O. Martin, Ina V.S. Mullis(2008). TIMSS 2007 Technical Report TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College.21.8) Scott, E.(2003). Comparing NAEP, TIMSS, and PISA in Mathematics and Science[EB/OL].2-5. http://nces.ed.gov/timss/pdf/naep_timss_pisa_comp.pdf，2009-9-9.9) 张雨强, 冯翠典：《美国NAEP科学课程评价试题编制研究》，《全球教育展望》2007年第10期。10) 崔允漷、夏雪梅：《试论基于课程标准的学生学业成就评价》，《课程·教材·教法》2007年第1期。11) 转引自黄慧娟等：《关于三项著名国际学生评价项目的比较》，《福建师范大学学报》2004年第4期。12) Anderson, L.W. & Krathwohl, D.R. et. al. (Eds., 2001). Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom’s Taxonomy. of Educational Objectives(Abridged Edition).New York : Longman.38-62, 63-92.安德森等编著, 皮连生主译：《学习、教学和评估的分类学:布卢姆教育目标分类学修订版(简缩本)》，《华东师范大学出版社》2008年版，56-80。作者补充了大部分案例。13) ohn F. Olson, Michael O. Martin, Ina V.S. Mullis(2008). TIMSS 2007 Technical Report TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College.21.14) ohn F. Olson, Michael O. Martin, Ina V.S. Mullis(2008). TIMSS 2007 Technical Report TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College.28.15) Ina V.S. Mullis, Michael O. Martin, Graham J. Ruddock, Christine Y. O’Sullivan, Alka Arora, Ebru Erberber(2005). TIMSS 2007 Assessment Frameworks. TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College, 41-43. WestEd, Council of Chief State School Officers, National Assessment Governing Board. Science Assessment and Item Specifications for the 2009 National Assessment of Educational Progress(Prepublication Edition), 2-10. WestEd, Council of Chief State School Officers, National Assessment Governing Board. Science Framework for the 2009 National Assessment of Educational Progress(Prepublication Edition), Ⅴ-Ⅸ. OECD(2009). PISA 2006 Technical Report, 30-31. OECD(2006). Assessing Scientific, Reading and Mathematical Literacy: A Framework for PISA 2006, 20-28.赖小琴:《国际学生评价TIMSS和PISA的比较与反思》，《广西教育学院学报》2008年第2期。笔者据此整理。16) OECD (2006).Assessing Scientific, Reading and Mathematical Literacy: A Framework for PISA 2006.27.
-
表 1 三大评估体系的整体比较②
相同点 不同点 PISA TIMSS NAEP 评价目的 判断学习结果 判断为成人生活(真实世界)做准备所需的基本素养的国际情况；基本素养来源于学科课程，更来自于校外学习。 判断数理学科达到课程目标国际情况；评价框架由各国学科内容、教育、测量专家联合开发。 判断全国基础教育目标达成度；评价框架与基准由NAGB建立，并集中了政府、教育、商业、公共领域的集体智慧。 评价对象 基础教育阶段学生；取样 取样标准是年龄：15岁3个月-16岁2个月；以学校为单位 取样标准是年级：4、8年级；以班级为单位 取样标准是年级：4、8、12年级；以州、地区为单位 评价内容 数学、科学、背景信息 评价阅读素养；有可供选择的模块 学校、教师、课程、课堂活动、学生等信息 全科(学术性) 评价范围 比较研究 主要是OECD国家 全球 美国(分为国家评估、州评估、实验地区评估) 评价周期 循环、可纵横比较 3年一次、始于2000年；侧重于一种素养 4年一次、始于1995年 国家评估(数学、阅读2年一次；科学、美国历史4年一次) 评价类型 纸笔测试 30分钟的计算机交互性作业 报告形式 内容包括评价准备、设计、过程与结果 数学、科学、阅读素养合起来报告，结论主要基于OECD国家 数学、科学分年级报告，结论基于所有参与国家 分科报告、以地区为单位 
下载: 导出CSV
表 2 三大评估体系的科学评估框架比较③
PISA TIMSS NAEP 内容维度 知识(Scientific knowledge)：
1.物质系统
2.生态系统
3.地球和空间系统
4.科技系统内容领域(Content Domains)：
1.物质科学(物理、化学)
2.生命科学
3.地球科学科学内容(Science Content)：
1.物理科学
2.生命科学
3.地球与空间科学认知过程维度 能力(Scientific competencies)：
1.识别科学问题
2.科学地解释现象
3.使用科学证据认知领域(Cognitive Domains)：
1.知道knowing
2.应用applying
3.推理reasoning科学实践(Science Practice)：
1.识别科学原理
2.应用科学原理
3.实施科学探究
4.进行技术设计情境维度 情境(context)：和个人、社会、全球有关的健康、资源、环境、危机、科技前沿有关的情境 TIMSS设有科学探究 注：与TIMSS2003不同，TIMSS2007中4、8年级的内容领域并不完全相同，这里为表述方便使然，详见表 6。TIMSS2003中的认知领域为Factual Knowledge, Conceptual Understanding, Reasoning and Analysis。NAEP科学实践的四个维度分别对应于四个层次认知要求：“知道是什么”(knowing that)、“知道为什么”(knowing why)、“知道怎么样”(knowing how)、“知道何时何地应用知识”(knowing when and where to apply knowledge)，学生要表现出相应认知行为所应该调动的知识类型依次也分为四种：“陈述性知识”(declarative knowledge)、“图式知识”(schematic knowledge)、“程序性知识”(procedural knowledge)、“策略性知识”(strategic knowledge)。
下载: 导出CSV
表 6 TIMSS2007不同内容领域中的目标百分比⑦
内容领域 4年级 生命科学 45 物质科学 35 地球科学 20 8年级 生物 35 化学 20 物理 25 地球科学 20
下载: 导出CSV
表 3 NAEP和PISA不同题型的题目数量和百分比④
多项选择题 简答题 扩展的开放性回答 要求证明的开放性回答 具有多种答案的开放性回答 百分比 题目数量 百分题 题目数量 百分比 题目数量 百分比 题目数量 NAEP 50 98 7 13 22 43 21 41 PISA 60 21 17 6 6 2 17 6
下载: 导出CSV
表 4 不同科学领域内NAEP与PISA试题的题目数量和百分比⑤
NAEP(195道题目) PISA(35道题目) 百分比 题目数量 百分比 题目数量 地球科学 土壤 18 35 3 1 水 3 6 9 3 空气 6 11 29 10 地球空间 5 10 11 4 合计 32 62 43 15 物理科学 物质及其转化 14 27 17 6 能量及其转化 7 13 9 3 运动 12 24 14 5 合计 33 64 37 13 生命科学 变化和进化 14 20 3 1 细胞及其作用 10 7 9 3 有机体 12 20 17 6 生态学 10 24 6 2 合计 35 69 34 12 注:表格中百分比和题量总计不一定等于总数。因为NAEP和TIMSS-R的小部分题目及PISA的许多题目，可能不止归入一个主题或次主题，有的题目也可能不属于其中的任何一种。例如，在同一主题内，一道题目可以划分为2个不同的次主题，这时，这道题在次主题内按2次计算，但在主题内则按1次计算(原文作者)。
下载: 导出CSV
表 5 TIMSS2007不同认知领域中的目标百分比⑥
认知领域 百分比 4年级 8年级 知道(Knowing) 40 30 应用(applying) 35 35 推理(reasoning) 25 35
下载: 导出CSV
表 7 TIMSS2007科学评估中不同类型试题的题量与分数分布情况⑧
试题类型 试题数量 新题目(2007新增) 老题目(2003保留) 总数 总分数 分数的百分比 4年级 多项选择题 53 40 93 93 48% 建构型题目 45 36 81 101 52 总数 98 76 174 194 100% 8年级 多项选择题 56 51 107 107 45% 建构型题目 64 43 107 133 55 总数 120 94 214 240 100%
下载: 导出CSV
表 8 TIMSS2007科学评估4年级不同内容领域中各种试题的题量分布情况⑨
内容领域 多项选择题 建构型试题 总数 生命科学 42 32 74 物质科学 35 29 64 地球科学 16 20 36 总数 93 81 174
下载: 导出CSV
表 10 PISA科学评估中的问题情境⑪
个人的(个人、家庭和同伴) 社会的(社区) 全球性的(全世界的生活) 健康 维持健康、事故和营养 控制疾病、社会传染食物选择和社会健康 流行病和传染病的传播 自然资源 个人物质和能量的消费 维持人口、生活质量、安全、生产和食物分配和能量供应 可再生和不可再生资源、自然系统、人口增长和物种可持续利用 环境 环境友好行为、物质的利用和处理 人口分布、废物处理环境影响和当地气候 生物多样性、生态平衡、人口控制、土壤的再生和流失 危害 自然和人类导致的关于建房的决定 快速变化(地震、恶劣气候)、慢而渐进的变化(海岸侵蚀、地表下降)危险评估 其后的变化和现代战争的影响 科学和科技前沿 科学解释自然现象、基于科学的业余爱好、运动和娱乐、音乐和个人技术的兴趣 新型物质、设备和过程、基因修改、武器技术和运输 物种灭绝、空间探索、宇宙的起源和结构
下载: 导出CSV
表 11 义务教育阶段科学学业成就评价框架设想
评估目的 外部评价，了解义务教育阶段学生的基本科学素养，为改进新课程科学教育提供反馈、为教育决策提供支撑 组织者 权威专业评价机构组织，学科专家、测量与评价专家、课程专家、教学专家与一线教师共同开发 评估对象 义务教育阶段全体4、8年级学生 评估周期 每三年一次，每次以生命科学、物质科学、地球宇宙与空间科学其中一门为重点评估内容 评估方法 纸笔测验+实践考查+调查问卷 抽样方法 分层抽样(抽样层级与顺序：目标群体限定、国家样本、省直辖市样本、地市样本、学校样本) 报告形式 分科、以地区为单位(不排名)，对历年评估结果进行比较研究，也可与所参加其它国际评价项目的结果比较 注：实践考查主要评价学生的实验操作能力、设计能力、科学探究能力、问题解决能力等；调查问卷主要收集2方面信息，一是背景信息，包括性别、年级、课程、教师、所在地区、学校类别、家长受教育程度、家庭收入情况等，二是科学基本素养调查，包括科学兴趣、科学态度等。
下载: 导出CSV
表 12 科学学业成就评价的维度
内容维度 生命科学 物质科学 地球、宇宙和空间科学 科学探究 科学、技术与社会的关系 过程维度 认知过程 记忆 理解 应用 分析 评价 创造 技能习得 模仿 独立操作 掌握 迁移 情感养成 感受 认同 形成 表现
下载: 导出CSV
表 13 不同水平的认知过程案例⑮
维度及次类目 解释或案例 认知过程维度 记忆(remember) 识别(recognizing)：判断是否一致或相似。如，判断酸雨成因、物种类别。
回忆(recalling)：根据指令，从长时记忆中提取信息。如，写出二氧化碳的电子式。理解(understand) 解释(interpreting)：将一种表征形式转化为另一种表征形式。如，图画到文字(看图作文、科学实验装置解释)、数字到文字(数学解释)。
举例(exemplifying)：识别某个一般原理或概念的特征并能据此选择或建构例子。如，知道氧化还原反应总伴随着化合价的变化，并据此能在几个化学反应中找出哪些属于氧化还原反应或能举例。
分类(classifying)：区分出某事物(事例)属于某一类别(或概念、原理)。如判断某一化学反应既属于氧化还原反应又属于化合反应。
总结(summarizing)：从所给具体信息中抽象概括出一般主题。如，把几个化学反应归于同一类别。
推断(inferring)：从一系列事例中发现模式。如，归纳出一组数据的代表式、归纳出一系列化学反应的相同点。
比较(comparing)：查明两个或两个以上的客体、事件、观念、问题和情境等之间的异异同。如，电路与管子中的水流、宏观运动物体与核外电子运动。
说明(explaining)：能够建模或运用因果模式。如，运用欧姆定律说明当电路中增加一节电池时电流速度有何变化。应用(apply) 执行(executing)：执行一套程序，解决熟悉的任务。如，根据牛顿第一运动定律解题。
实施(implementing)：选择与运用一个程序完成不熟悉的任务，学生必须理解所遇的问题类型和程序的应用范围。如，选择最经济的金融套餐来购买一辆汽车等“开放性问题”。分析(analyze) 区分(differentiating)：根据适当性或重要性来辨析某整体结构中的各个部分，它与“比较”不同。如，在水果这一背景下区分苹果与橘子、在化合物背景下区分甲烷与硫酸铜。
组织(organizing)：鉴别材料或情境的成分并识别它们是如何组成一个内在一致的结构。如，学会按四部分结构(假设、方法、数据、结论)来分析研究报告。
归属(attributing)：确定交流材料中的观点、价值和意图等。如，确定一篇关于人类学习的论文是行为主义者还是认知心理学家撰写的。评价(evaluate) 核查(checking)：检查某操作或产品的内在一致性或谬误。如，判断科技论文中的结论是否真正建立在数据的基础上。
评判(critiquing)：根据外部准则或标准来判断某操作或产品。如，根据酸雨的可能后果及其社会成本来判断酸雨的是非区直。创造(create) 生成(generating)：表征问题与提出符合特定标准的假设或可能路途。如，解释某一化学实验现象的可能原因、建造一个高效防火的建筑需要考虑的设计因素。
计划(planning)：开发出一个问题解决方案。如，设计一套实验室制取硫酸的工艺程序。
贯彻(producing)：执行计划来解决既定问题。如，自行设计工艺来进行实验室制取硫酸。注：限于篇幅只提供了样例开发思路，可据此进一步开发出测试同一内容与目标水平的不同类型的例题，以及评分标准等。
下载: 导出CSV
表 14 内容标准界定与表现标准开发
内容标准 表现标准(内容标准与认知水平的二维交叉；笔者根据初中化学课程标准编制) 五(一)2：认识燃烧的条件及防火灭火的措施。 ①知识与技能维度。燃烧条件：物质本身是可燃物、温度达到着火点、与氧气接触；灭火原理
②过程与方法维度。高级思维水平：从各种事实中提取信息与分析信息、综合学科内容(信息)、评价解决方案等；问题解决能力：对救火、灭火、防火等具体问题及一般问题的应对能力
③情感态度价值观维度。学生的社会认知目标：基本的社会安全常识与火灾自救知识
下载: 导出CSV
表 15 基于课程标准的试题质量判断
目标要求(学习结果的复杂性水平) 认知性学习目标 技能性学习目标 体验性学习目标 知道/记住/说出/列举/找到 认识/了解/看懂/识别/能表示 理解/解释/说明/区分/判断 课程目标 知识与技能 1:知道/说出
2:记住3:列举3:了解 2:解释
4:判断过程与方法 2:问题解决
4:问题解决情感态度价值观 注：阴影部分为课程目标与目标要求重合区域，其中填写文字为认知领域与三维课程目标重合区域。1、2等为题号，下同。
下载: 导出CSV
表 16 基于布卢姆认知目标分类修订的试题质量判断
知识维度 认知过程维度 记忆 理解 应用 分析 评价 创造 事实性知识 1:识别119火警
2:回忆灭火原理1:拨打报警电话
3:火灾自救措施概念性知识 4:设计方案 程序性知识 2:解释分组缘由 2:应用灭火原理 4:应用原理分析、评价方案 元认知知识 4:认知监控
下载: 导出CSV
-
点击查看大图
图(3) / 表(16)
计量
- 文章访问数: 170
- HTML全文浏览量: 124
- PDF下载量: 1
- 被引次数: 0