TQB:教师素质公告

对于教师评价,一致性是关键吗?

伟德1946英国

尽管有很多证据表明,各州都在退出高风险的教师评估(这是NCTQ即将发布的一份报告的主题),但你很难找到任何一个人不认为评估应该是公平和准确的,无论评估如何使用。这包括保持相对的一致性。

一项新的研究引起了人们对不幸的一致性问题的关注——即使是在一个似乎与最佳实践相一致的评估系统中——值得进一步研究,也许还需要在实践中进行一些调整。

研究新墨西哥州的NMTEACH评估体系美国范德比尔特大学(Vanderbilt University)的研究人员多安(Sy Doan)和兰德公司(RAND Corporation)的乔纳森·施威格(Jonathan Schweig)和卡塔·米哈里(Kata Mihaly)发现,如果在同一学年再次评估,多达40%的教师会得到不同的综合评分(根据教师的典型得分范围建立的模拟分数)。

像这样的高不一致率可以通过提高输入评估的单个测量的可靠性来减少。例如,可以通过添加更多涉及多个评分者的观察来获得更好的一致性,或者当使用学生调查时,设置最小的回答数量,以使回答被认为有效。

教师绩效的增值指标(VAM)产生了最多的不一致,特别是当它们在总结性指标中占较大份额时,但这些不一致也可以通过使用基于三年平均而不是一年的综合VAM评分来减少。除了这一长期推荐的做法,研究人员建议设置一个最低数量的学生贡献VAM分数,以产生更准确的VAM结果。

一项发现表明,使用4或5个评级等级可能有缺点。事实证明,五级体系比三级体系更容易暴露出评估的不一致性,其中大部分不一致性出现在中间,大多数教师的评分都下降了。减少分类可能是谨慎的,但重要的是,每个评级类别都需要服务于真正的目的(例如,它们与具体的干预措施相关联)。它还表明,总结性教师评价评级可能仍然适用于对教师在量表的高和低极端的高风险决策,那里的评级更一致。

虽然这一分析提供了有用的实用建议,但重要的是要注意,这项研究孤立了一致性,而没有检查准确性的重叠。(研究人员自己也指出,教师的评级每年自然会有些不一致,因为教师会随着时间的推移而提高。)学校可用的解决方案之一是更加强调观察,以获得更一致的结果,但由于观察更容易产生偏差,这一步骤可能会导致评分不太准确。

来自新墨西哥州这样的早期采用者的新兴研究表明,州和地区建立灵活、灵活的系统将是明智的,这些系统可以适应中途修正。