富勒挑战NCTQ分析

伟德1946英国
最后,我们收到了我们在上一期TQB中批评的认证研究的作者之一的来信,他是德克萨斯大学奥斯汀分校的爱德华·富勒(我们报道时他已经不在查尔斯·达纳中心了)。“在您最近的简报中,您批评了塞莱斯特·亚历山大和我提交的一篇论文。不幸的是,您在审阅我们的论文时犯了几个错误。首先,我们的研究是在2002年由德克萨斯州立法机构授权进行的,当时亚历山大女士和我都是德克萨斯州教育认证委员会的联合研究主任。这就解释了为什么报告很简短——这份报告是写给立法政策制定者的,而不是学者的。

其次,这项研究背后的实际工作花了将近一年的时间。亚历山大女士和我确保在分析数据时只采用了最严格的方法。我们让该领域的专家审查了这项研究,他们对方法没有任何重大批评。

“第三,我们实际上有三年的数据,而在第一项研究中只使用了两年。如果你读了这篇论文,你就会注意到我们在研究中使用了两年的TAAS数据。第一年的分数被用来控制之前的成就水平。使用第二年的分数作为因变量,第一年的分数作为其中一个自变量,就会得到与使用实际增益分数作为因变量相同的结果(就统计显著性变量而言)。事实上,我们用增益分数作为因变量运行了几个模型,结果是一样的。如果你仔细阅读桑德斯的作品,你会发现进行增值分析只需要两年的分数,但在确定个别教师的绩效水平时,则需要三年或更长时间。我们的研究并不是为了区分个别的高绩效教师和低绩效教师。

“最后,我们研究中的认证教师只包括完全认证的教师。这意味着参加替代认证项目的教师,持有外州许可证的教师,以及持有紧急许可证的教师都被认为没有获得认证。

“第四,如果你仔细研究了这篇论文,你会注意到我们实际上控制了大量影响学生成绩的因素,包括学生社会经济地位和种族/民族。

“还有一件事——我不是在查尔斯·a·达纳中心,而是在德克萨斯大学奥斯汀分校的教育管理系。如果你真的有一份报纸,你会在头版看到这个。

“当你明显没有阅读实际的论文(或没有非常仔细地阅读),也没有试图联系我们中的任何一个人询问有关分析的细节时,暗示我们的工作是粗劣的,你不觉得很讽刺吗?鉴于你的名声,我对你的期望会更高。”

埃德·富勒博士
教育行政部
德克萨斯大学奥斯汀分校

对此,可以提出以下几点。

首先,这篇论文的目标受众并不能原谅它的简洁和缺乏关键细节,特别是考虑到它是在年度AERA会议上发表的。不应该有必要直接联系作者来确定这些在论文中缺乏的基本方法问题,例如如何对认证教师进行分类……作为紧急证书还是完整证书?或者其他关键问题,比如,当数据被分解时不同的年级水平的影响是什么?在高中被指派紧急认证教师的影响是否比在初中更大?多年来一直被指派担任alt - cert数学老师的影响是什么?

其次,现在我们已经从Fuller教授那里了解到替代认证教师是如何被分类的——通过将他们与紧急认证教师分组——我们更加坚定地认为,替代认证教师必须被视为一个独立的群体,而不是与通常不符合学术标准的紧急认证教师混为一谈。没有这样做的研究只是没有提出正确的问题。没有人会为雇佣无法通过简单的执照考试的教师辩护。事实上,在德克萨斯州,四分之三被豁免的教师没有达到任何学术标准;这些实习教师中只有四分之一在他们的教学领域有专业知识。难怪富勒发现了认证的影响,无论多么微小(影响达到0.045个标准差)。

最后,富勒教授提出了几个我们不得不承认的有效观点。我们对认证研究应该满足的标准清单的意图不够清楚。正如富勒所指出的那样,我们似乎在指责这三项研究都不符合上述任何一个标准。其目的是建立一些基本规则,而不是暗示没有一项研究符合任何标准。当然,在富勒的案例中,他的研究确实保持了适当的控制),我们对没有说清楚这一点负有全部责任。此外,虽然这项研究的结果建立在超过一年的成长基础上显然是有利的(该研究观察了从1998年到1999年的学生数学考试成绩的增长),但事实并非如此,这不足以成为否定其研究结果的理由。