부가가치 모델링

Value-added modeling

부가가치 모델링(부가가치 측정, 부가가치 분석, 부가가치 평가라고도 함)은 교사 평가의 한 방법으로, 학생의 현재 시험 성적과 이전 학년의 같은 학생의 점수를 비교하여 해당 연도의 교사 기여도를 측정합니다.er 같은 학년의 학생들.이와 같이 부가가치 모델링은 각 교사가 특정 연도에 제공하는 기여 또는 부가가치를 분리하여 다른 교사의 성과 지표와 비교할 수 있도록 합니다.VAM은 과거의 성과나 수입과 같이 잠재적으로 교란할 수 있는 상황 변수를 고려하지 않고 단순히 학생의 성취 점수를 비교하거나 점수를 얻는 것보다 더 공정한 것으로 간주된다.또한 이 접근방식을 사용하여 학교장 또는 학교 전체의 부가가치를 추정할 수도 있다.

비판론자들은 개별 교사를 평가하기 위한 시험 사용이 과학적으로 검증되지 않았고, 많은 결과들이 외부 [1]과외와 같이 교사의 통제 범위를 벗어난 우연이나 조건 때문이라고 말한다.그러나 교사들의 부가가치로 측정되는 교사들의 효과의 차이는 학생들에게 [2]미치는 작은 경제적 효과와 관련이 있는 것으로 조사되었다.

방법

연구자들은 학생들의 과거 시험 점수에 대한 통계 과정을 사용하여 학생들의 미래 시험 점수를 예측합니다. 이는 학생들이 보통 지난 해와 거의 같은 점수를 매긴다는 가정하에 이루어집니다.학생의 실제 점수는 예측 점수와 비교된다.예측 점수와 실제 점수의 차이는 학생의 타고난 능력이나 사회경제적 상황 때문이 아니라 교사와 학교 때문인 것으로 가정한다.

이와 같이 부가가치 모델링은 학생의 일반적인 지능, 빈곤, 부모의 관여 등 학생의 시험 성과에 큰 영향을 미치는 것으로 알려진 교사의 통제 밖의 요인으로부터 교사의 공헌을 분리하려고 시도합니다.

통계학자들은 이러한 모든 개별 결과를 종합함으로써, 전형적인 교사가 학생의 성취도를 얼마나 향상시켰는지와 비교하여 특정 교사가 학생의 성취도를 얼마나 향상시켰는지를 결정할 수 있다.

통계학자들은 계층 선형 모형을 사용하여 주어진 학교의 주어진 교실에서 주어진 학생의 점수를 예측합니다.이 예측은 모든 학생의 집계 결과를 기반으로 합니다.각 학생의 예상 점수는 학생 수준(예: 과거 성과, 사회경제적 지위, 인종/민족성), 교사 수준(예: 자격증, 수년간의 경력, 최고 학위 취득, 교육 관행, 교육 자료, 커리큘럼) 및 학교 수준(예: 규모, 유형, 설정) 변수를 고려할 수 있다.포함되는 변수는 모형에 따라 다릅니다.

사용하다

2010년 현재, 시카고 공립 학교, 뉴욕시 교육청, 콜롬비아 공립 학군 등 미국 전역의 몇몇 학군이 이 제도를 채택하고 있다.이 순위는 교사 유임과 보너스 지급 문제 및 교사 [1]연수의 혜택을 가장 많이 받는 교사를 특정하기 위한 도구에 사용되었습니다.Race to the Top 및 교사 성과 평가의 보다 나은 방법을 주창하는 다른 프로그램 하에서 학군들은 교실에서 [1]교사를 관찰하는 데 대한 보충책으로 부가가치 모델링을 검토해왔다.

루이지애나 주의회 의원 프랭크 A.Hoffmann은 강력한 교사에게 보상하고 성공적인 교육학적 방법을 식별하기 위한 수단으로 주 공립학교에서 부가가치 모델링 기술을 사용하는 것을 허가하는 법안과 다른 교사보다 약한 것으로 확인된 교사들에게 추가적인 전문성 개발을 제공하기 위한 수단을 제공하는 법안을 도입했습니다.루이지애나 교원 연맹의 반대에도 불구하고, 이 법안은 2010년 5월 26일 루이지애나 주 상원을 통과했고, 바비 [3]진달 주지사에 의해 즉시 법안으로 통과되었다.

전문가들은 부가가치 모델링을 [4]의사결정의 유일한 결정 요인으로 사용할 것을 권장하지 않습니다.대신 다면 평가 프로그램에서 중요한 요소로 [5]사용할 것을 권장합니다.

제한 사항

표준 기준 평가 시스템으로서 교사의 성과는 선택된 비교 그룹의 다른 교사들에게서 볼 수 있는 결과와 비교된다.따라서 이 모델을 사용하여 교사가 일반 교사보다 더 나은지, 더 나쁜지 또는 같은지 추론할 수 있지만, 이 모델을 사용하여 특정 수준의 수행이 바람직한지 여부를 판단할 수는 없습니다.

각 학생의 예상 점수는 주로 예년의 실제 점수에 의해 산출되기 때문에, 유치원 및 1학년 교사를 평가하는 데 이 모델을 사용하는 것은 어렵다.일부 연구는 이 모델을 3학년 이상의 교사들로 제한한다.

학교는 학생들의 이전 학교로부터 신입생의 선행 점수를 얻지 못하거나, 일부 시험들의 비교 가능성 때문에 점수가 유용하지 않을 수 있다.학생 이직률이 높은 학교는 이 모델을 적용하기에 충분한 데이터를 수집하는 데 어려움을 겪을 수 있습니다.학생들이 한 해 중반에 전학할 때, 한 해 동안 그들의 진보는 최종 교사들 때문만은 아니다.

부가가치 점수는 [4]언어보다 수학 교사 효과에 더 민감합니다.이것은 읽기 및 언어 능력을 위해 형편없이 구성된 시험을 널리 사용했기 때문일 수도 있고, 또는 교사들이 궁극적으로 언어 [4]발달에 덜 영향을 미치기 때문일 수도 있다.학생들은 주로 학교에서 수학 기술을 배우는 동안 많은 소스, 특히 그들의 가족들로부터 언어 기술을 배운다.

학년별, 학급별로 점수 차이가 있다.이 변화는 메이저리그 야구와 같은 다른 분야의 성과 측정과 비슷하기 때문에 교사의 [4]성과에 실제적이고 자연스러운 변화를 반영할 수 있다.이러한 변동으로 인해 점수가 많은 학생(일반적으로 50명 이상)으로부터 도출된 경우 점수가 가장 정확합니다.그 결과, 초등학교 1학년 교사를 평가하는 데 이 모델을 사용하는 것은 어렵다. 왜냐하면 그들은 20명의 학생만을 가르쳤을 수도 있기 때문이다.단일 교실을 기준으로 순위를 매기면 교사를 65% 정도 정확하게 분류할 수 있습니다.이 수치는 10년 데이터를 사용할 [6]수 있는 경우 88%까지 증가합니다.또, 신뢰 구간이 넓기 때문에, 이 방법은, 교사가 경미하다고 평가될지를 판단하려고 하는 것과 같이, 보다 전형적인 성과를 내는 교사를 세밀하게 구별하려고 하는 것이 아니라, 항상 상위 10% 또는 하위 10%에 있는 교사를 식별할 때, 가장 신뢰할 수 있는 방법입니다.y는 중위수 [6]위 또는 약간 아래에 있습니다.

부가가치 점수는 학생들이 교사들에게 랜덤하게 배정된다고 가정합니다.실제로 학생들은 교사나 학교에 무작위로 배정되는 경우가 거의 없다.경제학자이자 교수인 제시 M 박사에 따르면 버클리 캘리포니아 대학의 로스틴은 "학생을 무작위로 교사에게 할당하는 것은 교사의 인과적 [7]영향에 대한 부가가치 추정치를 편향시킬 수 있다."부가가치 측정의 사용에 대한 가능한 편향의 문제는 최근 상당한 연구의 주제가 되어 왔으며, 다른 연구자들은 부가가치 측정이 교사 효과의 좋은 추정치를 제공한다는 결론에 도달했다.예를 들어, 효과적인 교육의[8] 측정 프로젝트의 최근 작업과 하버드 대학의 Raj Chetty 교수와 그의 [9]동료들의 부가가치 측정이 미래의 수입과 어떻게 관련되어 있는지에 대한 분석을 참조하십시오.

조사.

학생들의 학습 성과를 바탕으로 교사의 효과를 판단하는 아이디어는 1971년 현재 캘리포니아 스탠포드 대학에 위치한 미국의[12][13][14] 공공 정책 싱크탱크인 후버 연구소의 선임 펠로우인 에릭 [11]하누섹에 의해 연구 문헌에 처음[10] 소개되었다.그 후,[15] 하버드 대학의 리차드 무네인에 의해서 분석되었다.이 접근방식은 학교 내 교사 효과의 변화를 평가하기 위해 다양한 분석에서 사용되어 왔으며,[16] 평가 결과 학생들의 학습 속도에서 교사들 간에 크고 일관된 차이가 나타났다.

SAS의 선임 연구 매니저인 통계학자 William Sanders는 노스캐롤라이나와 테네시 학군을 위한 부가가치 모델을 개발하면서 학교 운영에 이 개념을 도입했습니다.1990년대 테네시에서 학교 프로그램을 위한 교사 평가 도구로 처음 만들어진 이 기법의 사용은 2002년 아동학대금지법이 통과되면서 확대되었다.샌더스는 자신의 경험과 연구를 바탕으로 "엄격하고 견고한 방법을 사용하고 안전장치로 둘러싸면 매우 효과적인 교사들과 일반 교사들, 그리고 비효율적인 [1]교사들을 신뢰성 있게 구별할 수 있을 것"이라고 주장했다.

뉴욕의 카네기 코퍼레이션을 위해 준비된 랜드사의 2003년 연구는 부가가치 모델링은 "교사와 학교의 효과를 가정환경과 같은 비교육적 요인의 강력한 효과로부터 분리할 수 있는 가능성을 배제하고 있다"고 말했고, 연구는 교사 점수에 큰 차이가 있다는 것을 보여주었다.n 이러한 모델을 사용하면 교사 [17]개개인의 성과와 연계된 것으로 변동성이 입증될 경우 부가가치 모델링이 교사 성과 평가 및 보상을 위한 효과적인 도구가 될 수 있다.

로스앤젤레스타임스는 그 도시의 학교에서 이 프로그램을 사용하는 것에 대해 보도하면서, 그 지역의 6,000명의 초등학교 교사들에게 부가가치 모델링 시스템으로 계산된 점수를 제공하는 검색 가능한 웹사이트를 만들었다.미국 교육부 장관 Anne Duncan은 이 신문의 교사 점수에 대한 보도를 투명성 증대의 모델이라고 칭송했지만, 그는 "사생활, 공정성, 그리고 [1]교사에 대한 존중"에 대한 우려에 대해 더 큰 개방성이 균형을 이루어야 한다고 지적했다.2011년 2월 국립교육정책센터(NEPC)의 데릭 브릭스(Derek Briggs)와 벤 도밍게(Ben Domingue)는 LA에서 동일한 데이터 세트를 재분석한 보고서를 발표했습니다.Unified School District는 Times에 게재된 결과를 복제하려고 시도했고, 그들은 이전 연구의 심각한 한계를 발견했으며, "로스앤젤레스 타임즈가 2010년 8월 교사 효과 보고를 위해 의존한 연구는 공개된 [18]순위를 뒷받침하기에 명백히 불충분했다"고 결론지었다.

Bill and Melinda Gates Foundation은 Measures of Effective Teaching 프로그램을 통해 부가가치 모델링에 대한 다년간의 연구를 후원하고 있습니다.2010년 12월에 발표된 초기 결과에 따르면, 교실 관리나 엄격한 업무의 학생 도전 등, 몇개의 중요한 교사의 특성에 대한 부가가치 모델링과 학생의 인식 모두, 효과적인 [4]교사를 올바르게 특정하고 있습니다.학생 평가에 대한 연구는 로널드 퍼거슨에 의해 이루어졌다.또한 이 연구에서는 전체 커리큘럼에 [4]대한 깊은 개념적 이해를 촉진하는 교사보다 시험에 가르치는 교사가 훨씬 덜 효과적이고 부가가치 모델링 점수가 현저히 낮다는 것을 발견했습니다.그러나 [19]경제학자이자 버클리 캘리포니아 대학의 교수인 제시 로스틴이 실시한 MET 보고서의 재분석에는 이러한 해석 중 일부가 논쟁적이다.Rothstein은 보고서의 분석이 결론을 뒷받침하지 않으며 "정확하게 해석..."이라고 주장한다.교사 [20]평가에 대한 부가가치 기반 접근방식을 검증하는 것이 아니라 훼손하는 것입니다."그러나 MET 프로젝트의 보다 최근의 연구에서는 부가가치 접근법의 [8]사용을 검증하고 있습니다.

교장 및 리더

부가가치 모델링에 대한 일반적인 아이디어는 교장 및 학교 지도자를 고려하도록 확장되었습니다.학교 지도자의 중요성에 대한 상당한 일화적인 토론이 있었지만, 학생들의 성적에 대한 그들의 영향에 대한 체계적인 연구는 거의 없었다.텍사스의 최근 분석은 교장이 바뀐 후 학교 성취도가 어떻게 변화하는지 살펴봄으로써 리더의 효과에 대한 증거를 제공했다.교장의 효과 측정에 대한 이러한 결과 기반 접근방식은 교사 평가에 적용된 부가가치 모델링과 매우 유사합니다.텍사스의 초기 연구는 교장선생님이 학생들의 [21]성취도에 매우 큰 영향을 미친다는 것을 알아냈다.보수적인 추정에 따르면 효과적인 학교 지도자는 학교 내 모든 학생들의 성적을 향상시키고, 그 규모는 평균에서 각 학년 학생들의 2개월 추가 학습 성과와 동일하다.이러한 이득은 적어도 교장이 좋은 교사를 선발하고 유지하는 데 미치는 영향을 통해 얻어진다.그러나 비효율적인 교장들은 학교 성적에 비슷하게 큰 부정적인 영향을 미치는데, 이는 평가의 문제가 교사들에게 중요한 만큼 학교 지도력에 있어서도 중요하다는 것을 시사한다.

비판과 우려

2010년 8월 경제정책연구원이 발표한 보고서는 "미국 공립학교는 일반적으로 체계적으로 교사를 개발하고 평가하는 일을 잘 하지 못한다"고 인정하면서도 표준화된 시험 성적을 측정 도구로 활용하는 것이 더 나은 성과로 이어지지는 않을 것이라고 우려했다.EPI 보고서는 표준화된 시험 점수에 기초한 성과 측정이 "교실에서 실제로 교사가 무엇을 하고 그것이 학생 학습에 어떻게 기여하는지에 대한 보다 정확한 뷰를 제공하기 위해" 고려되어야 하는 많은 요소 중 하나라고 권고하고 있다.이 연구는 부가가치 모델링을 교육 방법론과 전반적인 학교 성과를 더 잘 측정할 수 있는 교사들을 비교하는 더 공정한 수단이라고 불렀지만, 학생들의 시험 점수는 "고도의 인사 결정"[22]을 하는 수단으로서 충분히 신뢰할 수 없다고 주장했다.

경제정책연구소 연구팀을 이끈 에드워드 헤텔은 Race to the Top 프로그램의 일환으로 추진되고 있는 방법론에 대해 "교사와 교장을 평가할 목적으로 아직 충분히 연구되지 않은 학생 성취도의 성장 척도에 너무 많은 중점을 두고 있다"며 가치 평가 기법은 다음과 같이 썼다.ed-added 모델링은 보다 철저하게 평가되어야 하며, "심각하게 연구된 파일럿 프로젝트"[1]에서만 사용해야 합니다.

교육 정책 연구자인 제럴드 브레이시는 교사들 간의 상관관계와 시험 점수의 단기적인 변화가 실제 교육의 질과 무관할 수도 있다고 주장했다.따라서 "그것은 개별 교사에 대한 인과적 추론을 허용할 수 없다.기껏해야 전문지식이 [23]더 필요할지도 모르는 교사를 특정하는 시작 단계입니다.

미국 통계협회는 2014년 4월 8일 교육 평가에 부가가치 모델을 사용하는 것을 비판하는 성명을 발표하면서 이러한 모델의 유용성을 배제하지 않았다.ASA는 입력 데이터의 한계, 모델에 포함되지 않은 요인의 영향, 그리고 매년 불안정한 [24]순위를 초래하는 큰 표준 오차 등을 이유로 들었다.

존 유잉(John Ewing)은 미국 수학회 공지에 실린 글에서 교육 평가에 부가가치 모델을 사용하는 것을 "수학적인 위협"이자 "법적 무기"라고 비판했다.Ewing은 입력 데이터의 문제와 [25]모델에 포함되지 않은 요인의 영향을 인용했습니다.

대체 수단

교사 평가를 위한 몇 가지 대안이 구현되었다.

  • 학생에 의한 평가:검증이 끝난 질문을 하면, 4학년 정도의 어린 학생들은 효과적인 [4]교사를 정확하게 식별할 수 있습니다.대학에서는 코스 평가가 일반적이지만,[citation needed] 교사를 유지하거나 해고하는 결정에 사소한 부분 이상을 차지하는 경우는 거의 없습니다.
  • 교실 밖에서의 활동:교사의 평가에는 통상, 스탭 트레이닝 이벤트에의 참가가 포함됩니다.예를 들어, 석사 학위를 취득한 교사는 석사 학위를 취득하는 것이 학생들의 [26][citation needed]성취에 영향을 미치지 않더라도 거의 항상 더 많은 돈을 받는다.

대부분의 전문가들은 교사의 [27]효과를 평가하기 위해 여러 가지 방법을 사용할 것을 권장한다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ a b c d e f Dillon, Sam. "Method to Grade Teachers Provokes Battles" 2017-05-18년 뉴욕타임스, 2010년 8월 31일 Wayback Machine에서 아카이브.2010년 9월 1일에 액세스.
  2. ^ 1년 동안 학생들이 많은 선생님들을 갖게 되면 정확한 추정치를 계산하는 것도 복잡하다.Eric Hanushek, "교사의 가치 평가: 좋은 선생님 한 분에게 얼마의 가치가 있을까요?2017년 7월 23일 Wayback Machine Education Next 11, 3호(2011년 여름)에서 보관.라지 체티, 존 N. 프리드먼, 조나 E.Rockoff, "Wayback Machine에서 2017-03-28 아카이브된 교사 II의 영향 측정:교사 부가가치 및 성인기 학생 성과," American Economic Review, Volume 104, No.9, 2014, 페이지 2633–2679.
  3. ^ 직원. "부가가치 평가 법안은 이제 법입니다." 2010년 5월 28일 루이지애나주립교원연맹, Wayback Machine, 2010년 4월 14일 보관.2010년 9월 1일에 액세스.
  4. ^ a b c d e f g Learning about Teaching: Initial Findings from the Measuring Effective Teaching Program. Bill and Melinda Gates Foundation (Report). December 2010. Archived from the original on 2010-12-16. Retrieved 2010-12-15 – via The Los Angeles Times.
  5. ^ Scherrer, Jimmy (2011). "Measuring Teaching Using Value-Added Modeling: The Imperfect Panacea". NASSP Bulletin. 95 (2): 122–140. doi:10.1177/0192636511410052. S2CID 145460616.
  6. ^ a b Otterman, Sharon (26 December 2010). "Hurdles Emerge in Rising Effort to Rate Teachers". The New York Times. Archived from the original on 28 November 2018. Retrieved 25 February 2017.
  7. ^ Rothstein, Jesse M. (February 2010). "Teacher quality in educational production: Tracking, decay, and student achievement" (PDF). Quarterly Journal of Economics. Archived from the original (PDF) on 2013-07-20. Retrieved 2013-12-07.
  8. ^ a b 토마스 J.케인, 다니엘 F.맥카프리, 트레이 밀러, 더글러스 O.스타이거, 유능한 교사는 찾았나?무작위 할당을 사용한 효과적인 교육의 측정값 검증.MET 프로젝트: Bill and Melinda Gates Foundation (2013년 1월)
  9. ^ Chetty, Raj; Friedman, John N.; Rockoff, Jonah. "Measuring the impacts of teachers I: Evaluating bias in teacher value-added estimates". The American Economic Review. American Economic Association. Archived from the original on 2017-08-30. Retrieved 2017-09-17.
  10. ^ Green, Elizabeth (2014). Building a Better Teacher: How Teaching Works (and How to Teach It to Everyone). W. W. Norton & Company. pp. 40–44. ISBN 978-0-393-08159-6. Building a better teacher.
  11. ^ Eric A. Hanushek, "학생 성취에 있어서의 교사 특성과 이득: 마이크로 데이터를 이용한 평가", American Economic Review, 61(2), 1971년 5월, 페이지 280-288; Eric A.Hanushek, "아동 수량과 자질 사이의 균형" 2013-12-12년 아카이브, 정치경제학 저널 100(1), 1992년 2월, 84-117페이지.
  12. ^ Lindsay, Leon (June 2, 1983). "Stanford's conservative think tank is under fire". The Christian Science Monitor. Archived from the original on 5 March 2016. Retrieved 30 August 2013.
  13. ^ de Lama, George (March 3, 1993). "With GOP out of power, conservative think tank is a quieter place". Chicago Tribune. Archived from the original on 12 December 2013. Retrieved 30 August 2013.
  14. ^ "Think tank's Hoover Tower turns 50". Daily News of Los Angeles. July 19, 1991. Archived from the original on 12 December 2013. Retrieved 30 August 2013.
  15. ^ Richard J. Murnane, Ballinger, 학교자원의 영향이 도심 아이들의 학습에 미치는 영향입니다.
  16. ^ Eric A. Hanushek 및 Steven G. Rivkin, "교사 품질의 부가가치 측정 사용에 관한 일반화" 2013-12-12 아카이브, American Economic Review, 100(2), 2010년 5월 페이지 267-271.1257/a.
  17. ^ McCafrey, Daniel F., J. R., Lockwood, Koretz, Daniel M. 및 Hamilton, Laura S. "교사 설명 책임을 위한 부가가치 모델 평가" 2011-04-15년 RAND Corporation, Wayback Machine, 2003년 아카이브.2010년 9월 1일에 액세스.
  18. ^ Briggs, D. 및 Domingue, B. "Due Diligence and the Evaluation of Teachers"는 2011년 2월 11일 국립교육정책센터 웨이백머신에서 아카이브되었습니다.2011년 4월 3일에 액세스.
  19. ^ Rothstein, R. "Review of Learning About Teaching"은 2010년 12월 국립교육정책센터 웨이백머신에서 2019-08-15년 아카이브되었습니다.
  20. ^ "Gates Report Touting 'Value-Added' Reached Wrong Conclusion National Education Policy Center". Nepc.colorado.edu. 2011-01-13. Archived from the original on 2014-01-03. Retrieved 2014-01-13.
  21. ^ Gregory Branch, Eric Hanushek 및 Steven G. Rivkin, "학교 지도자: 효과적인 프린서펄의 영향 측정" 2012-10-28년 Wayback Machine, Education Next 13(1), 2013년 겨울 아카이브.
  22. ^ 베이커, 에바 L., 바튼, 폴 E., 달링 해먼드, 린다, 하텔, 에드워드, 래드, 헬렌 F., 린, 로버트 L., 라비치, 다이앤, 로스타인, 리처드, 쉐퍼드, 로리.2010년 9월 1일에 액세스.
  23. ^ Breasy, Gerald, "Value Subtracted: A Debate with William Sanders"는 2007년 5월 1일 HuffPost의 Wayback Machine에서 2013-06-14 아카이브되었습니다.2012년 9월 17일에 액세스.
  24. ^ 미국 통계 협회, "교육 평가를 위한 부가가치 모델 사용에 관한 ASA 성명" 2017-09-25를 웨이백 머신에 보관, 2014년 4월 8일.2017년 8월 4일에 접속.
  25. ^ 유잉, 존 "수학적인 위협: 데이터 기반" 2017-08-05 Wayback Machine, Notice of the American Mathemical Society, 2011년 5월 58:5.2017년 8월 4일 접속
  26. ^ Harris, Douglas N.; Sass, Tim R. (2011). "Teacher training, teacher quality and student achievement". Journal of Public Economics. 95 (7–8): 798–812. CiteSeerX 10.1.1.567.1794. doi:10.1016/j.jpubeco.2010.11.009.
  27. ^ Patricia H. Hinchey (December 2010). "Getting Teacher Assessment Right: What Policymakers Can Learn From Research". NEPC Policy Brief. Archived from the original on 2011-07-27. Retrieved 2011-04-18.

외부 링크