전산구분시험

Computerized classification test

컴퓨터 분류시험(CCT)은 이름에서 알 수 있듯이 수험생 분류를 목적으로 컴퓨터가 관리하는 시험을 말한다. 가장 흔한 CCT는 수험생을 합격 또는 불합격으로 분류하는 숙달된 시험이지만, 이 용어에는 수험생을 2개 이상의 범주로 분류하는 시험도 포함되어 있다. 이 용어는 일반적으로 모든 컴퓨터 관리형 시험을 분류에 참조하는 것으로 간주될 수 있지만, 일반적으로 컴퓨터화된 적응형 시험(CAT)과 유사하게 상호작용적으로 관리되거나 가변 길이에 해당하는 시험을 지칭하는 데 사용된다. CAT와 마찬가지로 가변 길이 CCT는 기존의 고정형식 시험에 사용된 항목 수의 일부분으로 시험의 목표(정확한 분류)를 달성할 수 있다.

CCT에는 다음과 같은 몇 가지 구성 요소가 필요하다.

  1. 테스트 설계자가 선택한 심리측정학 모델로 보정된 아이템 뱅크
  2. 출발점
  3. 항목 선택 알고리즘
  4. 종료 기준 및 채점 절차

출발점은 논쟁의 대상이 아니다; CCT에 대한 연구는 주로 다른 세 가지 요소에 대한 다른 방법의 적용을 조사한다. 참고: 종료 기준과 채점 절차는 CAT에서는 별개지만, 분류가 이루어지면 시험이 종료되기 때문에 CCT에서도 동일하다. 따라서 CAT를 설계하기 위해 반드시 지정해야 하는 5가지 구성요소가 있다.

CCT에 대한 소개는 톰슨(2007)[1]과 파샬, 스프레이, 칼론, 데이비(2006)의 책이다.[2] 출판된 CCT 연구의 참고 문헌은 아래와 같다.

작동 방식

CCT는 CAT와 매우 비슷하다. 수험생에게 한 번에 한 항목씩 관리한다. 수험생이 해당 항목에 응답한 후 컴퓨터가 채점해 수험생이 아직 분류가 가능한지 판단한다. 만약 그렇다면, 시험은 종료되고 수험생은 분류된다. 그렇지 않으면 다른 항목이 관리된다. 이 과정은 수험생이 분류되거나 다른 종료점이 충족될 때까지 반복된다(은행 내 모든 항목이 관리되었거나 최대 시험 길이에 도달했다).

사이코메트리 모형

CCT의 정신측정학 모델에는 고전적 시험 이론(CTT)과 항목 반응 이론(IRT)의 두 가지 접근법이 있다. 고전 시험 이론은 각 범주에 속하는 것으로 결정된 수험생의 표본에 대한 항목 매개변수를 결정하여 적용하기 때문에 국가 모델을 가정한다. 예를 들어, 수백 명의 "마스터"와 수백 명의 "비마스터"가 각각에 대한 어려움과 차별을 결정하기 위해 표본으로 추출될 수 있지만, 그렇게 하는 것은 각 그룹에 있는 뚜렷한 일련의 사람들을 쉽게 식별할 수 있어야 한다. 반면에 IRT는 특성 모델을 가정한다; 시험에 의해 측정된 지식이나 능력은 연속이다. 분류군들은 마스터와 비마스터를 구분하기 위해 커트스코어를 사용하는 것과 같이 연속체를 따라 다소 임의로 정의되어야 할 필요가 있지만, 항목 매개변수의 규격은 특성 모델을 가정한다.

각각 장단점이 있다. CTT는 더 큰 개념적 단순성을 제공한다. 더 중요한 것은 CTT가 CCT 설계에서 최종적으로 사용할 항목 매개변수 교정을 위해 샘플에 필요한 수험생이 적다는 점 때문에 소규모의 시험 프로그램에 유용하다는 점이다. CTT 기반 CCT에 대한 설명은 Frick(1992)[3]을 참조하십시오. 그러나 대부분의 CCT는 IRT를 이용한다. IRT는 더 큰 특수성을 제공하지만 가장 중요한 이유는 CCT(및 CAT)의 설계가 비용이 많이 들기 때문에 광범위한 자원을 가진 대규모 시험 프로그램에 의해 수행될 가능성이 더 크기 때문일 수 있다. 그러한 프로그램은 IRT를 사용할 것이다.

시작점

CCT에는 특정 알고리즘을 활성화하려면 지정된 시작점이 있어야 한다. 순차 확률비 시험을 종료 기준으로 사용할 경우, 암묵적으로 시작 비율 1.0(시험 응시자가 마스터 또는 비마스터일 확률의 동일)을 가정한다. 종료 기준이 신뢰 구간 접근방식인 경우, 세타에 지정된 시작점을 지정해야 한다. 보통 이것은 분포의 중심인 0.0이지만 수험생 분포의 매개변수를 알면 특정 분포에서 무작위로 추출할 수도 있다. 또한, 마지막 시험을 치른 때의 점수와 같은 개별 수험자에 대한 이전 정보를 사용할 수 있다(재응시일 경우).

품목선택

CCT에서는 모든 수험생에게 고정된 항목 세트를 시행하는 기존의 방식과 달리 시험 기간 내내 관리할 항목을 선택한다. 이것은 보통 개별 항목별로 수행되지만, 테스트렛이라고 알려진 항목의 그룹으로도 수행될 수 있다(Leucht & Nungster, 1996;[4] Vos & Glas, 2000[5]).

항목 선택 방법은 컷스코어 기반과 견적 기반이라는 두 가지 범주로 나뉜다. 커트스코어 기반 방법(일명 순차 선택)은 커트스코어 항목에서 제공하는 정보를 최대화하거나, 수험자의 능력에 관계없이 커트스코어 또는 커트스코어가 둘 이상일 경우 커트스코어 정보를 최대화한다. 추정 기반 방법(적응 선택이라고도 함)은 컷스코어의 위치와 관계없이 현재 수험자 능력의 추정치에서 정보를 최대화한다. 두 가지 모두 효율적으로 작동하지만, 효율성은 부분적으로 채택된 종료 기준에 따라 달라진다. 순차 확률비 테스트는 컷스코어 주변의 확률만 평가하기 때문에 컷스코어 기반의 아이템 선택이 더 적절하다. 신뢰구간 종료 기준은 수험생 능력 추정치를 중심으로 출제되기 때문에 추정 기준 항목 선택이 더 적절하다. 이는 신뢰 구간이 컷스코어보다 완전히 위 또는 아래에 있을 정도로 작을 때(아래 참조) 검정이 분류되기 때문이다. 측정의 표준 오차가 작을 때는 신뢰 구간이 작아지고, 수험자의 세타 수준에서 정보가 많을 때는 표준 오차가 작아진다.

종료 기준

CCT에 일반적으로 사용되는 세 가지 종료 기준이 있다. 베이지안 의사결정 이론 방법은 손실/유틸리티 구조와 평가 고려사항의 무한 선택권을 제시함으로써 큰 유연성을 제공하지만, 또한 더 큰 차익거래를 도입한다. 신뢰 구간 접근방식은 시험의 각 지점에서 수험자의 현재 세타 추정치 주변의 신뢰 구간을 계산하고, 그 구간이 분류를 정의하는 세타 영역 내에 완전히 들어갈 때 수험자를 분류한다. 이는 원래 적응형 마스터티 테스트(Kingsbury & Weiss, 1983)라고 알려졌으나, 반드시 적응형 항목을 선택해야 하는 것은 아니며, 2종류 마스터링 테스트 상황에 국한된 것도 아니다. 순차 확률비 검정(Recase, 1983)은 수험자의 세타가 컷스코어 위 특정 지점 또는 컷스코어 아래 특정 지점과 같다는 가설 검정으로서 분류 문제를 정의한다.

참조

  1. ^ 뉴욕 주 톰슨 (2007년) 가변 길이 전산 분류 시험을 위한 실무자 안내서. 실무평가 연구 및 평가, 12(1) [1]
  2. ^ Parshall, C. G. 스프레이, J. A., Kalohn, J. C. & Davey, T. (2006) 컴퓨터 기반 테스트의 실제 고려 사항. 뉴욕: 스프링거.
  3. ^ 프릭, T. (1992) 전문가 시스템으로서의 컴퓨터화된 적응 마스터 테스트. 교육용 컴퓨터 연구 저널, 8(2), 187-213.
  4. ^ Luecht, R. M. & Nungster, R. J. (1998년) 컴퓨터 적응형 순차 시험의 몇 가지 실제 사례. Journal of Educational Measurement, 35, 229-249.
  5. ^ Vos, H.J. & Glas, C.A.W. (2000년) 테스트렛 기반 적응 숙달 테스트. W.J.의 반 데어 린덴과 C.A.W.의 글라스에서 (에드스) 컴퓨터 적응형 시험: 이론과 실천.

CCT 연구 도서 목록

  • 아미티지, P.(1950). 세 개 이상의 대립 가설과 판별 함수 분석과의 관계를 갖는 순차 분석. 왕립통계학회지 12, 137–144.
  • Braun, H, Bejar, I.I., Williamson, D.M. (2006). 자동화된 채점을 위한 규칙 기반 방법: 라이센싱 컨텍스트의 응용 프로그램. D.M. 윌리엄슨, R.J., Bejar, I.I. (에드)에서 Mislevy, Mislevy, Bejar에서. 컴퓨터 기반 테스트에서 복잡한 작업의 자동 점수 매기기. 마화, 뉴저지: 얼바움.
  • Dodd, B. G., De Ayala, R. J., & Koch, W. R. (1995년) 다항성 항목으로 컴퓨터화된 적응 시험. 응용 심리 측정, 19, 5-22
  • 에겐, T. J. H. M. (1999년) 순차 확률비 시험을 통한 적응형 시험의 항목 선택. 응용 심리 측정, 23, 249–261.
  • 에겐, T. J. H. M. & Straetmans, G. J. J. M. (2000) 수험생을 3가지 범주로 분류하기 위한 전산 적응형 시험. 교육 및 심리 측정, 60, 713–734.
  • 엡스타인, K. I., & 크너, C. S. (1977년) 성능 시험에 대한 순차적 시험 절차의 적용. 1977년 MN 미니애폴리스에서 열린 컴퓨터 적응 시험 회의에서 발표된 논문.
  • 퍼거슨, R. L. (1969년). 개별적으로 규정된 지침 프로그램에 대한 컴퓨터 지원 분기 시험의 개발, 구현 및 평가. 피츠버그 대학의 미발표 박사학위 논문.
  • 프릭, T. W. (1989년). 컴퓨터 기반 테스트와 컴퓨터 유도 연습 중 베이지안 적응. 교육 컴퓨팅 연구 저널 5, 89–114.
  • 프릭, T. W. (1990년) 컴퓨터 기반 마스터 테스트의 길이 적응을 위한 세 가지 의사결정 모델의 비교. 교육 컴퓨팅 연구 저널 6,479–513.
  • 프릭, T. W. (1992) 전문가 시스템으로서 컴퓨터화된 적응형 숙련도 시험. 교육 컴퓨팅 연구 저널 8, 187–213.
  • Huang, C.-Y., Kalohn, J.C., Lin, C.J., Spray, J. (2000) 전산분류시험을 통한 아이템 풀 개발을 위한 고전적 지수의 아이템 매개변수 추정(연구보고서 2000–4) 아이오와 시티, IA: ACT, Inc.
  • 미국 뉴욕 주 제이콥스 카스토(2005년. Testlet을 이용한 Adaptive Mastery Testing의 비교

3-모수 로지스틱 모델 사용. 미발표 박사학위 논문, 미네소타 대학교, 미니애폴리스, MN.

  • 자오, H, & Lau, A. C. (2003) 모델 부적응이 전산분류시험에 미치는 영향 2003년 4월 시카고, 일리노이, 전국교육측정위원회 연례회의에서 제시된 논문.
  • 자오, H, 왕, S, & Lau, C. A. (2004) IMT-2000 3GPP-전산분류 3가지 분류 결정을 위한 SPRT의 2가지 조합절차에 관한 연구 2004년 4월 샌안토니오 미국교육연구회 연차총회에서 발표한 논문.
  • Kalohn, J. C., & 스프레이, J. A. (1999년) 모델 오규정이 전산화된 시험을 이용하여 내린 분류 결정에 미치는 영향. Journal of Educational Measurement, 36, 47–59.
  • G.G.의 킹스베리 & 위스, D.J. (1979년) 숙달된 의사결정을 위한 적응형 테스트 전략. 연구보고서 79-05 미니애폴리스: 미네소타 대학교 심리측정학 연구소.
  • G.G.의 킹스베리 & Weiss, D.J. (1983) IRT 기반 적응형 마스터리 시험과 순차 마스터리 시험 절차의 비교. D. J. Weiss (Ed.)에서 시험의 새로운 지평: 잠재 특성 이론과 컴퓨터화된 적응 시험 (pp. 237–254)이다. 뉴욕: 아카데미 프레스.
  • Lau, C. A. (1996년) 다차원 테스트 데이터를 사용한 단차원 컴퓨터 테스트 마스터 절차의 견고성. 아이오와 시티 아이오와 대학교의 미발표 박사학위 논문.
  • Lau, C. A., & Wang, T. (1998년) 컴퓨터 분류 시험에서 SPRT 절차와 이분법 및 다원법 항목의 비교 및 결합. 샌디에이고 미국 교육연구협회 연례회의에서 발표한 논문.
  • Lau, C. A., & Wang, T. (1999년) 다면체 모델을 사용한 실제 제약 조건 하에서 컴퓨터 분류 시험. 캐나다 몬트리올에서 열린 미국 교육연구협회 연례회의에서 제시된 논문.
  • Lau, C. A., & Wang, T. (2000) 전산분류시험에서 혼합품종에 대한 신규품목선정절차 루이지애나주 뉴올리언스에서 열린 미국교육연구협회 연례회의에서 제시된 논문.
  • Lewis, C, & Sheehan, K. (1990) 베이지안 의사결정 이론을 사용하여 컴퓨터화된 마스터리 테스트를 설계한다. 응용 심리 측정, 14, 367–386.
  • 린, C.J. & 스프레이, J.A. (2000) 항목 선택 기준이 순차 확률비 시험을 통한 분류 시험에 미치는 영향. (연구보고서 2000–8) 아이오와 시티, IA: ACT, Inc.
  • 린, R. L. 록, D. A. & 클리어리, T. A. (1972) 이분법적 결정을 위한 순차적 검사. 교육 및 심리 측정, 32, 85-95.
  • 루에히트, R. M. (1996년) 인증 또는 라이센스 컨텍스트의 다차원 컴퓨터 적응형 시험. 응용 심리 측정, 20, 389–404.
  • 셈세, M. D. (1983). 맞춤형 테스트를 사용하여 의사 결정을 내리는 절차. D. J. Weiss (Ed.)에서 시험의 새로운 지평: 잠재 특성 이론과 컴퓨터화된 적응 시험 (pp. 237–254)이다. 뉴욕: 아카데미 프레스.
  • 루드너, L. M. (2002) 의사결정 이론 적응 시험 절차의 검사. 2002년 4월 1일부터 5일까지 LA 뉴올리언스에서 열린 미국교육연구협회 연례회의에서 제시된 논문.
  • 쉬한, K, & 루이스, C. (1992년). 무수량 시험지를 이용한 컴퓨터 마스터 시험. 응용 심리 측정, 16, 65–76.
  • 스프레이, J. A. (1993) 순차 확률비 시험을 이용한 다범주 분류(연구보고서 93~7) 아이오와주 아이오와시티: ACT, Inc.
  • 스프레이, J. A., 압델파타, A. A., 황, C., Lau, C. A. (1997년) 항목 풀과 잠재 공간이 다차원일 때 컴퓨터화된 테스트에 대한 일차원 근사치(연구 보고서 97–5) 아이오와주 아이오와시티: ACT, Inc.
  • 스프레이, J. A. & Leccase, M. D. (1987) 항목 매개변수 추정 오차가 순차 확률비 시험을 사용하여 내린 결정에 미치는 영향(연구보고서 87~17). 아이오와 시티, IA: ACT, Inc.
  • 스프레이, J. A. & Leccase, M. D. (1994년) 전산화된 적응형 시험으로 의사결정을 위한 시험항목 선정. 전국교육측량협의회(National Council for Education in Education, LA, 1994년 4월 5~7일) 연차총회에서 제시된 논문.
  • 스프레이, J. A. & Leccase, M. D. (1996년) 컴퓨터화된 시험을 이용하여 수험생을 두 개의 카테고리로 분류하기 위한 SPRT와 순차 베이즈 절차의 비교. 교육 및 행동 통계학 저널, 21, 405–414.
  • 뉴욕주 톰슨(2006년). 항목 응답 이론을 이용한 가변 길이 전산 분류 시험. CLEAR Exam Review, 17(2).
  • Vos, H. J. (1998년). 컴퓨터 기반 명령에 대한 최적의 순차 규칙. 교육 컴퓨팅 연구 저널, 19, 133–154.
  • Vos, H. J. (1999년). 순차 마스터 테스트에 베이지안 의사결정 이론의 적용. 교육 및 행동 통계학 저널, 24, 271–292.
  • 월드, A. (1947) 순차 분석. 뉴욕: 와일리.
  • Weiss, D. J. & Kingsbury, G. G. G. (1984) 교육 문제에 대한 전산화된 적응 시험의 적용. Journal of Educational Measurement, 21, 361–375.
  • 와이스만, A. (2004) 다중 카테고리 분류 CAT의 상호 정보 항목 선택. 캘리포니아 주 샌디에이고 교육에서 전국 측정 협의회의 연례 회의에서 제시된 논문.
  • 웨이츠만, R. A. (1982a) 선택을 위한 순차적 테스트. 응용 심리 측정, 6, 337–351.
  • 웨이츠만, R. A. (1982b) 예비 입영자를 미리 확인하기 위한 순차적 테스트 사용. D. J. Weiss (Ed.)에서 1982년 전산 적응 시험 회의의 진행. 미니애폴리스, MN: 미네소타 대학교 심리학부 심리학 방법 프로그램, 1982.

외부 링크