누적 정확도 프로파일

Cumulative accuracy profile

누적 정확도 프로파일(CAP)은 데이터 과학에서 차별력을 시각화하기 위해 활용되는 개념이다.모형의 CAP는 y축을 따르는 누적 결과 수 대 x축을 따르는 분류 모수 누적 수를 나타낸다.그 출력을 CAP 곡선이라고 한다.[1]CAP는 수신기 작동 특성(ROC) 곡선과 구별되며, 거짓 양성 비율에 대한 참 양성 비율을 표시한다.

CAP는 분류 모델의 건전성 평가에 사용된다.

CAP 분석

누적 정확도 프로파일을 사용하여 현재 곡선을 '완벽' 및 랜덤화 곡선과 비교함으로써 모형을 평가할 수 있다.좋은 모델은 완벽한 곡선과 랜덤 곡선 사이에 CAP를 가질 것이다; 모델이 완벽한 CAP에 가까울수록 더 좋다.

정확도비(AR)는 모델 CAP와 랜덤 CAP 사이의 면적과 완벽한 CAP와 랜덤 CAP 사이의 면적의 비율로 정의된다.[2]성공적인 모델에서, AR은 0과 1 사이의 값을 가지며, 값이 높을수록 모델은 강하다.

누적된 양성 결과 수는 모형의 강도를 나타낸다.성공적인 모델의 경우, 이 값은 최대값의 50%와 100% 사이에 있어야 하며, 강한 모델의 경우 더 높은 백분율을 가져야 한다.산발적인 경우 정확도는 음수일 수 있다.이 경우 모델은 랜덤 CAP보다 더 나쁜 성능을 발휘하고 있다.

적용들

누적 정확도 프로파일(CAP)과 ROC 곡선은 은행과 규제기관이 공통적으로 신용위험을 평가하는 등급제도의 차별적 능력을 분석하기 위해 사용한다.[3][4]또한 CAP는 교육 설계 엔지니어가 과정 구성에 사용되는 교육 설계 모델을 평가, 재교육 및 재구성하고, 교수 및 학교 당국이 보다 효율적인 의사결정 및 교육 자원 관리를 위해 사용한다.

참조

  1. ^ "CUMULATIVE ACCURACY PROFILE AND ITS APPLICATION IN CREDIT RISK". www.linkedin.com. Retrieved 2020-12-11.
  2. ^ Calabrese, Raffaella (2009), The validation of Credit Rating and Scoring Models (PDF), Swiss Statistics Meeting, Geneva, Switzerland
  3. ^ Engelmann, Bernd; Hayden, Evelyn; Tasche, Dirk (2003), "Measuring the Discriminative Power of Rating Systems", Discussion Paper, Series 2: Banking and Financial Supervision (1)
  4. ^ Sobehart, Jorge; Keenan, Sean; Stein, Roger (2000-05-15), "Validation methodologies for default risk models" (PDF), Moody's Risk Management Services