옴니버스 시험

이 글은 검증을 위해 인용구가 추가로 필요하다. 신뢰할 수 있는 출처에 인용문을 추가하여 이 기사를 개선할 수 있도록 도와주십시오. 공급되지 않은 재료는 도전하여 제거할 수 있다. 출처 찾기: "옴니버스 테스트" – 뉴스 · 신문 · 책 · 학자 · JSTOR (2021년 8월) (이 템플릿 메시지를 제거하는 방법과 시기 학습)

옴니버스 시험은 통계 시험의 일종이다. 그들은 데이터 집합의 설명된 분산이 전반적으로 설명되지 않은 분산보다 유의하게 큰지 여부를 검정한다. 한 가지 예가 분산 분석에서 F-검정이다. 옴니버스 시험이 유의하지 않더라도 모델 내에서 정당한 유의미한 효과가 있을 수 있다. 예를 들어, 두 개의 독립 변수가 있는 모형에서 한 변수만 종속 변수에 유의미한 영향을 미치고 다른 변수만 유의하지 않으면 옴니버스 시험이 유의하지 않을 수 있다. 이 사실은 하나의 유의적인 변수에서 도출될 수 있는 결론에 영향을 미치지 않는다. 옴니버스 시험에서 효과를 시험하기 위해 연구자들은 대비를 자주 사용한다.

옴니버스 시험은 총칭으로 전체 또는 글로벌 시험을 말한다. 다른 이름에는 F-검정 또는 카이-제곱 검정이 있다. 이는 모수의 분산 사이에 일반적인 유의성을 찾는 경향이 있는 전체 가설에 대해 시행되는 통계적 시험으로, 같은 유형의 모수를 조사하면서 다음과 같은 동일성 대 k 기대성 사이의 불평등에 관한 가설 μ₁=μ₂=...=μ_k 대 최소 한 쌍의 μμμμμ_j μ_j' μ₂ μ μ μ μ, 여기서 j,j'=1, ...,k 및 j≠'는 분산 분석(ANOVA)에서, 또는 k 표준 편차₁ == == ==....= ∆ vs. ANOVA의 분산 동일성 시험 또는 계수 β₁= β_j2= β_j'=.......= β_k 대 다중 선형 회귀 분석 또는 로지스틱 회귀 분석의 경우 최소 한 쌍의 β_j≠β_j'.

일반적으로, 동일한 유형의 세 개 이상의 매개변수를 시험하며, 그 역할은 최소한 한 개의 관련 매개변수에 대한 일반적인 유의성을 찾는 것이다.

정의들

옴니버스 시험은 일반적으로 다음과 같은 통계적 시험 중 하나를 가리킨다.

• 분산 분석 절차에서 모든 요인 평균 간의 유의성 및/또는 분산 간의 동등성 검정을 위한 분산 분석 F 검정;
• 반복 측정을 통한 분산 분석의 옴니버스 다변량 F 검정;
• 다중 회귀 분석에서 회귀 계수의 동일/불공정성에 대한 F 검정
• 로지스틱 회귀 분석에서 독립적 설명 변수 블럭 간의 유의성 차이 또는 계수 탐색에 대한 카이-제곱 검정

이러한 옴니버스 시험은 일반적으로 2차 통계량(예: 제곱합, 분산 또는 공분산) 또는 합리적인 2차 통계량(예: 분산 분석의 분산 분석 F 전체 검정 또는 선형 회귀 분석의 F 검정 또는 로그 R의 카이-제곱 검정)에 대한 전체 가설을 검정하려는 경향이 있을 때마다 수행된다.퇴각

옴니버스 시험에서는 유의성이 성립되지만, 그 차이가 발생한 장소, 즉, 정확히 특정하지 않고, 어떤 매개변수가 다른 매개변수와 유의하게 다른지 명세를 가져오지는 않지만, 통계적으로 차이가 있다고 판단하기 때문에, 시험된 매개변수 중 적어도 2개는 통계적으로 다르다. 유의성이 충족되면 이러한 검정 중 어떤 평균이 다른 평균과 다른지(ANOVA), 어떤 계수가 다른지(회귀) 등을 구체적으로 알 수 없다.

일원 분산 분석에서

분산 분석의 F-검정은 옴니버스 검정의 예로서 모형의 전체적인 유의성을 검정한다. 유의한 F 검정은 시험한 평균들 중에서 적어도 두 개의 평균이 유의하게 다르지만, 이 결과는 어떤 평균이 다른 평균과 다른지 정확하게 명시하지 않는다는 것을 의미한다. 실제로 시험 수단'의 차이는 2차적 합리적 F 통계량(F=MSB/MSW)에 의해 이루어진다. 평균이 다른 평균과 어떤 평균과 다른지 또는 평균의 대조가 유의하게 다른지 판단하기 위해서는 상당한 옴니버스 F 시험을 얻은 후 임시 후 시험(복수 비교 시험) 또는 계획된 시험을 수행해야 한다. 간단한 본페로니 교정이나 다른 적절한 교정을 이용하는 것으로 생각할 수 있다. 분산 분석에서 찾을 수 있는 또 다른 옴니버스 테스트는 분산 분석 가정 중 하나인 그룹 간 분산의 동일성을 검정하기 위한 F 검정이다. 예를 들어 일원 분산 분석에서 옴니버스 F 검정에 의해 시험된 가설은 다음과 같다.

H0: μ₁=μ₂=....= μ_k

H1: 최소_j 한 쌍 μμμμμμμμ μ_j'

이러한 가설은 가장_ij 일반적인 모델인 y = μ_j + μs의_ij 모델 적합성을 조사하며 여기서_ij y는 종속변수, μ는_j j번째 독립변수의 기대값으로 보통 "집단기대" 또는 "인자기대"라고 하며, μ는_ij 모형 사용에 대한 오류 결과라고 한다.

The F statistics of the omnibus test is: ${\displaystyle F={\tfrac {{\displaystyle \sum _{j=1}^{k}n_{j}\left({\bar {y}}_{j}-{\bar {y}}\right)$$^{2}}/{(k-1)}}{{\displaystyle {\sum _{j=1}^{k}}{\sum _{i=1}^{n_{j}}}\left(y_{ij}-{\bar {y}}_{j}\right)^{2}}/{(n-k)}}}}$ Where, ${\displaystyle {\bar {y}}}$ is the overall sample mean, ${\displaystyle {\bar {y}}_{j}}$ is the group j sample mean, k is the number of groups and n_j is sample size of group j.

F 통계량은 귀무 가설과 정규성 가정을 가정하여 F를_{(k-1,n-k),(α)} 분포한다. F 검정은 정규성 가정이 충족되지 않는 경우에도 일부 상황에서는 강력하다고 간주된다.

일원 분산 분석의 모형 가정

• 무작위 샘플링
• 각 그룹의 정규 분포 또는 근사 정규 분포.
• 그룹 간의 등분산.

분산의 동일성에 대한 가정이 충족되지 않으면 탐헤인의 검정을 선호한다. 이 가정이 충족되면 우리는 몇 가지 시험 중에서 선택할 수 있다. LSD(피셔의 가장 작은 차이)는 평균 쌍의 차이를 탐지하는 데 매우 강한 시험이지만 F 시험이 유의할 때만 적용되며, 낮은 오류율 보호에 실패하기 때문에 대부분 덜 선호된다. 본페로니 시험은 그의 방법으로 제시된 교정법 때문에 좋은 선택이다. 이 보정은 n개의 독립적 시험을 적용할 경우 각 시험의 α는 α/n과 같아야 한다고 명시한다. Tukey의 방법은 전체 오류율을 제어하기 때문에 많은 통계학자들이 선호한다. 표본 크기가 작은 경우 정규성의 가정이 충족되지 않을 경우 Kruskal-Wallis 검정을 통해 비모수 분산 분석을 수행할 수 있다.

다른 옵션은 그룹 평균이 다른지 여부를 평가하기 위해 부트스트랩 방법을 사용하는 것이다. 부트스트랩 방법은 특정한 분포 가정을 가지고 있지 않으며 가장 간단한 부트스트랩 방법 중 하나인 리샘플링을 사용하는 것처럼 사용하기 위한 적절한 도구가 될 수 있다. 사람은 아이디어를 여러 그룹의 사례로 확장하고 p-값을 추정할 수 있다.

예

고객들의 시간 대기에 대한 셀룰러 조사는 20주마다 각각 7일 동안 1,963명의 고객들을 대상으로 검토되었다. 두 번 전화한 고객도 없고 서로 고객 관계가 없다고 가정할 때 SPSS에서 One Way ANOVA를 실행하여 대기 시간 사이의 유의미한 차이를 확인했다.

분산 분석

종속 변수: 응답 시간(분)

출처	제곱합	df	평균 제곱	F	시그.
그룹 간	12823.921	6	2137.320	158.266	.000
그룹 내	26414.958	1956	13.505
합계	39238.879	1962

위의 옴니버스 F 분산 분석 테스트 결과는 대기일 간의 유의미한 차이를 나타낸다(P-값 = 0.000 < 0.05, α = 0.05).

시험한 다른 옴니버스들은 Levene F 테스트에 의해 시험된 분산 평등의 가정이었다.

분산 동질성 검정

종속 변수: 응답 시간(분)

레베네 통계학	df1	df2	시그.
36.192	6	1956	.000

결과는 분산 가정의 동일성이 이루어질 수 없음을 시사한다. 이 경우 Tamhane의 테스트는 PostHort 비교에서 수행될 수 있다.

고려 사항.

분산 분석 절차의 중요한 옴니버스 F 테스트는 Post Hort 비교를 수행하기 전에 사전 요구 사항이며, 그렇지 않으면 그러한 비교가 필요하지 않다. 옴니버스 시험이 모든 수단 간에 유의한 차이를 찾지 못하면, 이는 시험한 평균의 어떤 조합에서도 차이가 발견되지 않았음을 의미한다. 이와 같이 옴니버스 시험을 간과할 경우 증가할 수 있는 가족현상 1종 오류를 보호한다. 분산 분석에서 옴니버스 F 테스트의 효율성에 대한 일부 논쟁이 일어났다.

Greg Hancock이 검토한 논문 Review of Educational Research(66(3), 269-306)에서 이러한 문제는 다음과 같이 논의된다.

윌리엄 B. 웨어(1997)는 사후 특별 시험을 실시하거나 계획하는 것에 따라 옴니버스 시험의 중요성이 요구된다고 주장한다. "..." 투키의 HSD와 셰페의 절차는 1단계 절차로 옴니버스 F가 중요할 필요 없이 이루어질 수 있다. 그것들은 "후지" 시험이지만, 이 경우에 "후지"는 "특정 가설 없이"에서와 같이 "사전 지식이 없는" 것을 의미한다. 반면 피셔의 최소 유의차 테스트는 2단계 절차다. 옴니버스 F-statistic이 의미심장하지 않고서는 안 된다고 말했다.

윌리엄 B. 웨어(1997)는 다중 비교를 실시하기 전에 옴니버스 시험 거부 요건과 관련된 여러 가지 문제가 있다고 주장했다. 핸콕은 그러한 접근방식에 동의하며 계획된 시험을 수행할 때 불필요한 시험과 잠재적으로 해로운 장애물(허들)을 수행할 때 분산 분석의 옴니버스 요건을 본다. 단, 이것이 k=3 그룹에 실행 가능한 옵션인 Fisher의 LSD와 관련되지 않는 한 말이다.

가족-현재의 제1종 오류를 보호하는 것이 관련된 옴니버스 시험의 유의성과 관련된 기타 이유.

출판물 "교육연구의 검토"에서는 옴니버스 F 시험 요건의 네 가지 문제를 논하고 있다.

첫째, 잘 계획된 연구에서, 연구자의 질문은 집단 수단의 특정한 대조를 수반하는 반면 옴니버스 시험은 각각의 문제를 단지 접선적으로만 다루며 오히려 제1종 오류의 비율을 쉽게 통제하기 위해 사용된다.

둘째로, 이 통제 문제는 두 번째 요점과 관련이 있다: 옴니버스 시험이 보호를 제공한다는 믿음은 완전히 정확하지 않다. 완전한 귀무 가설이 참일 때, 옴니버스 시험에 의해 약한 가족현상 제1종 오류제어가 촉진되지만, 완전한 귀무가 거짓이고 부분 귀무인 경우 F-검정은 가족현상 오류율에 대한 강한 제어를 유지하지 못한다.

게임즈(1971)가 연구에서 입증한 세 번째 요점은 F-검정이 쌍방향 비교 접근법의 결과와 완전히 일치하지 않을 수 있다는 것이다. 예를 들어, 알파 레벨 F-검정이 완전한 null을 거부하는 경우에만 Tukey의 검사를 수행하도록 지시된 연구자를 생각해 보자. 완전한 null이 기각되는 것은 가능하지만 가장 넓은 범위의 평균은 크게 다르지 않다. 이는 비협조성/불협화음(Gabriel, 1969년) 또는 비호환성(Lehmann, 1957년)으로 일컬어 온 것의 예다. 반면에, 결정 구조로 시험할 수 있었다면 가장 광범위한 수단과 관련된 무효가 거부되었을 동안 완전한 무효가 유지될 수 있다. 이것은 가브리엘(1969년)에 의해 일관성이 없다고 언급되어 왔다. 실제로 이런 상황에서 실무자가 옴니버스 시험의 권고에 반하여 MCP를 간단히 수행할 수 있을지 궁금하다.

최초의 옴니버스 F-테스트의 전통적 시행에 반대하는 네 번째 주장은 선의의 보호이지만 불필요한 보호가 전력 감소에 기여한다는 사실에서 비롯된다. Tukey의 시험에서 가장 이질적인 수단의 시험과 같이 쌍방향 MCP의 첫 번째 시험은 그 자체로 옴니버스 시험의 한 형태로, 약한 의미에서 α-레벨로 가족별 오류율을 조절한다. 예비 옴니버스 F-테스트를 요구하는 것은 가장 상이한 수단을 선언하기 위해 두 개의 장애물을 협상하도록 연구자에게 강요하는 양이며, 범위 테스트는 그 자체로 허용 가능한 α-레벨에서 달성한 과제다. 만약 이 두 가지 시험이 완벽하게 중복된다면, 양쪽의 결과는 옴니버스 시험과 동일할 것이다; 확률적으로 말하면, 완전한 귀무 가설이 사실일 때 양쪽을 거부할 공동 확률은 α가 될 것이다. 그러나 이 두 테스트는 완전히 중복되지 않는다. 그 결과 불합격의 관절 확률은 α 미만이다. 따라서 F 보호는 불필요한 보수주의를 부과한다(이 보수주의의 시뮬레이션은 1975년 베른하드슨 참조). 이러한 이유로, 그리고 이전에 열거된 사람들은, 우리는 예비 옴니버스 F-테스트의 전통적인 시행에 관한 게임즈(1971)의 진술에 동의한다. c를 실행하기 전에 전체 F 시험을 적용하는 것은 [가족별 오류율] α ....을 설정한 절차와 대비되는 것이 거의 없는 것 같다. c 대비가 실험적인 관심을 직접적으로 나타내는 경우, 전체적인 F의 유의성 여부를 정당화하고 (가족별 오류율)을 여전히 제어한다.

다중 회귀 분석에서

다중 회귀 분석에서 옴니버스 검정은 모든 계수에 대한 분산 분석 F 검정이며, 이는 다중 상관 R 제곱 F 검정과 동일하다. 옴니버스 F 검정은 모형 적합성을 검사하는 전체 검정이므로 귀무 가설을 기각하지 않는 것은 제안된 선형 모형이 데이터에 유의하게 적합하지 않음을 의미한다. 종속 변수 변동을 설명하는 데 있어 독립 변수 중 어느 것도 유의미한 것을 탐구하지 않았다. 이러한 가설은 가장 일반적인 모델 y_i=β₀ + β₁ x_i1 + ...의 모형 적합성을 조사한다. +β_k x_ik + ε_ij

E(y_ii1 x....x_ik)=β₀+βx_1i1+...로 추정한다.+βx_kik , 여기서 E(y_i x_i1....x_ik)는 i번째 관측에 대해 설명하는 종속 변수, x는_ij j번째 독립(설명) 변수, β는_j x의_ij j번째 계수이며 y와의 부분적 상관관계에 따른 종속 변수 y에 대한 영향력을 나타낸다. The F statistics of the omnibus test is: ${\displaystyle F={\frac {{\displaystyle \sum _{i=1}^{n}\left({\widehat {y_{i}}}-{\bar {y}}\right)^{2}}/{k}}{{\d$$isplaystyle {{\sum _{j=1}^{k}}{{i=1}^{n_{j}}}}\왼쪽(y_{ij}-{\widehat{y_{i}}\오른쪽)^{2}}/{{n-k-1}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$

반면, ȳ은 y에_i 대한 전체 표본 평균이고, ŷ은_i 특정 k 독립(설명) 변수 집합에 대한 회귀 추정 평균이며, n은 표본 크기이다.

F 통계량은 귀무 가설과 정규성 가정을 가정하여 F를 _{(k,n-k-1),(α)} 분포한다.

다중 선형 회귀 분석의 모형 가정

• 무작위 샘플링
• 오류의 정규 분포 또는 근사적으로 정규 분포_ij e.
• 오류는_ij 0>, E(e_ij)=0과 같다.
• 오류의 등분산 e_ij. 그건 옴니버스 F 테스트야 (레베네 F 테스트처럼)
• 설명/예측 변수 사이의 다중 결합 없음: i 또는 j에 대해 cov(x_i,x_j)=0 여기서 i≠j.

계수에 대한 가설과 관련된 옴니버스 F 검정

H₀: β₁= β₂= β=....= β_k = 0

H₁: 하나 이상의 β³_j 0

옴니버스 시험은 계수 β0을 제외하고 유의하게 0이 아닌 회귀 계수가 있는지 검사한다. β0 계수는 상수 예측 변수와 일치하며 일반적으로 관심이 없다. 귀무 가설은 일반적으로 거짓으로 생각되어 합리적인 양의 데이터로 쉽게 기각되지만, 분산 분석과는 반대로 어쨌든 검사를 하는 것이 중요하다. 귀무 가설을 기각할 수 없는 경우 이는 데이터가 완전히 가치가 없음을 의미한다. 일정한 회귀 함수를 갖는 모형은 회귀 모형뿐만 아니라 적합도 모형이므로 더 이상의 분석을 수행할 필요가 없다. 많은 통계적 연구에서 독립변수의 일부 또는 대부분이 종속변수에 유의미한 영향을 미치지 않지만 옴니버스는 일반적으로 유의적이다. 따라서 옴니버스는 모형이 적합한지 여부를 암시하는 데만 유용하지만 데이터에 적합할 수 있는 수정된 권장 모델을 제공하지 않는다. 옴니버스 시험은 독립 변수 중 하나 이상이 유의할 경우 대부분 유의하게 된다. 이는 옴니버스 검정에서 여전히 유의성을 보이는 동안 독립 변수 간의 비색인 모형에 따라 다른 변수가 모형에 들어갈 수 있음을 의미한다. 제안된 모델은 데이터에 적합하다.

예: SPSS에 대한 1- 옴니버스 F 테스트

보험 회사는 세 개의 독립 변수(예측 변수)로 "평균 청구 비용"(변수 이름 "청구")을 예측하고자 한다. "청구 건수"(변수 이름 "청구"), "정책 보유자 연령"(변수 이름 보유자), "차량 연령"(변수 이름 차량) 선형 회귀 분석 절차는 다음과 같이 데이터에 대해 실행되었다. 분산 분석표의 옴니버스 F 검정은 귀무 가설이 기각되기 때문에 이 세 가지 예측 변수를 포함하는 모형이 "평균 청구 비용" 예측에 적합할 수 있음을 암시한다(P-Value=0.000 < 0.01, α=0.01). 옴니버스 검정의 이 기각은 모형에서 예측 변수의 계수 중 적어도 하나가 0이 아닌 것으로 확인되었음을 의미한다. 모형 요약 표에 보고된 다중 R-제곱은 0.362로, 세 예측 변수가 "평균 청구 비용" 변동에서 36.2%를 설명할 수 있다는 것을 의미한다.

분산 분석

출처	제곱합	df	평균 제곱	F	시그.
회귀	605407.143	3	201802.381	22.527	.000a
잔차	1066019.508	119	8958.147
합계	1671426.650	122

a. 예측 변수: (변수), 청구 횟수, 보유자 정책 보유자 연령, 차량 보유 연령

b. 종속변수: 청구인평균청구원가

모델 요약

모델	R	R 스퀘어	수정된 R 사각형	추정치의 표준 오차
1	.602a	.362	.346	94.647

a. 예측 변수: (변수), 청구 횟수, 보유자 정책 보유자 연령, 차량 보유 연령

그러나 "차량연령"과 "청구건수"라는 예측 변수만이 다음의 "유료도표"에 나타난 것과 같이 "평균 청구비용"에 대한 통계적 영향력과 예측을 가지고 있는 반면, "정책보유자 연령"은 예측 변수로서 유의적이지 않다(P-Value=0.116>0.05). 즉, 이 예측 변수가 없는 모형이 적합할 수 있다.

계수

모델		표준화되지 않은 계수	표준화 계수	t	시그.
1		B Std. 오류	베타.
	(상수)	447.668 29.647		15.100	.000
	차량 연령	-67.877 9.366	-.644	-7.247	.000
	보유자 정책 보유자 연령	-6.624 4.184	-.128	-1.583	.116
	클레임 수	-.274 .119	-.217	-2.30	.023

a. 종속변수 : 청구인평균청구비용

예제 2- R에 대한 다중 선형 회귀 옴니버스 F 검정

다음 R 출력은 x1과 x2의 두 예측 변수의 선형 회귀 분석과 모형 적합을 보여준다. 마지막 줄은 모델 적합을 위한 옴니버스 F 시험을 설명한다. 귀무 가설은 기각된다는 해석이다(P = 0.02692<0.05, α=0.05). 따라서 β1 또는 β2 중 하나가 0이 아닌 것으로 나타나거나 둘 다일 수 있다. 계수: 표의 결론은 β1만 유의하다는 점에 유의하십시오(Pr(> t ) 열에 표시된 P-값은 4.37e-05 << 0.001이다. 따라서 모형 적합에 대한 옴니버스 F 검정과 같은 한 단계 검정은 그러한 예측 변수에 대한 모형 적합을 결정하기에 충분하지 않다.

계수

추정 표준. 오류 t 값 Pr(> t )

(절차) -0.7451.7319 .-1.018 0.343

X1 0.6186 0.7500 0.825 4.37e-05 ***

x2 0.0126 0.1373 0.092 0.929

잔류 표준 오차: 자유도 7도에서 1.157

다중 R-제곱: 0.644, 수정된 R-제곱: 0.5423

F-통계: 2 및 7 DF의 경우 6.332, p-값: 0.02692

로지스틱 회귀 분석에서

통계에서 로지스틱 회귀는 하나 이상의 예측 변수를 기반으로 범주형 종속 변수(범주 수가 제한된 경우) 또는 이분법 종속 변수의 결과를 예측하는 데 사용되는 회귀 분석의 한 유형이다. 단일 시험의 가능한 결과를 설명하는 확률은 로지스틱 함수 또는 다항 분포를 사용하여 설명(독립) 변수의 함수로 모델링된다. 로지스틱 회귀 분석은 종속 변수를 확률 점수로 변환하여 범주형 또는 이분법 종속 변수와 일반적으로 연속 독립 변수(또는 여러 변수) 사이의 관계를 측정한다. 확률은 로지스틱 함수 또는 다항 분포를 사용하여 검색할 수 있지만, 확률 이론에서와 같이 그러한 확률은 0과 1 사이의 값을 가진다.

${\displaystyle P(y_{i})={\frac {e^{\beta _{0}+\beta _{1}x_{i1}+\cdot +\beta _{k}x_{ik}}}{1+e^{\beta _{0}+\beta _{1}x_{i1}+\cdot +\beta _{k}x_{ik}}}}={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x_{i1}+\cdot +\beta _{k}x_{ik})}}}}$

따라서 시험 모델은 다음과 같이 정의될 수 있다.

${\displaystyle f(y_{i}=ln{\frac {P(y_{i})}{1-P(y_{i})}}}=\cHB_{0}+\cHB_{1}x_{i1}+\cdot +\cdot _{k}x_{ik}}}$

,csv y는_i i번째 관측에 대한 종속 변수의 범주이고 x는_ij 해당 관측에 대한 j 독립 변수(j=1,2,...k)이며, β는_j x의_ij j번째 계수로서 적합 모델에 대한 영향과 기대치를 나타낸다.

참고: 로지스틱 회귀 분석의 독립 변수도 연속적일 수 있다.

옴니버스 시험은 가설과 관련이 있다.

H₀: β₁= β₂= β=....= β_k = 0

H₁: 하나 이상의 β_j ≠ 0

모형 적합: 최대우도법

옴니버스 시험은 로지스틱 회귀 분석 절차의 다른 부분 중 최대우도법에 기초한 우도 비율 검정이다. 회귀 계수의 추정이 최소 제곱 절차에서 도출되거나 최대우도 방법처럼 잔차 제곱의 합을 최소화하여 도출될 수 있는 선형 회귀 분석 절차와 달리 로지스틱 회귀 분석에서는 이러한 분석 해법이나 방정식을 추정할 수 없다. 회귀 계수 따라서 로지스틱 회귀 분석에서는 예측 변수와 기준이 주어진 회귀 계수의 가능성을 최대화하는 계수를 추정하기 위해 최대우도 절차를 사용한다. 최대우도해법은 잠정적인 해법으로 시작해 개선이 가능한지 살짝 수정하고 개선이 이뤄질 때까지 이 과정을 반복하는 반복적 과정으로, 이 때 모델이 수렴됐다고 한다. 수렴 시 조건부 절차 적용(다음 "제거 및 기타 고려사항" 참조).

일반적으로, 매개변수 θ에 대한 간단한 가설(예:: H₀: θ=θ₀ vs. H₁: θ=θ₁ ,우도비 검정 ${\displaystyle 통계량}$은 :${\displaystyle }$( ${\displaystyle {}_{}}$ ${\displaystyle i_{}}$)${\displaystyle }$= ${\displaystyle \frac{}{}}$( ${\displaystyle \frac{y_{}}{}}$ i ${\displaystyle \frac{{\theta \mathrm{}}_{}}{}}$ 0${\displaystyle \frac{{}_{}}{}}$) L${\displaystyle \frac{}{}}$( y ${\displaystyle \frac{{}_{}}{}}$ ${\displaystyle \frac{\theta {}_{}{}_{}}{}}$ ${\displaystyle \frac{{1\mathrm{}}_{}}{}}$) ${\$y_${i$}) $\teta _{0}}}}}}{{}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}{$$L(y_{i} \theta _{1}}}}}}$

,여기서 L(y_i θ)은 우도함수로, 특정 θ을 가리킨다.

분자는 귀무 가설에서 관측된 결과의 최대 우도에 해당한다. 분모는 전체 매개변수 공간에 걸쳐 매개변수가 변화하는 관측된 결과의 최대 우도에 해당한다. 이 비율의 분자는 분모보다 작다. 따라서 우도비는 0과 1 사이에 있다.

우도비 값이 낮다는 것은 관측된 결과가 대안에 비해 귀무 가설 하에서 발생할 가능성이 훨씬 낮다는 것을 의미한다. 통계의 값이 높으면 관측된 결과가 대안에 비해 귀무 가설에서 발생할 가능성이 크거나 같거나 거의 같았으며 귀무 가설을 기각할 수 없다.

우도 비율 검정은 다음과 같은 결정 규칙을 제공한다.

if ( )> ${\displaystyle \lambda$ ($y_{i})$인 경우$>C}$ H를₀ 거부하지 않는다.

그렇지 않으면

if λ( y )< ${\displaystyle \lambda (y_{i})$$<C}$ reject₀ H

${\displaystyle \mathrm{또한}}$ λ${\displaystyle }$( ${\displaystyle y_{}}$ ${\displaystyle {}_{}}$)${\displaystyle }$= C ${\displaystyle \lambda (y_{i})$일 경우 확률 q와 함께 H를₀ 기각한다.$=C$

whereas the critical values c, q are usually chosen to obtain a specified significance level α, through the relation: ${\displaystyle q\cdot (P(\lambda (y_{i})=C H_{0})+(P(\lambda (y_{i})<C H_{0})}$.

따라서 우도 비율 검정은 이 통계량의 값이 너무 작을 경우 귀무 가설을 기각한다. 얼마나 작은지는 시험의 유의 수준에 따라 달라진다. 즉, 허용 가능한 1종 오류의 확률에 따라 달라진다. Neyman-Pearson 보조정리기는 이 우도비 테스트가 이 문제에 대한 모든 레벨 α 테스트 중에서 가장 강력하다고 말한다.

검정의 통계 및 분포: 윌크스의 정리

먼저 시험 통계를 시험 비율을 나타내는$$ 편차 $D{\displaystyle }$=${\displaystyle }$- ${\displaystyle 2}$ l ${\displaystyle \lambda }$ (${\displaystyle {}_{}{i}_{}}$ )${\displaystyle$ D$=-2ln\lambda (y_{i}})$로 정의한다.

${\displaystyle D=-2ln\lambda(y_{i})=-2ln{\frac {lik 우도\ under\ under\ fitted\ model\ if\ null\ 가설이 true\인 경우}{likit\ 언더 포화\ model\}}}}}}}}}}}}}}}}}}}}}}}}}}}}$

포화 모델은 이론적으로 완벽한 적합성을 가진 모델이지만. 이탈도가 주어진 모형과 포화 모형 간의 차이에 대한 측도임을 고려할 때, 적합 모형이 포화 모형에서 덜 벗어나기 때문에 값이 작을수록 더 잘 적합됨을 나타낸다. 카이-제곱 분포로 평가할 때 유의하지 않은 카이-제곱 값은 설명되지 않은 분산이 거의 없음을 나타내며 따라서 좋은 모형 적합을 나타낸다. 이와 반대로 유의한 카이-제곱 값은 분산의 유의한 양이 설명되지 않는다는 것을 나타낸다. 로지스틱 회귀 분석에서 이탈도 D의 두 가지 척도는 특히 중요하다: null 이탈도와 모형 이탈도. null 이탈도는 절편만 있고 예측 변수가 없는 모형과 포화 모형 간의 차이를 나타낸다. 그리고 모형 이탈도는 예측 변수가 하나 이상 있는 모형과 포화 모형 간의 차이를 나타낸다. 이 점에서 null 모형은 예측 변수 모형을 비교할 기준선을 제공한다. 따라서 예측 변수 또는 예측 변수 집합의 기여도를 평가하려면 귀무 이탈도에서 모형 이탈도를 빼서 카이-제곱 분포의 차이를 자유도 1도로 평가할 수 있다. 모형 이탈도가 null 이탈도보다 유의하게 작으면 예측 변수 또는 예측 변수 집합이 모형 적합도를 유의하게 개선했다고 결론을 내릴 수 있다. 이는 예측의 중요성을 평가하기 위해 선형 회귀 분석에 사용되는 F-검정과 유사하다.

대부분의 경우 특정 가설에 해당하는 우도비의 정확한 분포는 결정하기가 매우 어렵다. 새뮤얼 S의 덕택으로 편리한 결과였다. Wilks는 표본 크기 n이 접근함에 따라 옴니버스 시험에서 앞에서 언급한 것과 같은 β 계수의 치수 차이에 해당하는 자유도를 갖는 점증적 분포가 있으며, 예를 들어, n이 충분히 크거나 귀무 가설이 3개의 예측 변수로 구성된다고 가정하는 적합 모형이 있다고 말한다.nd 포화(전체 ) 모형은 예측 변수 5개로 구성되며, Wilks의 통계량은 대략적으로 분포한다(자유도 2도). 이것은 우리가 특정한 유의 수준 하에서 2도의 자유도로 제곱한 기에서 임계값 C를 회수할 수 있다는 것을 의미한다.

기타 고려사항

1. 어떤 경우에는 모델이 수렴에 도달하지 못할 수 있다. 모형이 수렴되지 않는 경우 이는 모형이 최종 용액에 도달하지 못했기 때문에 계수를 신뢰할 수 없음을 나타낸다. 수렴 부족은 예측 변수의 비율이 크거나, 다연관성, 첨사성 또는 완전 분리의 많은 문제에서 비롯될 수 있다. 엄밀한 숫자는 아니지만, 일반적으로 로지스틱 회귀 분석 모델은 변수당 최소 10개의 사례가 필요하다. 사례에 대한 변수의 비율이 크면 지나치게 보수적인 월드 통계치가 나타나며 수렴이 되지 않을 수 있다.
2. 다중 결합은 예측 변수들 사이의 용납할 수 없을 정도로 높은 상관 관계를 말한다. 다중 결합도가 증가하면 계수는 편중되지 않은 상태로 유지되지만 표준 오차는 증가하고 모델 수렴 가능성은 감소한다. 예측 변수들 사이의 다중 결합성을 탐지하기 위해, 다중 결합성이 허용할 수 없을 정도로 높은지 여부를 평가하는 데 사용되는 공차 통계량을 조사하기 위한 유일한 목적으로 관심 예측 변수를 사용하여 선형 회귀 분석을 수행할 수 있다.
3. 데이터 내 sparsity는 빈 셀(계수가 0인 셀)의 비중이 큰 것을 가리킨다. 0개의 셀 카운트는 특히 범주형 예측 변수에 문제가 있다. 연속형 예측 변수를 사용하면 모형이 제로 셀 카운트에 대한 값을 유추할 수 있지만 범주형 예측 변수를 사용하는 경우에는 그렇지 않다. 모형이 범주형 예측 변수에 대해 0개의 셀 카운트와 수렴하지 않는 이유는 0의 자연 로그가 정의되지 않은 값이기 때문에 모형에 대한 최종 해법에 도달할 수 없기 때문이다. 이 문제를 해결하기 위해 연구자들은 이론적으로 의미 있는 방법으로 범주를 붕괴시키거나 모든 세포에 상수를 추가하는 것을 고려할 수 있다. 정합성 결여로 이어질 수 있는 또 다른 수치적 문제는 완전한 분리인데, 이는 예측 변수가 기준을 완벽하게 예측하는 예로서 모든 사례가 정확하게 분류된다. 이런 경우에는 어떤 오차가 있을 가능성이 있으므로 자료를 재검토해야 한다.
4. Wald 통계량은 에 의해 정의되며, 여기서 는 의 표본 추정이며 의 표준 오차 이다. 또는 특정 모형에서 개별 예측 변수의 기여도를 평가할 때 Wald 통계량의 유의성을 조사할 수 있다. 선형 회귀 분석의 t 검정과 유사한 월드 통계량은 계수의 유의성을 평가하는 데 사용된다. 월드 통계량은 회귀 계수의 제곱과 계수의 표준 오차 제곱의 비율이며 카이-제곱 분포로 점증적으로 분포한다. 여러 통계 패키지(예: SPSS, SAS)가 Wald 통계를 보고하여 개별 예측 변수의 기여도를 평가하지만 Wald 통계에는 몇 가지 한계가 있다. 첫째, 회귀계수가 큰 경우 회귀계수의 표준오차도 큰 경향이 있어 유형Ⅱ오차의 확률을 증가시킨다. 둘째로, 월드 통계량은 데이터가 희박할 때 편향되는 경향이 있다.
5. 범주형 예측 변수가 포함된 모형 적합치는 로그-선형 모델링을 사용하여 달성할 수 있다.

로지스틱 회귀 분석 예제 1

스펙터와 마쯔조는 PSI라고 알려진 교수법이 한 과정의 중간 거시경제학에서 학생들의 성적에 미치는 영향을 조사했다. 문제는 이 방법에 노출된 학생들이 수업에서 시험에서 더 높은 점수를 받았는가 하는 것이었다. 그들은 PSI를 사용하는 것과 전통적인 교수법을 사용하는 두 개의 수업에서 학생들로부터 데이터를 수집했다. 32명의 학생 각각에 대해, 그들은 에 대한 데이터를 수집했다.

독립 변수

• 수업을 듣기 전의 GPA-등급 점수 평균 • TUES-자재 입력을 테스트하기 위해 학기 초에 주어진 시험 점수. • PSI- 사용된 교수법을 나타내는 더미 변수(1 = 사용된 Psi, 0 = 기타 방법)

종속변수

• 등급 - 최종 등급이 A이면 1, 최종 등급이 B 또는 C이면 0으로 코드화됨.

이번 연구에서는 PSI가 등급에 유의미한 영향을 미쳤는지 여부에 관심이 쏠렸다.TUE와 GPA가 관리변수에 포함된다.

SPSS에서는 단계적 로지스틱 회귀 분석을 사용하여 GPA, Tuce 및 Psi 등급의 로지스틱 회귀 분석을 수행했다.

출력에서 "블록" 선은 시험되고 모형 적합치에 포함되는 독립 변수 집합에 대한 카이-제곱 검정과 관련이 있다. "단계" 선은 단계 수준의 카이-제곱 검정과 관련되며, 변수는 단계별로 모형에 포함된다. 단계 카이-제곱은 블럭 카이-제곱과 동일하다는 점에 유의하십시오. 두 단계 모두 이 단계에서 입력한 변수가 0이 아니라는 가설을 검정하고 있기 때문이다. 그러나 단계적 회귀 분석을 하고 있다면 결과는 다를 것이다. 연구자들은 전진 단계적 선택을 사용하여 변수를 두 개의 블럭으로 나누었다(아래 구문의 MORD 참조).

로지스틱 회귀 분석 VAR=등급

/Method=fstep psi/fstep gpa tuce

/크리테리아 핀(.50) POUT(.10) ITREATE(20) CUT(5)

기본 PIN 값은 0.05로, 연구자들에 의해 .5로 변경되어 경미한 TUES가 이를 입력하게 되었다. 첫 번째 블록에서는 psi만 입력되므로 블록과 단계 Chi Test는 가설 H0: βPSI = 0과 관련된다. 옴니버스 카이-제곱 테스트의 결과는 PSI가 A의 최종 등급이 될 가능성이 더 높다고 예측하는 데 유의함을 의미한다.

블럭 1: 방법 = 단계적 회귀(조건부

모델 계수의 옴니버스 검정

	카이-제곱	df	시그.
1단계 단계	5.842	1	.016
블록	5.842	1	.016
모델	5.842	1	.016

그 다음 블록에서는 전진 선택 절차로 인해 GPA가 먼저 입력된 다음 TUES가 입력된다(이전의 구문에서는 MATOR 명령어 참조).

블럭 2: 방법 = 전진(조건부)

모델 계수의 옴니버스 검정

	카이-제곱	df	시그.
1단계 단계	9.088	1	.003
블록	9.088	1	.003
모델	14.930	2	.001
2단계 단계	.474	1	.491
블록	9.562	2	.008
모델	15.404	3	.002

블록2의 첫 번째 단계는 GPA가 유의하다는 것을 나타낸다(P-Value=0.003<0.05, α=0.05)

블록2의 2단계 최종 엔트리를 보면

• 단계 카이-제곱, .474는 최종 단계인 TUE에 입력된 변수의 효과가 0과 유의하게 다른지 여부를 알려준다. 파라미터의 F 증분 테스트, 즉 H0: βTUE = 0을 테스트하는 것과 같다.
• 블럭 카이-제곱 9.562는 이 블럭에 포함된 변수(GPA와 TUE) 중 하나 또는 둘 다 0과 다른 효과를 가지는지 여부를 검정한다. 이는 증분 F 테스트와 동등한 것으로, 즉 H₀: β_GPA = β_TUCE = 0을 테스트한다.
• 카이-제곱 모델인 15.404는 세 개의 독립 변수 중 어느 것이라도 유의한 효과를 가지고 있는지 여부를 알려준다. 글로벌 F 테스트에 해당하며, 즉, H₀: β_GPA = β_TUCE = β_PSI = 0을 테스트한다.

Wald가 개별 모수가 0인지 여부를 검정하는 "방정식 표의 변수"에 표시된 개별 모수의 검정(여기서 b는 β 추정이고 sb는 표준 오차 추정). 원하는 경우 증분 LR 카이-제곱 테스트를 수행할 수 있다. 사실, 그것이 가장 좋은 방법인데, 그 이유는 다음에 언급된 월드 테스트가 어떤 상황에서 편향되어 있기 때문이다. 파라미터를 별도로 시험할 때, 다른 파라미터를 제어하여 GPA와 PSI의 효과가 통계적으로 유의하지만 TUE의 효과는 그렇지 않다. 둘 다 Exp(β)가 1보다 크므로, "A" 등급을 받을 확률은 다른 점수를 받을 확률은 교수법 PSI와 이전 등급 평균 GPA에 따라 달라진다.

방정식의 변수

	B	S.E.	발트	df	시그.	Exp(B)
1단계a GPA	2.826	1.263	5.007	1	.025	16.872
투스	0.095	.142	.452	1	.502	1.100
PSI	2.378	1.064	4.992	1	.025	10.786
상수	-13.019	4.930	6.972	1	.008	.000

a. 1단계에서 입력된 변수: PSI

로지스틱 회귀 분석 예제 2

연구 주제: "고용, 교육, 재활, 범죄의 심각성이 재체포에 미치는 영향" 형사사법감시기관의 한 사회복지사는 최근 5년 동안 유죄 판결을 받고 풀려난 해당 기관의 관리자에 대해 일부 요소가 재구속으로 이어지는지를 살피는 경향이 있다. 데이터는 다음과 같은 변수를 가진 1,000개의 클라이언트로 구성된다.

종속 변수(더미 변수로 코드화됨)

• 재구속 vs 재구속 (0 = 재구속되지 않음, 1 = 재구속됨) – 범주형, 명목형

독립 변수(더미 변수로 코드화됨)

• 의뢰인이 2차 범죄로 판결되었는지 여부(1=판결,0=판결)
• 첫 번째 범죄의 심각성(1=무죄 vs 0=경범죄) - 범주의, 명목상의 범죄
• 고졸 대 비졸업(0 = 미졸업, 1 = 졸업) - 범주형, 명목상
• 첫 번째 공격 후 고객이 재활 프로그램을 완료했는지 여부, 0 = 재활이 완료되지 않았는지, 1 = 재활 완료됨) 범주의 명목상
• 초범 후 고용현황(0 = 미취업, 1 = 채용)

참고: 이 시나리오에서는 연속 독립 변수를 측정하지 않았다.

전체 모형 적합에 대한 귀무 가설: 전체 모델은 재포장을 예측하지 않는다. OR, 그룹으로서의 독립 변수는 다시 체포되는 것과 관련이 없다. (그리고 독립 변수의 경우: 개별 독립 변수 중 어떤 것도 다시 체포될 가능성과 관련이 없다.)

전체 모형 적합에 대한 대립 가설: 전체적인 모델은 재체포 가능성을 예측한다.(각각 독립변수: 중죄를 범한 것(경범죄와 동일), 고등학교를 마치지 않은 것, 재활 프로그램을 이수하지 않은 것, 실업자가 되는 것은 재체포될 가능성과 관련이 있다.)

종속 변수가 범주형(치수성)이고 연구자는 잠재적으로 다시 구속될 수 있는 대 다시 구속될 것으로 예상되지 않는 홀수 비율을 조사하기 때문에 SPSS의 데이터에 로지스틱 회귀 분석을 적용했다.

모델 계수의 옴니버스 검정

	카이-제곱	df	시그.
1단계 단계	41.155	4	.000
블록	41.155	4	.000
모델	41.155	4	.000

표는 카이-제곱 검정을 기반으로 한 "모델 계수의 옴니버스 시험"을 보여주는데, 이는 전체 모델이 재포착의 예측을 함을 의미한다(3열—"모델"에 집중한다): (4 자유도) = 41.15, 페이지 <.001), null은 기각될 수 있다. 모델 또는 함께 사용되는 독립 변수 그룹이 갖는 null을 테스트한다고 해서 다시 체포될 가능성이 예측되지는 않는다. 이 결과는 재구성을 기대하는 모형이 데이터에 더 적합하다는 것을 의미한다.

방정식의 변수

	B	S.E.	발트	df	시그.	Exp(B)
1단계 중죄	0.283	0.142	3.997	1	0.046	1.327
고등학교	0.023	0.138	0.028	1	0.867	1.023
재활 치료	-0.679	0.142	22.725	1	0.000	0.507
고용하다	-0.513	0.142	13.031	1	.000	.599
상수	1.035	0.154	45.381	1	.000	2.816

또한 중죄를 범하고 재활 프로그램을 완료하며 고용된 B 계수가 0이라는 무효를 기각할 수 있다. 이들은 통계적으로 유의미하며 재구속될 것으로 예측된다. 그러나 교육수준은 재체포 예측이 되지 않는 것으로 나타났다. 다른 변수에 대한 통제는 첫 번째 범죄에 대해 중죄를 저질렀을 경우 경범죄를 저질렀을 때보다 재구속될 확률이 33%(p = 0.046) 증가한다. 재활 프로그램을 이수하고 1차 범죄 후 고용되면 승산이나 재체포 가능성이 각각 50% 이상 감소한다(p < .001).

마지막 열인 Exp(B) (B의 역자연 로그를 계산하여 B 값을 취함)는 승산비: 사건이 발생할 확률을 사건이 발생하지 않을 확률로 나눈 값을 나타낸다. Exp(B) 값이 1.0보다 크면 독립 변수가 종속 변수 발생 확률을 증가시킨다는 것을 의미한다. Exp(B) 1.0 미만은 독립 변수가 변수 세부사항에서 앞서 언급한 디코딩에 따라 종속 변수 발생 확률을 감소시킨다는 것을 의미한다.

음의 B 계수는 exp(B) 1.0보다 작을 것이고, 양의 B 계수는 exp(B) 1.0보다 클 것이다. 각 B의 통계적 유의성은 Wald Ci-Square에 의해 시험된다. 즉, B 계수가 0이라는 귀무(대안 가설은 0이 아니라는 것). 알파보다 낮은 p-값이 유의하여 귀무의 거부를 초래한다. 여기서는 독립 변수인 중죄, 재활, 고용만이 중요하다(P-Value<0.05). 다시 체포되는 것과 그렇지 않은 것의 오즈비율을 조사한다는 것은 중죄집단에 대한 두 집단의 비교를 위한 오즈비(재포함 = 분자, 분모 = 0)를 기준 경범죄집단에 비교하는 것을 의미한다. exp(B)=1.327의 "무죄"는 중죄를 범한 것과 경범죄를 저지른 것이 재구속할 확률을 33% 증가시킨다는 것을 나타낼 수 있다. '리합'의 경우 재활치료를 마치면 재체포될 확률(또는 확률)이 51% 가까이 줄어든다고 할 수 있다.