곤혹스러움

정보 이론에서 복잡도(complexity)는 확률 분포 또는 확률 모델이 표본을 얼마나 잘 예측하는지에 대한 측정값입니다.확률 모형을 비교하는 데 사용할 수 있습니다.복잡도가 낮다는 것은 확률 분포가 표본을 예측하는 데 좋다는 것을 나타냅니다.

확률 분포의 복잡성

이산 확률 분포 p의 복잡성 PP는 정보 이론, 기계 학습 및 통계 모델링에서 널리 사용되는 개념입니다.다음과 같이 정의됩니다.

표시({style {\mathit {PP}):=2^{H(p)}=2^{-\sum _{x}p(x)\log _{2}p(x)}=\log _{x}p(x)^{-p(x)}}}

여기서 H(p)는 분포의 엔트로피(비트)이며, x는 이벤트에 대한 범위입니다.로그의 기저가 2일 필요는 없습니다. 엔트로피와 지수가 동일한 기저를 사용한다는 조건에서 복잡성은 기저와 무관합니다.일부 상황에서는 이 측정값을 (1차 참) 다양성이라고도 합니다.

랜덤 변수 X의 복잡성은 가능한 값 x에 대한 분포의 복잡성으로 정의할 수 있습니다.결과와 관련된 불확실성 또는 "놀라움"의 척도로 생각할 수 있습니다.

p가 공정 k측 다이(k개의 이산 사건에 대한 균일한 분포)를 모형화하는 특수한 경우, 그 복잡성은 k입니다.난수 k를 갖는 랜덤 변수의 불확실성은 공정 k측 다이와 동일합니다.랜덤 변수의 값에 대해 "k-ways 혼란"이라고 합니다.공정 k측 다이가 아닌 한 k개 이상의 값이 가능할 수 있지만 일부 값의 확률이 1/k보다 클 수 있기 때문에 전체적인 불확실성은 더 크지 않습니다.

복잡성은 때때로 예측 문제의 난이도를 측정하는 데 사용됩니다.하지만 항상 정확한 표현은 아닙니다.예를 들어, 확률 0.9인 두 가지 선택지가 있으면 최적 전략을 사용하여 정확한 추측을 할 확률이 90%입니다.그러나 당혹감은 2^{−0.9 log₂ 0.9 - 0.1 log₂ 0.1}=1.38입니다.복잡도의 역인 1/1.38 = 0.72는 0.9 확률에 해당하지 않습니다.

당혹스러운 것은 엔트로피의 기하급수적인 것으로, 더 간단한 양입니다.엔트로피는 최적의 가변 길이 코드를 사용하여 임의 변수의 결과를 인코딩하는 데 필요한 예상 또는 "평균" 비트 수를 측정합니다.또한 랜덤 변수의 결과를 학습하여 기본 확률 분포의 불확실성과 복잡성에 대한 통찰력을 제공하는 기대 정보 이득으로 간주될 수 있습니다.

확률 모형의 복잡성

알려지지 않은 확률 분포 p의 모형은 p에서 추출한 훈련 표본을 기반으로 제안될 수 있습니다.제안된 확률 모형 q가 주어지면 p에서 추출한 별도의 검정 표본₁ x, x₂, ..., x를_N 얼마나 잘 예측하는지 물어봄으로써 q를 평가할 수 있습니다.모델 q의 복잡성은 다음과 같이 정의됩니다.

b^{-{\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})}=\left(\cisco _{i}q(x_{i})\right)^{-1/N}

$b$ 서 b ${displaystyle$ b $}$ 는 $b$ 일반적으로 2입니다.알 수 없는 분포 p의 더 나은 모형 q는 검정 사건에 더 높은 확률 q(x_i)를 할당하는 경향이 있습니다.따라서 난이도가 낮습니다. 즉, 검정 표본에 대한 놀라움이 적습니다.

위의 지수는 q를 기반으로 최적의 코드를 사용하는 경우 테스트_i 이벤트 x를 나타내는 데 필요한 평균 비트 수로 간주될 수 있습니다. q(x_i)가 높은 경향이 있기 때문에 낮은 복잡도 모델이 테스트 샘플을 더 잘 압축하여 테스트 요소당 평균 몇 비트를 필요로 합니다.

지수 $-{\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})$ - $-{\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})$ N $-{\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})$ $-{\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})$ $=$ $-{\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})$ $-{\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})$ $-{\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})$ b ⁡ $-{\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})$ ( x $-{\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})$ ) \ $displaystyle$ - ${\frac {1}{N}}\sum$ _{i $=1}^{N}\log$ _ ${b}q(x_{i})}$ 도 $\displaystyle - {\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})}$ 교차 지수로 해석할 수 있습니다.

\"표시 스타일 H({\tilde {p},q)=-\sum _{x}{\tilde {p}}(x)\log _{b}q(x)}

${\tilde {p}}$ 서 ${\tilde {p}}$ p ${\tilde {p}}$ ~ { $displaystyle {tilde$ { ${\tilde {p}}(x)=n/N$ $}}$ 은 ${\tilde {p}}$ (는) 테스트 샘플의 경험적 분포 ${\tilde {p}}(x)=n/N$ 즉 ${\tilde {p}}(x)=n/N$ p ~ ( $)$ $=$ ${\tilde {p}}(x)=n/N$ / ${\tilde {p}}(x)=n/N$ {\ $displaystyle {p}(x$ ) = $n/N}$ 크기의 ${\tilde {p}}(x)=n/N$ 테스트 샘플에 x가 n번 나타난 경우)를 나타냅니다.

KL 발산의 정의에 따르면, 그것은 또한 다음과 같습니다.

{\tilde {p} 표시 스타일 H({\tilde {p}})+D_{KL}({\tilde {p}}\q)}

이는

\geq H({\tilde {p}})

(

\geq H({\tilde {p}})

~

\geq H({\tilde {p}})

) {\

displaystyle \geq

H

({\tilde {p

입니다. 따라서

q={\tilde {p}}

=

p

q={\tilde {p}}

~ {{

displaystyle

q=

displaystyle

{

p

일 때 복잡성이 최소화됩니다.

단어당 복잡도

자연어 처리에서 말뭉치는 문장 또는 텍스트의 집합이고 언어 모델은 전체 문장 또는 텍스트에 대한 확률 분포입니다.따라서 NLP에서 더 일반적으로 사용되는 측정은 단어당 복잡도이며 다음과 같이 정의됩니다.

\left(\displaystyle _{i=1}^{n}q(s_{i})\right)^{-1/N}

s_{1},...,s_{n}

서

s_{1},...,s_{n}

1

s_{1},...,s_{n}

.

s_{1},...,s_{n}

. ,

{

...,

s_{n}

은

s_{1},...,s_{n}

말뭉치의 다음

({displaystyle

n})이지만 N

{displaystyle

N

}

은

n

N

말뭉치의 단어 수입니다.이렇게 하면 텍스트 길이에 따라 복잡성이 정규화되어 서로 다른 텍스트 또는 모델 간에 더 의미 있는 비교가 가능합니다.

$언어$ 모델에 따라 말뭉치의 평균 문장_i x의 $2^{-190}$ 이 2 $2^{-190}$ - $2^{-190}$ 가정합니다 $.$ 이것은 한 문장당 2의 모델¹⁹⁰ 혼란을 줄 것입니다.그러나 문장 길이에 대해 정규화하는 것이 더 일반적입니다.따라서 테스트 샘플의 문장이 총 1,000개의 단어로 구성되어 있고 단어당 7.95비트를 사용하여 코딩할 수 있다면 단어당 2 = 247의 모델^7.95 복잡성을 보고할 수 있습니다.즉, 각 단어에 대한 247개의 가능성 중에서 모형이 균일하고 독립적으로 선택해야 하는 것처럼 테스트 데이터에서 혼동됩니다.

언어 모델링의 최근 발전

2007년 이후, 특히 딥 러닝 기술의 출현과 함께 언어 모델링의 상당한 발전이 나타났습니다.언어 모델의 예측력을 정량화하는 척도인 단어당 복잡성은 트랜스포머, BERT, GPT-2 등과 같은 모델을 평가하는 데 중심적으로 남아 있습니다.이 측정은 언어적 특징과 문장 ^[1]길이와 같은 요인에 민감하지만 동일한 데이터 세트에서 서로 다른 모델을 비교하고 하이퍼 파라미터의 최적화를 안내하는 데 사용됩니다.언어 모델 개발에서 중추적인 역할에도 불구하고, 혼란은 특히 음성 인식 성능의 부적절한 예측자로서 한계를 보여 왔으며, 여기서 ^[2]^[3]단어 오류율과 잘 상관되지 않을 수 있으므로 정확성에 대한 의문이 제기됩니다.

갈색 말뭉치

1992년 현재 브라운 코퍼스(다양한 주제와 장르의 미국 영어 100만 단어)에 게시된 가장 낮은 혼란은 실제로 단어당 약 247개이며, 이는 삼각형 모델을 사용하여 단어당 log247₂ = 7.95비트 또는 문자당^[4] 1.75비트의 교차 해석에 해당합니다.이 수치는 당시의 기술 상태를 나타내는 반면, 딥 러닝과 같은 기술의 발전은 10억 단어 ^[5]벤치마크와 같은 다른 벤치마크에서 당혹감을 크게 개선했습니다.

브라운 말뭉치의 맥락에서, 다음 단어가 "the"라고 추측하는 것만으로도 7%의 정확도를 달성할 것이며, 이는 단순한 당혹감의 사용에서 예상될 수 있는 1/247 = 0.4%와 대조적입니다.이러한 차이는 사용된 통계 ^[6]모델의 중요성과 예측성의 척도로서 복잡성의 미묘한 특성을 강조합니다.추측은 247의 혼란을 초래한 삼각형 통계가 아니라 유니그램 통계를 기반으로 하며, 삼각형 통계를 활용하면 예측을 더욱 정교화할 수 있습니다.

참고 항목

통계적 모델 검증

레퍼런스

^ Miaschi, Alessio; Brunato, Dominique; Dell'Orletta, Felice; Venturi, Giulia (2021). "What Makes My Model Perplexed? A Linguistic Investigation on Neural Language Models Perplexity". Proceedings of Deep Learning Inside Out (DeeLIO): The 2nd Workshop on Knowledge Extraction and Integration for Deep Learning Architectures. pp. 40--47. doi:10.18653/v1/2021.deelio-1.5.
^ Klakow, Dietrich; Peters, Jochen (2002). "Testing the correlation of word error rate and perplexity". Speech Communication. 38 (1–2): 19–28. doi:10.1016/S0167-6393(01)00041-3. ISSN 0167-6393.
^ Chen, Stanley F; Beeferman, Douglas; Rosenfeld, Roni (2018). "Evaluation Metrics For Language Models". Carnegie Mellon University.
^ Brown, Peter F.; et al. (March 1992). "An Estimate of an Upper Bound for the Entropy of English" (PDF). Computational Linguistics. 18 (1). Retrieved 2007-02-07.
^ Jozefowicz, Rafal 등, "언어 모델링의 한계 탐구" arXiv preprint arXiv:1602.02410 (2016). [1]
^ 윌콕스, 에단 고틀립 등."인간 실시간 이해 행동을 위한 신경 언어 모델의 예측력에 관한 연구" arXiv preprint arXiv:2006.01912 (2020). [2]

[1] Miaschi, Alessio; Brunato, Dominique; Dell'Orletta, Felice; Venturi, Giulia (2021). "What Makes My Model Perplexed? A Linguistic Investigation on Neural Language Models Perplexity". Proceedings of Deep Learning Inside Out (DeeLIO): The 2nd Workshop on Knowledge Extraction and Integration for Deep Learning Architectures. pp. 40--47. doi:10.18653/v1/2021.deelio-1.5.

[2] Klakow, Dietrich; Peters, Jochen (2002). "Testing the correlation of word error rate and perplexity". Speech Communication. 38 (1–2): 19–28. doi:10.1016/S0167-6393(01)00041-3. ISSN 0167-6393.

[3] Chen, Stanley F; Beeferman, Douglas; Rosenfeld, Roni (2018). "Evaluation Metrics For Language Models". Carnegie Mellon University.

[4] Brown, Peter F.; et al. (March 1992). "An Estimate of an Upper Bound for the Entropy of English" (PDF). Computational Linguistics. 18 (1). Retrieved 2007-02-07.

[5] Jozefowicz, Rafal 등, "언어 모델링의 한계 탐구" arXiv preprint arXiv:1602.02410 (2016). [1]

[6] 윌콕스, 에단 고틀립 등."인간 실시간 이해 행동을 위한 신경 언어 모델의 예측력에 관한 연구" arXiv preprint arXiv:2006.01912 (2020). [2]

[1]

[2]

[3]

[4]

[5]

[6]

v t 머신러닝 평가 지표
회귀 분석	MSE MAE sMAPE MAPE 마스 MSPE RMS RMSE/RMSD R² MDA 미친
분류	F-점수 P4 정확성. 정확 리콜 카파 MCC AUC 중화민국 민감도 및 특이성 로그 손실
클러스터링	실루엣 칼린스키하라바시 데이비스볼딘 던 인덱스 홉킨스 통계 자카르 색인 랜드 지수 유사도 측도 SMC 심해시
순위	MRR DCG NDCG AP
컴퓨터 비전	PSNR SSIM IoU
NLP	곤혹스러움 블루
딥 러닝 관련 메트릭	인셉션 FID
추천인 제도	범위 리스트 내 유사성
유사성	코사인 유사성 유클리드 거리 피어슨 상관 계수
혼동 행렬

Search