정보 메트릭스

정보 메트릭스는 과학적 모델링, 추론 및 효율적인 정보 처리에 대한 학문 간 접근방식이다. 그것은 시끄럽고 제한된 정보의 조건하에서 모델링, 추론, 추론을 이끌어내는 과학이다. 과학의 관점에서 이 틀은 정보 이론, 통계적 추론 방법, 응용 수학, 컴퓨터 과학, 계량학, 복잡성 이론, 의사결정 분석, 모델링, 과학 철학의 교차점에 있다.

정보 메트릭스는 결정되지 않았거나 잘못된 문제, 즉 고유한 솔루션을 찾기에 충분한 정보가 없는 문제를 해결하기 위해 제한된 최적화 프레임워크를 제공한다. 그러한 문제들은 모든 과학에 걸쳐 매우 흔하다: 이용 가능한 정보는 불완전하고, 제한적이며, 시끄럽고, 불확실하다. 정보 메트릭스는 모델링, 정보 처리, 이론 구축 및 과학적 스펙트럼 전반에 걸친 추론 문제에 유용하다. 정보 메트릭스 프레임워크는 경쟁 이론이나 인과적 메커니즘에 대한 가설을 시험하는 데도 사용될 수 있다.

역사

정보메트릭스는 섀넌의 작업에 바탕을 둔 고전적인 최대 엔트로피 형식주의에서 발전했다. 초기 기여는 대부분 자연과학과 수학/통계과학에 있었다. 1980년대 중반 이후, 특히 1990년대 중반에는 최대 엔트로피 접근법이 일반화되고 확장되어 사회 및 행동 과학, 특히 복잡한 문제와 데이터에 대한 더 큰 계층의 문제를 다루게 되었다. 'info-metrics'라는 단어는 학제간 정보-metrics Institute가 출범하기 직전인 2009년 아모스 골란(Amos Golan)이 만들었다.

예비 정의

K 구별되는 결과 중 하나를 얻을 수 있는 ${\textstyle X}$ 랜덤 변수 ${\textstyle X}$ ${\textstyle$ X $}$ 를 고려하십시오. The probability ${\textstyle p_{k}}$ of each outcome ${\textstyle x_{k}}$ is ${\textstyle p_{k}=p(x_{k})}$ for ${\textstyle k=1,2,\ldots ,K}$ . Thus, ${\textstyle P}$ is a K-dimensional probability distribution defined for ${\textstyle X}$ such that $p_{k}\epsilon [0,1]$ $p_{k}\epsilon [0,1]$ and ${\textstyle \sum _{k}p_{k}=1}$ . Define the informational content of a single outcome ${\textstyle x_{k}}$ to be ${\textstyle h(x_{k})=h(p_{k})=\log _{2}(1/p_{k})}$ (e.g., 섀넌(Shannon. 분포의 꼬리에서 결과를 관찰하는 것(희소한 사건)은 다른, 가능성이 더 높은 결과를 관찰하는 것보다 훨씬 더 많은 정보를 제공한다. 엔트로피는^[1] 확률 분포가 P:

H(P)=\sum _{k=1}^{K}p_{k}\log _{2}\left({\frac {1}{p_{k}}}\right)=-\sum _{k=1}^{K}p_{k}\log _{2}(p_{k})=\operatorname {E} \left[\log _{2}\left({\frac {1}{P(X)}}\right)\right]

$p_{k}=0$ 서 $p_{k}\log _{2}(p_{k})\equiv 0$ $p_{k}=0$ $p_{k}\log _{2}(p_{k})\equiv 0$ $p_{k}\log _{2}(p_{k})\equiv 0$ $p_{k}\log _{2}(p_{k})\equiv 0$ ( $p_{k}\log _{2}(p_{k})\equiv 0$ k $p_{k}\log _{2}(p_{k})\equiv 0$ ) $p_{k}\log _{2}(p_{k})\equiv 0$ 0 ${\displaystyle p_{k}\log _{2}(p_{k}})\equiv$ 0 $p_{k}=0$ p k = 0 $p_{k}=0$ 및 $\operatorname {E}$ ${\displaysty \operatorname {E}}}}$ 이 기대 $\operatorname {E}$ 연산자.

기본 정보 메트릭 문제

해당 변수의 평균(기대 값)만 주어진 K-차원 이산 랜덤 변수의 관측되지 않은 확률 분포를 모델링하고 유추하는 문제를 고려하십시오. 또한 확률은 음수가 아니며 정규화됨(즉, 정확히 1까지 합한 값)도 알고 있다. 모든 K > 2에 대해 문제는 충분히 결정되지 않았다. 정보 메트릭스 프레임워크 내에서 해결책은 평균과 정규화라는 두 가지 제약조건에 따라 무작위 변수의 엔트로피를 최대화하는 것이다. 이것은 통상적인 최대 엔트로피 용액을 산출한다. 그 문제에 대한 해결책은 여러 가지 방법으로 확장되고 일반화될 수 있다. 첫째, 섀넌의 엔트로피 대신 다른 엔트로피를 사용할 수 있다. 둘째, 연속 랜덤 변수, 모든 유형의 조건부 모델(예: 회귀, 불평등 및 비선형 모델) 및 많은 제약조건에 대해 동일한 접근법을 사용할 수 있다. 셋째, 이전 항목은 그 프레임워크에 통합될 수 있다. 넷째, 동일한 프레임워크를 확장하여 더 큰 불확실성, 즉 관측된 값에 대한 불확실성 및/또는 모델 자체에 대한 불확실성을 수용할 수 있다. 마지막으로, 동일한 기본 프레임워크를 사용하여 새로운 모델/이론을 개발하고, 이용 가능한 모든 정보를 사용하여 이러한 모델을 검증하며, 모델에 대한 통계적 가설을 테스트할 수 있다.

예

육면 주사위

반복적인 독립적 실험에서 비롯되는 정보에 근거한 추론.

다음의 예는 볼츠만에게 귀속되며, 제인스에 의해 더욱 대중화되었다. 6면 다이를 생각해 보십시오. 여기서 주사위를 던지는 것은 사건이고 뚜렷한 결과는 주사위 윗면의 숫자 1에서 6까지입니다. 그 실험은 같은 주사위를 던지는 독립적인 반복이다. 6면 다이의 N 토스의 경험적 평균 값 y만 관측한다고 가정합시다. 그 정보를 볼 때, 당신은 다음 주사위 던지기에서 얼굴의 특정 값이 나타날 확률을 유추하고자 한다. 확률의 합이 1이어야 한다는 것도 알고 있다. 이 두 제약조건(평균 및 정규화)에 따르는 엔트로피를 최대화(및 로그 베이스 2)하면 가장 정보가 없는 해결책이 나온다.

{\begin{aligned}&{\underset {\{P\}}{\text{maximize}}}&&H(\mathbf {p} )=-\sum _{k=1}^{6}p_{k}\log _{2}(p_{k})\\&{\text{subject to}}&&\sum _{k}p_{k}x_{k}=y{\text{ and }}\sum _{k}p_{k}=1\end{aligned}}

x ${\textstyle x_{k}=k}$ = ${\textstyle x_{k}=k}$ = ${\textstyle x_{k}=k}$ k {\ $textstyle x_{k}=$ k ${\textstyle x_{k}=k}$ } ${\textstyle k=1,2,\ldots ,6}$ k ${\textstyle k=1,2,\ldots ,6}$ = ${\textstyle k=1,2,\ldots ,6}$ , ${\textstyle k=1,2,\ldots ,6}$ , ${\textstyle k=1,2,\ldots ,6}$ …, ${\textstyle k=1,2,\ldots ,6}$ 6 {\ $textstyle k=1,2,\$ ldots, $6}$ 에 대한 해결책은

{\widehat {p}}_{k}={\frac {2^{-{\widehat {\lambda }}x_{k}}}{\sum _{k=1}^{6}2^{-{\widehat {\lambda }}x_{k}}}}\equiv {\frac {2^{-\lambda x_{k}}}{\Omega }}

${\textstyle {\widehat {p}}_{k}}$ 서 ${\textstyle {\widehat {p}}_{k}}$ ${\textstyle {\widehat {p}}_{k}}$ k ${\textstyle$ { $p}_{k}$ 는 이벤트 ${\textstyle {\widehat {p}}_{k}}$ k의 추론 ${\textstyle k}$ {\ $textstyle k},$ ${\textstyle {\widehat {\lambda }}}$ ^ ${\$ 은 ${\textstyle {\widehat {\lambda }}}$ (는) 평균 제약 조건과 연관된 추론된 라그랑주 승수이며, ${\textstyle \Omega }$ ${\textstyle \Oba}$ 은 파티션(정상화) 함수다 ${\textstyle \Omega }$ . 평균 3.5의 공정한 주사위일 경우 모든 얼굴이 동등하고 확률이 동일하다고 예상할 수 있다. 이것이 최대 엔트로피 용액이 주는 것이다. If the die is unfair (or loaded) with a mean of 4, the resulting maximum entropy solution will be ${\textstyle p_{k}=(0.103,0.123,0.146,0.174,0.207,0.247)}$ . For comparison, minimizing the least squares criterion ${\textstyle \left(\sum _{k=1$ $}^{6}p_{k}^{2}\right)}$ instead of maximizing the entropy yields ${\textstyle p_{k}(LS)=(0.095,0.124,0.152,0.181,0.210,0.238)}$ .

몇 가지 학제간 예

강우량 예측: 예상 일일 강우량(산술 평균)을 사용하여 최대 엔트로피 프레임워크를 사용하여 일일 강우량 분포를 유추하고 예측할 수 있다.^[2]

포트폴리오 관리: 투자자의 제약과 선호를 고려하면서 일부 자산을 할당하거나 포트폴리오 가중치를 다른 자산에 할당해야 하는 포트폴리오 관리자가 있다고 가정해 보자. 일정 기간 동안 각 자산의 시장 평균 수익률 및 공분산율과 같은 관측된 정보뿐만 아니라 이러한 선호와 제약 조건을 사용하여 엔트로피 최대화 프레임워크를 사용하여 최적의 포트폴리오 가중치를 찾을 수 있다. 이 경우 포트폴리오의 엔트로피는 그 다양성을 나타낸다. 이 프레임워크는 최소 분산, 최대 다양성 등과 같은 다른 제약조건을 포함하도록 수정할 수 있다. 그 모델은 불평등을 포함하며 공매도를 포함하도록 더 일반화될 수 있다. 그러한 예와 관련 코드는 다음에서 찾을 수 있다.

정보 수집과 관련된 광범위한 작업 목록은 http://info-metrics.org/bibliography.html에서 확인할 수 있다.

참고 항목

참조

^ Shannon, Claude (1948). "A mathematical theory of communication". Bell System Technical Journal. 27: 379–423.
^ Golan, Amos (2018). Foundations of Info-metrics: Modeling, Inference, and Imperfect Information. Oxford University Press.
^ Bera, Anil K.; Park, Sung Y. (2008). "Optimal portfolio diversification using the maximum entropy principle". Econometric Reviews. 27 (4–6): 484–512.
^ "Portfolio Allocation – Foundations of Info-Metrics". info-metrics.org.

추가 읽기

고전

루돌프 클라우시우스. "시. 우리가 열이라고 부르는 운동의 본질에 대하여" 런던, 에든버러, 더블린 철학적 잡지와 과학 저널, 14:108–127, 1857.
루트비히 볼츠만 "기체 분자의 열평형(Weitere studien über das waermegleicgewicht unter gasmolekülen)에 대한 추가 연구" 시트성스베리히테 데르 아카데미에 데르 위센샤프텐, 수타치슈-나투르위센샤프트클라세, 275-370, 1872페이지.
J. W. 깁스 통계 역학의 기본 원리. (뉴 헤이븐, CT: 예일 대학 출판부), 1902년.
C. E. 섀넌 "수학적 의사소통 이론" 벨 시스템 기술 저널, 1948년 27:379–423.
Y. 알하시드와 R. D. 레빈. "정보 이론적 접근방식의 실험적이고 내재적인 불확실성" 화학 물리학 편지, 73 (1:16–20, 1980).
R. B. 애쉬. 정보 이론. 1965년 뉴욕 인터사이언스
카티차. 상대적 엔트로피와 귀납적 추론. 2004.
카티차. "확률, 엔트로피, 통계물리학 선택" 2008년 브라질 상파울루 맥센트.
Jan M. Van Campenhout 커버와 Thomas M. "최대 엔트로피 및 조건부 확률". 정보이론에 관한 IEEE 거래, IT-27, 제4호, 1981.
I. Csiszar. "왜 최소 제곱과 최대 엔트로피? 선형 역 문제에 대한 추론에 대한 도축적 접근법" 통계 연보, 1991년 19:2032–2066.
데이비드 도노호, 호세인 카카반드, 제임스 맘멘. "최소한의 선형 방정식 시스템에 대한 해결책" 정보 이론, 2006 IEEE 국제 심포지엄 1924-1928페이지. IEEE, 2007.

기본 서적 및 연구 단문

골란, 아모스. 정보 메트릭스의 기초: 모델링, 추론 및 불완전한 정보. 옥스퍼드 대학 출판부, 2018.
골란. "정보 및 엔트로피 계량학 – 검토 및 종합" 계량학 기초 및 동향, 2(1-2):1–145, 2008.
R. D. 레빈과 M. 호민관. 최대 엔트로피 형식주의. 1979년 MIT 프레스, 캠브리지, MA.
J. N. 카푸르 이공계 최대 엔트로피 모델. 와일리, 1993년
J. 하르트. 최대 엔트로피와 생태학: 풍요와 분배와 정력학의 이론. 옥스포드 U 프레스, 2011.
A. 골란, G. 심판, D. 밀러 최대 엔트로피 계량학: 제한된 데이터로 강력한 추정. 존 와일리 앤 샌즈, 1996년
E. T. 제인스 확률 이론: 과학의 논리. 케임브리지 대학 출판부, 2003.

기타 대표적인 애플리케이션

J. R. 바나바르, A. 마리탄, 그리고 나. 볼코프. "최대 엔트로피 원리의 적용: 물리학에서 생태학까지" 물리학 저널-응축 물질, 2010년 22(6),
아닐 K. 베라와 성 Y. 박 "최대 엔트로피 원리를 이용한 최적의 포트폴리오 다양화" 계량 검토, 27(4-6):484–512, 2008.
바티, B. Buuksahin, 그리고 A. 골란. "이미지 재건: 정보 이론적 접근법". 미국통계협회, 2005.
피터 W 부헨과 마이클 켈리. "옵션가격에서 추정한 자산의 최대 엔트로피 분포" Journal of Financial and Submitical Analysis, 31(01):143–159, 1996.
랜달 C 캠벨과 R 카터 힐. "최대 엔트로피를 사용하여 다항 선택 예측" 경제 편지, 64(3):263–269, 1999.
아리엘 카티차, 아모스 골란. "모델 경제를 위한 등방성 틀" Physica A: Statistical Mechanics 및 그 적용, 408:149–163, 2014.
마샤 쿠르차네, 아모스 골란, 데이비드 니커슨. "대출 차별 추정 및 평가: 정보 접근 방식". 주택 연구 저널, 11:1:67–90, 2000.
후지와라 츠카사와 미야하라 요시오. "최소 엔트로피 마팅게일은 기하학적 레비 공정을 측정한다." 재무 및 스토카스틱스, 7:509–531, 2003.

마르코 프리텔리. "최소한의 엔트로피 마팅게일 측정과 불완전한 시장의 가치평가 문제" 수학 금융, 10(1):39–52, 2000.

D. Glennon과 A. 골란. "정보이론적 접근 은행을 사용하여 추정된 은행 실패의 마르코프 모델" 보고서, 미국 재무부, 2003.
A. 골란. "경험적 증거가 있는 기업의 규모 분포에 대한 다변량 확률론" 계량학의 발전, 10:1–46, 1994.
A. 골란. "인원 유지에 미치는 보상의 모형-정보 이론적 접근법" 2003년 2월, 미 해군 보고.

아모스 골란과 볼커 선량. "단층 재구성에 대한 일반화된 정보 이론적 접근방식" 물리학 저널 A: 수학 및 일반, 34(7):1271, 2001.

바트 해게만과 램팔 S 에티엔. "엔트로피 극대화와 종의 공간적 분포" 미국 자연주의자, 175(4):E74–E90, 2010.
U. V. 뚜생, A. 골란, V. 선량 및 "4중질량 스펙트럼의 최대 엔트로피 분해" 진공 과학 기술 저널 A 22(2), 2004년 3월/4월, 401–406
골란 A, 그리고 D. 볼커, "단층 재구성에 대한 일반화된 정보 이론적 접근법," 물리학 A: 수학 및 일반(2001) 1271–1283.

외부 링크

"Info-Metrics Institute: Information-Theoretic Data Analysis and Exposition American University, Washington, D.C." american.edu. Retrieved 2017-11-07.
"Center for Science of Information NSF STC". soihub.org. Retrieved 2017-11-07.
http://info-metrics.org/

[1] Shannon, Claude (1948). "A mathematical theory of communication". Bell System Technical Journal. 27: 379–423.

[2] Golan, Amos (2018). Foundations of Info-metrics: Modeling, Inference, and Imperfect Information. Oxford University Press.

[3] Bera, Anil K.; Park, Sung Y. (2008). "Optimal portfolio diversification using the maximum entropy principle". Econometric Reviews. 27 (4–6): 484–512.

[4] "Portfolio Allocation – Foundations of Info-Metrics". info-metrics.org.

[1]

[2]

Search