최대 엔트로피 열역학

물리학에서 최대 엔트로피 열역학(Colloquially, MaxEnt 열역학)은 평형 열역학 및 통계역학을 추론 과정으로 본다. 좀 더 구체적으로, 맥센트는 섀넌 정보 이론, 베이지안 확률, 최대 엔트로피 원리에 뿌리를 둔 추론 기법을 적용한다. 이러한 기법은 불완전하거나 불충분한 데이터로부터 예측이 필요한 상황(예: 영상 재구성, 신호 처리, 스펙트럼 분석 및 역문제)과 관련이 있다. 맥센트 열역학(MaxEnt 열역학)은 에드윈 T. 제인스가 1957년 물리 리뷰에 발표한 두 개의 논문에서 시작되었다.^[1][2]

최대 섀넌 엔트로피

MaxEnt 논문의 중심은 최대 엔트로피 원리다. 그것은 일부 지정된 모델과 해당 모델과 관련된 일부 지정된 데이터를 요구한다. 모형을 나타낼 선호 확률 분포를 선택한다. 주어진 데이터는 확률 분포(예: 특정 기대값)에 대한 "시험 가능한 정보"^[3][4]를 나타내지만, 그 자체로는 그것을 고유하게 결정하기에 충분하지 않다. 원칙은 섀넌 정보 엔트로피를 최대화하는 분포를 선호해야 한다고 말한다.

${\displaystyle S_{I}=-\sum _{i}p_{i}\ln p_{i}.}$

이것은 J. Willard Gibbs가 1878년에 도입한 것으로 평형 상태에서 열역학 시스템의 특성을 예측하기 위한 통계 앙상블을 설치하기 위해 Gibbs 알고리즘으로 알려져 있다. 평형계통의 열역학적 특성에 대한 통계적 기계적 분석의 초석이다(파티션 함수 참조).

따라서 압력, 체적, 온도 등의 상태 함수인 평형 열역학 엔트로피 S와_Th 예측 분포에 대한 정보 엔트로피 사이에 직접 연결이 이루어지며, 예측된 분포의 최대 불확실성은 해당 변수의 기대값에만 조건화된다.

${\displaystyle S_{Th}(P,V,T,\ldots )_{\\text{(eqm)}}}=k_{B}\,S_{I}(P,V,T,\ldots )}$

볼츠만의 상수인 k는_B 여기서 근본적인 물리적 의미는 없지만, 클로스비우스(1865)에 의한 엔트로피의 이전 역사적 정의와의 일관성을 유지하기 위해 필요하다(볼츠만의 상수 참조).

그러나 MaxEnt 학교는 MaxEnt 접근법이 통계 추론의 일반적인 기법이며, 이를 훨씬 넘어선 응용을 가지고 있다고 주장한다. 따라서 다음을 최대화하여 "기간 경과에 따른" γ에 대한 분포를 예측하는 데도 사용할 수 있다.

${\displaystyle S_{I}=-\sum p_{\Gamma }\ln p_{\Gamma }}}}$

이러한 "정보 엔트로피"가 반드시 열역학 엔트로피와 단순한 대응관계를 가지는 것은 아니다. 그러나 그것은 시간이 지남에 따라 진화하면서 불균형 열역학 시스템의 특징을 예측하는 데 사용될 수 있다.

비균형 시나리오의 경우, 최대 엔트로피 접근방식과 함께 국소 열역학적 평형을 가정하는 근사치에서는 Onsager 상호관계와 그린-쿠보 관계가 직접 배제된다. 또한 이 접근방식은 편평형 시나리오의 일부 매우 특수한 사례 연구를 위한 이론적 프레임워크를 생성하여 엔트로피 생산 변동 정리의 파생을 단순화한다. 거시적 설명과 마찬가지로 불균형 프로세스의 경우 미시적 통계적 기계적 계정에 대한 엔트로피의 일반적인 정의도 부족하다.

기술 참고 사항: 기사 차등 엔트로피에서 논의된 이유로, 섀넌 엔트로피의 단순한 정의는 연속 확률 분포 함수를 가진 무작위 변수에 대해 직접 적용할 수 있는 것을 중단한다. 대신, 최대화하기에 적절한 양은 "상대적 정보 엔트로피"이다.

${\displaystyle H_{c}=-\int p(x)\log {\frac {p(x)}{m(x)}\,dx.}$

H는_c p(x)에서 m(x)의 Kullback-Leibler 발산 또는 차별 정보의 음수이며, 여기서 m(x)은 변수에 대한 선행 불변량 측정이다. 상대 엔트로피 H는_c 항상 0보다 작으며, m(x)이 아닌 p(x)에 고정함으로써 손실된 불확실성의 비트 수(의 음수)로 생각할 수 있다. 섀넌 엔트로피와는 달리 상대 엔트로피 H는_c 연속 x에 대해 유한하고 잘 정의된 상태를 유지할 수 있으며, 1 대 1 좌표 변환 아래에 불변성이 있다는 장점이 있다. m(x_i)이 균일하다고 가정할 수 있는 경우, 즉 통계적 열역학 기초가 되는 a-priori 확률의 동일 원리를 이산 확률 분포에서 두 식이 일치한다.

철학적 함의

MaxEnt의 관점에 대한 지지자들은 열역학에서 개념적/철학적 질문의 일부에 대해 명확한 입장을 취한다. 이 위치는 아래에 스케치되어 있다.

통계역학에서 확률의 특성

Jaynes(1985,^[5] 2003,^[6] et passim)는 확률의 개념을 논의했다. MaxEnt 관점에 따르면, 통계 역학의 확률은 두 가지 요인, 즉 기초 상태 공간에 대해 각각 지정된 특정 모델(예: Liouvillian 위상 공간)과 시스템에 대한 특정 부분 설명(사용된 시스템의 거시적 설명)에 의해 공동으로 결정된다.o MaxEnt 확률 할당 제한). 확률은 이러한 투입변수를 고려할 때 특정인의 주관성이나 자의적 의견과는 무관하게 모든 이성적 조사자에 대해 고유하게 정의된 확률 분포를 초래한다는 점에서 객관적이다. 확률은 특정 데이터의 관점에서 정의되고 모든 합리적 조사자에게 동일한 확정적이고 객관적인 추론 규칙에 의해 그러한 데이터에서 도출된다는 점에서 인식론적이다.^[7] 여기에서 객관적이고 비인격적인 과학적 지식을 지칭하는 인식론적이라는 단어는 모든 이성적 조사자에 대해 동일하며, 특정인의 주관적 또는 자의적 신념을 지칭하는 오피니언과 대비되는 의미로 사용된다; 이러한 대비는 플라톤과 아리스토텔레스에 의해 사용되었고, 오늘날 믿을 수 있다.

Jaynes는 또한 다른 사람들이 이 문맥에서 사용했기 때문에 이 문맥에서 '주체적'이라는 단어를 사용했다. 그는 어떤 의미에서는 지식의 상태가 단순히 사상을 지칭하기 때문에 주관적인 측면이 있다는 것을 받아들였는데, 그것은 정신적인 과정이다. 그러나 그는 최대 엔트로피의 원리는 사상가의 성격과 무관하게 합리적이고 객관적인 사상만을 가리킨다고 강조했다. 일반적으로 철학적인 관점에서 '주체적'과 '객관적'이라는 단어는 모순되지 않는다. 종종 실체는 주관적 측면과 객관적 측면을 모두 가지고 있다. Jaynes는 생각이라는 것이 주관적인 측면이 있다고 말할 수 있다고 해서 생각이 자동적으로 비객관적이라는 일부 작가들의 비판을 노골적으로 거부했다. 그는 과학적인 추론의 기초인 인식론으로서의 주관성을 명백하게 거절했다; 그는 과학적인 추리가 완전하고 엄격하게 객관적인 근거를 가질 것을 요구했다.^[8] 그럼에도 불구하고 비평가들은 제이네스의 사상이 "주관적"이라고 주장하며 계속해서 제인스를 공격한다. 한 작가는 심지어 Jaynes의 접근법을 "초대주사론자"^[9]라고 칭하기도 하고 "물리학자 사이에 주관주의라는 용어가 만들어낸 공포"를 언급하기도 한다.^[10]

확률은 데이터의 지식 정도와 정보의 부족 그리고 시스템에 대한 분석가의 거시적 설명에 사용된 모델 그리고 그러한 데이터가 기초적인 현실의 본질에 대해 말하는 것을 모두 나타낸다.

확률의 적합성은 지정된 거시적 모델의 제약조건이 실험적으로 재현 가능한 모든 동작을 포착할 수 있는 시스템의 충분한 정확성 및/또는 완전한 설명인지에 따라 달라진다. 이건 장담할 수 없어, 선험군 이러한 이유로 MaxEnt 지지자들은 또한 이 방법을 예측 통계 역학이라고 부른다. 예측은 실패할 수 있다. 그러나 만약 그들이 그렇게 한다면, 이것은 고려되지 않았던 시스템에서 재현 가능한 행동을 포착하는 데 필요한 새로운 제약조건의 존재를 나타내기 때문에 유익하다.

엔트로피는 진짜인가?

열역학적 엔트로피(평형상태에서)는 모델 설명의 상태 변수의 함수다. 따라서 그것은 모델 설명의 다른 변수들과 마찬가지로 "실제"이다. 확률 할당에서 모델 제약 조건이 재현 가능한 실험 결과를 예측하는 데 필요한 모든 정보를 포함하는 "좋은" 설명인 경우, 여기에는 고전적인 열역학에서 엔트로피를 포함하는 공식으로 예측할 수 있는 모든 결과가 포함된다. 그만큼 맥센트는 고전_Th 열역학에서 엔트로피처럼 "실제"하다.

물론, 실제로 시스템의 실제 상태는 단 한 가지뿐이다. 엔트로피는 그 상태의 직접적인 기능이 아니다. 그것은 (주관적으로 선택한) 거시적 모델 설명을 통해서만 실제 상태의 기능이다.

에고다이즘 이론은 관련성이 있는가?

기브시안 앙상블은 같은 시스템에서 실험을 반복하는 것이 아니라 다른 시스템에서 실험을 반복하는 개념을 이상화한다. 그러므로 장기 평균과 에고다이즘 가설은, 20세기 전반의 그것들에 대한 강한 관심에도 불구하고, 엄밀히 말하면, 그 시스템을 발견할 수 있는 국가의 확률 할당과는 관련이 없다.

그러나 측정 전에 특정 방식으로 시스템이 준비되고 있다는 추가적인 지식이 있는 경우 변경된다. 그런 다음 측정 시에도 여전히 관련성이 있는 추가 정보를 제공하는지 여부를 고려해야 한다. 그렇다면 시스템의 서로 다른 성질을 어떻게 '신속하게 혼합'하는가에 대한 문제가 매우 흥미로워진다. 결합 시스템의 자유도에 대한 정보는 매우 빨리 사용할 수 없게 될 수 있다. 시스템의 다른 속성에 대한 정보는 상당 기간 동안 관련성이 있을 수 있다.

다른 것이 없다면, 시스템의 중·장시간 상관관계 특성은 그 자체로 실험의 흥미로운 대상이다. 그것들을 정확하게 예측하지 못하는 것은 관련 거시적으로 결정 가능한 물리학이 모델에서 누락될 수 있다는 좋은 지표다.

제2법칙

해밀턴 역학을 위한 리우빌의 정리에 따르면 위상공간에서 점 구름의 초량은 시스템이 진화함에 따라 일정하게 유지된다. 따라서, 정보 엔트로피는 또한 우리가 원래의 정보를 조건으로 하고, 그리고 나서 그 각각의 미세한 부분을 제시간에 전방으로 따라가는 경우에 일정하게 유지되어야 한다.

$\displaystyle \Delta S_{I}=0\,}$

그러나 시간이 지날수록 우리가 가지고 있던 초기 정보에 직접 접근할 수 없게 된다. 시스템에 대한 거시적인 설명에 쉽게 요약되는 대신에, 그것은 점점 더 개별 분자의 위치와 순간 사이의 매우 미묘한 상관관계와 관련된다. (볼츠만의 H테오렘과 비교) 동등하게, 그것은 6N 차원 공간에서 전체 시스템에 대한 확률 분포가 점점 불규칙해지고, 초기에 엄격하게 정의된 가능성의 부피가 아닌 길고 얇은 손가락들로 퍼져 나간다는 것을 의미한다.

고전적인 열역학은 엔트로피가 거시적 변수의 상태 함수(즉, 시스템의 역사 중 어느 것도 중요하지 않기 때문에 모두 무시할 수 없다는 가정 하에 구축된다.

아직 초기 섀넌 엔트로피 S가_Th⁽¹⁾ 있는 확장되고, 가느다란 진화된 확률 분포는 시간 t에서₂ 관측된 거시적 변수의 기대값을 재현해야 한다. 그러나 더 이상 새로운 거시적 설명에 대한 최대 엔트로피 분포가 될 필요는 없을 것이다. 반면에, 새로운 열역학 엔트로피 S는_Th⁽²⁾ 확실히 건설에 의한 최대 엔트로피 분포를 측정할 것이다. 따라서 우리는 다음을 기대한다.

${\displaystyle {S_{Th}^{{S}}\geq {S_{Th}^{(1)}}$

추상적인 수준에서, 이 결과는 우리가 원래 시스템에 대해 가지고 있던 정보의 일부가 거시적인 수준에서 "더 이상 유용하지 않다"는 것을 암시한다. 6N 차원 확률 분포 수준에서 이 결과는 거친 그레인(즉, 매우 미세한 세부사항을 평활화함으로써 정보 손실을 나타낸다.

인수에 대한 주의 사항

상기와 함께 몇 가지 주의사항을 고려해야 한다.

1. MaxEnt 학교에 따른 모든 통계적 기계적 결과와 마찬가지로, 열역학 엔트로피의 이러한 증가는 단지 예측일 뿐이다. 특히 초기 거시적 설명은 후기 거시적 상태 예측과 관련된 모든 정보를 포함하고 있다고 가정한다. 예를 들어, 초기 설명이 나중에 관련성이 있는 시스템 준비의 일부 측면을 반영하지 못하는 경우, 이는 해당되지 않을 수 있다. 그 경우에 MaxEnt 예측의 "실패"는 우리가 시스템의 물리학에서 간과했을지도 모르는 더 관련이 있는 것이 있다는 것을 말해준다.

또한 양자 측정, 특히 탈착성 해석에서 양자 측정이 이전에 접근할 수 없었던 거시적 정보가 이용 가능해지는 것을 수반하는 것으로 보이기 때문에 이 주장당 예상하지 못한 엔트로피를 감소시킬 수 있다는 제안도 가끔 제기된다. (단, 양자 측정에 대한 엔트로피 회계처리는 까다롭다. 완전한 탈착을 얻기 위해서는 무한한 엔트로피를 가진 환경을 가정해야 하기 때문이다.)

2. 지금까지의 논쟁은 변동 문제를 얼버무렸다. 또한 시간 t₂ 변수에 대해 시간₁ t에서 예측한 불확실성이 측정 오차보다 훨씬 작을 것이라고 암묵적으로 가정했다. 만약 치수를 의미 있게 시스템에 대한 우리의 지식 업데이트 하세요 하지만, 그 상태에 불확실성, 새로운 SI(2)는 SI(1).(우리가 우리 스스로를 라플라스의 악마의 능력을 허용한다면, 이 새로운 정보의 결과 또한 뒤로 매핑 된 수 있음을 주목한다. 그렇게 동적 상황에 관한 우리의 불확실성보다 적게는 감소된다.시간 t1 또한 S에서_I⁽¹⁾ S로_I⁽²⁾ 감소한다).

우리는_Th⁽²⁾ S > S_I⁽²⁾;를 알고 있지만, 이제 그것이_Th⁽¹⁾ S = S보다_I⁽¹⁾ 크다는 것을 더 이상 확신할 수 없다. 이는 S의_Th 변동 가능성을 열어둔다. 열역학적 엔트로피는 위로뿐만 아니라 "내려갈" 수도 있다. 보다 정교한 분석은 엔트로피 변동 정리(Entropy Changle Organization)에 의해 주어지는데, 이는 시간에 의존하는 MaxEnt 그림의 결과로 성립될 수 있다.

3. 방금 표시한 대로 MaxEnt 추론은 역순으로 똑같이 잘 실행된다. 그래서 특정한 최종 상태를 고려했을 때, 우리는 무엇이 이전 주에 대한 우리의 지식을 향상시키기 위해 "재교육"할 수 있는지 물어볼 수 있다. 그러나 위의 제2법률론도 역행한다: 시간 t에서₂ 거시적인 정보를 볼 때, 우리는 그것 또한 덜 유용하게 될 것으로 예상해야 한다. 두 절차는 시간 대칭이다. 그러나 이제 그 정보는 점점 더 이전과 이전으로 유용하지 않게 될 것이다. (로슈미트의 역설과 비교) MaxEnt 추론은 현재 낮은 엔트로피 상태의 가장 가능성이 높은 출처가 초기 높은 엔트로피 상태에서 발생하는 자발적 변동일 것이라고 예측할 수 있다. 그러나 이것은 우리가 알고 있는 일, 즉 엔트로피가 과거에도 꾸준히 증가하고 있다는 것과 상충된다.

이에 대한 MaxEnt 지지자들의 반응은 MaxEnt 추론 예측에서 그렇게 체계적인 실패가 "좋은" 것이라는 것이다.^[11] 이는 따라서 일부 중요한 물리적 정보가 규격에서 누락되었다는 명백한 증거가 있다는 것을 의미한다. 역학이 "시간대칭"인 것이 맞다면, 열역학 엔트로피가 낮은 초기 구성이 높은 열역학 엔트로피보다 더 가능성이 높은 사전 확률을 수작업으로 넣어야 할 것으로 보인다. 이것은 즉각적인 역학관계로는 설명할 수 없다. 꽤 가능성이 있는 것은 우주적 척도에 대한 우주의 명백한 시간 대칭적 진화의 반영으로서 발생한다(시간의 화살표 참조).

비평

최대 엔트로피 열역학(Maximum Entropy 열역학)은 특히 평형과는 거리가 먼 새로운 시험 가능한 예측과 관련하여 맥센트 학교로부터 발표된 결과의 상대적 빈도 때문에 일부 중요한 반대가 있다.^[12]

그 이론은 또한 내부 일관성을 이유로 비판을 받아왔다. 예를 들어, Radu Balescu는 MaxEnt School과 Jaynes의 작품에 대해 강한 비판을 제공한다. 발레스쿠는 제인스와 동료들의 이론이 애매한 결과를 낳는 비전환적 진화법에 근거하고 있다고 말한다. 이론의 일부 난관은 고칠 수 있지만, 이론은 "확실한 토대가 부족하다"와 "새로운 구체적인 결과를 이끌어내지 못했다"^[13]는 것이다.

최대 엔트로피 접근법은 직접 정보 엔트로피를 기반으로 하지만 엔트로피의 명확한 물리적 정의가 있을 때만 물리학에 적용할 수 있다. 열역학적 평형 상태의 열역학 시스템보다는 공정 중에 고려되는 일반적인 물리적 시스템인 비평형 시스템에 대한 엔트로피의 명확한 일반적인 물리적 정의는 없다.^[14] 따라서 엔트로피의 명확한 물리적 정의가 발견되기 전까지는 최대 엔트로피 접근법을 비균형 시스템에 적용할 수 없을 것이다. 이 문제는 국소 열역학적 평형이 유지되지 않아 어느 시스템도 온도가 잘 정의되지 않는 경우에도 열이 더 뜨거운 물리적 시스템에서 더 차가운 물리적 시스템으로 전달될 수 있다는 사실과 관련이 있다. 고전적 엔트로피는 0이 아닌 플럭스 변수가 상태변수로 나타나지 않도록 상태변수에 의해 정의되는 열역학적 평형의 내부상태의 시스템에 대해 정의된다. 그러나 강하게 불균형한 시스템의 경우 공정 중에 상태 변수에 0이 아닌 플럭스 변수가 포함되어야 한다. 엔트로피의 고전적인 물리적 정의는 특히 플럭스가 국소 열역학적 평형을 파괴할 만큼 큰 경우 이 경우를 다루지 않는다. 다시 말하면, 일반적으로 비평형 시스템에 대한 엔트로피의 경우, 이 정의는 적어도 고전적인 정적 열역학 상태 변수를 넘어 0이 아닌 플럭스를 포함한 공정의 사양을 포함할 필요가 있다. 최대화된 '엔트로피'는 당면한 문제에 적합하게 정의될 필요가 있다. 부적절한 '엔트로피'를 극대화하면 잘못된 결과가 나올 가능성이 크다. 원칙적으로 최대 엔트로피 열역학은 좁게 참조하지 않고 고전적인 열역학 엔트로피만을 가리킨다. 그것은 물리학에 적용되는 정보 엔트로피에 관한 것으로, 당면한 문제를 공식화하는 데 사용된 데이터에 분명히 의존한다. 아타드에 따르면, 비균형 열역학적으로 분석된 물리적 문제에 대해서는, 그가 제2 엔트로피라고 부르는 것을 포함하여, 물리적으로 구별되는 여러 종류의 엔트로피를 고려할 필요가 있다. Attard는 다음과 같이 쓰고 있다: "주어진 초기 매크로 상태에서 마이크로스테이트에 대한 두 번째 엔트로피를 최대화하는 것은 가장 가능성이 높은 대상 매크로스테이트를 제공한다."^[15] 물리적으로 정의된 두 번째 엔트로피도 정보적 관점에서 고려할 수 있다.

참고 항목

• 에드윈 톰슨 제인스
• 열역학 제1법칙
• 열역학 제2법칙
• 최대 엔트로피의 원리
• 최소차별정보의 원리
• 쿨백-라이블러 발산
• 양자상대 엔트로피
• 정보이론과 측량이론
• 엔트로피 전력 불평등

참조

인용 참고 문헌 목록

• Balescu, Radu (1997). Statistical Dynamics: Matter out of equilibrium. London: Imperial College Press. Bibcode:1997sdmo.book.....B.
• Jaynes, E.T. (September 1968). "Prior Probabilities" (PDF). IEEE Transactions on Systems Science and Cybernetics. SSC–4 (3): 227–241. doi:10.1109/TSSC.1968.300117.
• 구트만, Y.M. (1999년) 영국 케임브리지 대학 출판부의 통계물리학에서의 확률 개념, ISBN 978-0-521-62128-1.
• Jaynes, E.T. (1979). "Where do we stand on maximum entropy?" (PDF). In Levine, R.; Tribus M. (eds.). The Maximum Entropy Formalism. MIT Press. ISBN 978-0-262-12080-7.
• Jaynes, E.T. (1985). "Some random observations". Synthese. 63: 115–138. doi:10.1007/BF00485957. S2CID 46975520.
• Jaynes, E.T. (2003). Bretthorst, G.L. (ed.). Probability Theory: The Logic of Science. Cambridge: Cambridge University Press. ISBN 978-0-521-59271-0.
• Kleidon, Axel; Lorenz, Ralph D. (2005). Non-equilibrium thermodynamics and the production of entropy: life, earth, and beyond. Springer. pp. 42–. ISBN 978-3-540-22495-2.

추가 읽기