네트워크 엔트로피

네트워크 과학에서 네트워크 엔트로피는 랜덤성의 수준과 ^[1]그래프로 인코딩된 정보의 양을 설명하기 위해 정보 이론에서 도출된 무질서 척도이다.이는 실제 복잡한 네트워크를 정량적으로 특징짓기 위한 관련 지표로 네트워크의 복잡성을^[1]^[2] 정량화하기 위해 사용할 수도 있습니다.

제제

MDPI에 의해 발행된 저널인 엔트로피의 출판물에 따르면, 네트워크 엔트로피를 측정하는 몇 가지 공식이 있으며, 원칙적으로 그것들은 모두 인접 행렬, 정도 시퀀스, 정도 분포 또는 분기의 수와 같은 그래프의 특정 속성을 필요로 하며, 이는 엔트리의 값으로 이어질 수 있다.ropy는 선택한 네트워크 설명에 불변하지 않습니다.^[3]

도수 분포 섀넌 엔트로피

섀넌 엔트로피는 네트워크 이질성의 평균 측정값으로서 네트워크 정도 확률 분포에 대해 측정할 수 있습니다.

$({displaystyle {Mathcal {H}}=-\sum _{k=1}^{N-1}P(k)\ln {P(k)})}$

이 공식은 복잡성, 정보 내용, 원인 및 시간 정보와 관련하여 제한적으로 사용된다.알고리즘의 복잡성은 그래프나 네트워크의 일반적이거나 보편적인 속성을 특징짓는 능력이 있으며, 그래프에서 발견되는 통계적 규칙성은 컴퓨터 프로그램이 그것을 재현하는 데 유용하기 때문에 엔트로피가 낮은 그래프는 알고리즘의 복잡성이 낮다는 것이 증명되었다.단, 엔트로피가 높은 네트워크에는 알고리즘의 ^[3]복잡성에 대한 값이 있을 수 있기 때문에 같은 것을 말할 수 없습니다.

랜덤 워커 섀넌 엔트로피

이전 공식의 한계로 인해, 원래의 섀넌 엔트로피 방정식의 사용을 유지하면서 다른 접근법을 취할 수 있다.

랜덤 워커가 그래프 주위를 이동하며 $i$ 에서 $i$ 에 $j$ 한 노드 j $($ $displaystyle$ i $)$ 로 $i$ $j$ $i$ 같은 확률로 이동한다고 가정합니다.이 랜덤 워커의 동작을 나타내는 확률 $p_{ij}$ $p_{ij}$ j(\ $display p_{ij})$ 는 $p_{ij}$ 다음과 같습니다.

$p_{ij}={\begin{cases}{\frac {1}{k_{i}}},&{\text{if }}A_{ij}=1\\0,&{\text{if }}A_{ij}=0\\\end{cases}}$ $p_{ij}={\begin{cases}{\frac {1}{k_{i}}},&{\text{if }}A_{ij}=1\\0,&{\text{if }}A_{ij}=0\\\end{cases}}$ j $p_{ij}={\begin{cases}{\frac {1}{k_{i}}},&{\text{if }}A_{ij}=1\\0,&{\text{if }}A_{ij}=0\\\end{cases}}$ { $p_{ij}={\begin{cases}{\frac {1}{k_{i}}},&{\text{if }}A_{ij}=1\\0,&{\text{if }}A_{ij}=0\\\end{cases}}$ k $p_{ij}={\begin{cases}{\frac {1}{k_{i}}},&{\text{if }}A_{ij}=1\\0,&{\text{if }}A_{ij}=0\\\end{cases}}$ 、 $p_{ij}={\begin{cases}{\frac {1}{k_{i}}},&{\text{if }}A_{ij}=1\\0,&{\text{if }}A_{ij}=0\\\end{cases}}$ $p_{ij}={\begin{cases}{\frac {1}{k_{i}}},&{\text{if }}A_{ij}=1\\0,&{\text{if }}A_{ij}=0\\\end{cases}}$ $p_{ij}={\begin{cases}{\frac {1}{k_{i}}},&{\text{if }}A_{ij}=1\\0,&{\text{if }}A_{ij}=0\\\end{cases}}$ $p_{ij}={\begin{cases}{\frac {1}{k_{i}}},&{\text{if }}A_{ij}=1\\0,&{\text{if }}A_{ij}=0\\\end{cases}}$ $p_{ij}={\begin{cases}{\frac {1}{k_{i}}},&{\text{if }}A_{ij}=1\\0,&{\text{if }}A_{ij}=0\\\end{cases}}$ 、 $p_{ij}={\begin{cases}{\frac {1}{k_{i}}},&{\text{if }}A_{ij}=1\\0,&{\text{if }}A_{ij}=0\\\end{cases}}$ i $p_{ij}={\begin{cases}{\frac {1}{k_{i}}},&{\text{if }}A_{ij}=1\\0,&{\text{if }}A_{ij}=0\\\end{cases}}$ 0 、 A i j = 0 \ $display$ p _ { $ij$ } 、 { \ $frac$ { $}$ { k $p_{ij}={\begin{cases}{\frac {1}{k_{i}}},&{\text{if }}A_{ij}=1\\0,&{\text{if }}A_{ij}=0\\\end{cases}}$ _ { $if$ } = 1 \ 0 , \ $textif$ } $= 1$ \ $textif$ = { \ $j$ }

$(A_{ij})$ $(A_{ij})$ $(A_{ij})$ ) $(A_{ij})$ { $displaystyle$ ( A $_$ { $ij$ } )는 $(A_{ij})$ 그래프 인접 $k_{i}$ 이고 $k_{i}$ { $display style$ k $_$ { i $k_{i}$ }는 노드i { $displaystyle$ i $}$ 도입니다 $i$ .

이를 통해 각 ${\mathcal {S}}_{i}$ $(\$ })의 ${\mathcal {S}}_{i}$ 섀넌 엔트로피는 다음과 같이 정의할 수 있습니다.

${S}_{i}=-\sum _{j=1}^{N-1}p_{ij}\ln {p_{ij}=\ln {k_{i}}$

$max(k_{i})=N-1$ m $max(k_{i})=N-1$ ( $max(k_{i})=N-1$ i ) $max(k_{i})=N-1$ $max(k_{i})=N-1$ - $max(k_{i})=N-1$ 1 { $displaystyle$ max ( k $_$ { i ) = N - $1$ } $max(k_{i})=N-1$ 、 정규화된 노드 ${\mathcal {H}}_{i}$ ${\mathcal {H}}_{i}$ ( \ ${\mathcal {H}}_{i}$ style \ $mathcal$ { $H} _$ { $i}$ )가 ${\mathcal {H}}_{i}$ 계산됩니다.

$({displaystyle {\mathcal {H}}_{i}={\mathcal {S}}_{i}) {max({\mathcal {S}}_{i})}}=hargetfrac {ln {k_{i}}{\ln(max(k_{i}))}}=snfrac {k_{i}}{\ln(N-1)}}$

이를 통해 네트워크 전체의 정규화된^[4] 노드 엔트로피를 평균화하여 계산한 정규화된 네트워크 ${\mathcal {H}}$ H(\ $displaystyle\mathcal {H$ 가 생성됩니다.

${mathcal {H}}=mathcal {1}{N}{i}=mathcal {H}_{i}}{n(N-1)}}\sum _{i=1}^{N}\ln {k_i}}$

정규화된 네트워크 엔트로피는 ${\mathcal {H}}=1$ H $=$ ${\mathcal {H}}=1$ (\ $displaystyle {H}}=1)$ 입니다 ${\mathcal {H}}=1$ .네트워크가 완전하게 접속되어 있는 경우 네트워크는 H $=$ (\ $displaystyle$ ${H}}=0$ 이 ${\mathcal {H}}=0$ .격리 $k_{i}=0$ $k_{i}=0$ $=$ (\ $displaystyle k_{i$ }= $0})$ 에는 $k_{i}=0$ $p_{ij}$ 의 $p_{ij}$ 이 없습니다. $ystyle p_{ij}:$ 정의되어 $p_{ij}$ 있기 때문에 네트워크 엔트로피를 측정할 때는 고려되지 않습니다.이 네트워크 엔트로피의 공식은 로그 계수에 의해 허브에 대한 감도가 낮고 가중 네트워크에 ^[4]더 의미가 있습니다.따라서 최종적으로 이 측정만으로는 ^[2]스케일프리 네트워크를 구별하기 어렵습니다.

랜덤 워커 콜모고로프-시나이 엔트로피

랜덤 워커 섀넌 엔트로피의 한계는 콜모고로프-시나이 엔트로피를 사용하도록 조정함으로써 극복할 수 있다.이 맥락에서 네트워크 엔트로피는 그래프 인접행렬 $(Aij)과$ 관련된 $(A_{ij})$ 확률행렬의 엔트로피이며 랜덤 워커 섀넌 엔트로피는 네트워크의 동적 엔트로피라고 불립니다.그 바탕 위에서(A나는 j){\displaystyle(A_{ij})}의 λ{\lambda\displaystyle}가 고유치입니다. 그것은 ln⁡ λ{\ln \lambda\displaystyle}, 즉 인접 행렬 bool 독점적으로로 구성되어 있는 부담이 없는 네트워크에 대한 동적 엔트로피와 동등한 변분 주요[5]만족시킨다는 점이 입증되자.대n개의 값따라서 위상 엔트로피는 다음과 같이 정의된다.

${H}}=\ln \displayda$

이 공식은 네트워크의 견고성, 즉 임의의 구조적 변화를 견딜 수 있는 네트워크의 용량에 대한 연구에 중요합니다.견고성은 실제로 수치적으로 측정하기 어려운 반면, 엔트로피는 모든 네트워크에 대해 쉽게 계산할 수 있습니다.비정적 네트워크의 컨텍스트에서 특히 Import되는 것입니다.엔트로피 변동정리는 이 엔트로피가 견고성과 양의 상관관계를 가지며, 따라서 네트워크의 동적 또는 구조적 섭동에 대해 관측 가능한 것의 더 큰 불감도를 나타낸다.또한 고유값은 본질적으로 내부 경로의 다양성과 관련이 있으며, 위상 엔트로피와 최단 평균 경로 길이 사이에 음의 상관관계를 초래한다.^[6]

그 외에 콜모고로프 엔트로피는 암의 단계를 유전자 공발현 ^[8]네트워크와 구별하기 위해 사용된 지표인 ^[7]Ricci 곡률과 관련이 있으며, 주식 상관 네트워크와 금융 붕괴의 특징을 부여하기 위해 사용되어 왔다.

폰 노이만 엔트로피

폰 노이만 엔트로피는 양자 맥락에서 고전적인 깁스 엔트로피의 확장이다.이 엔트로피는 밀도행렬 $\rho$ 로 구성됩니다.이러한 밀도행렬에 대해 최초로 제안된 후보는 네트워크와 관련된 라플라시안행렬 L의 표현이었습니다.앙상블의 평균 폰 노이만 엔트로피는 다음과 ^[10]같이 계산됩니다.

{S}_{VN}=-\langle \mathrm {Tr} \rho \log(\rho)\rangle

랜덤 네트워크 $G(N,p)$ G $G(N,p)$ $)$ { $displaystyle$ G $(N,$ p $G(N,p)$ 의 경우 $S_{VN}$ $p(N-1)$ p $(N$ - $p(N-1)$ 1) $p(N-1)$ { $displaystyle$ $S_{VN}$ 와 $S_{VN}$ $p(N-1)$ S $(\displaystyle$ S $}$ 의 $S$ 관계는 모노토닉하지 않습니다.

표준 멱함수 네트워크 앙상블의 경우 2개의 엔트로피는 선형적으로 ^[11]관련되어 있습니다.

{S}_{VN}=\eta {S/N}+\beta

주어진 예상 정도 시퀀스를 가진 네트워크는 예상 정도 분포의 이질성이 각각 폰 노이만과 샤논 ^[12]엔트로피에 대응하는 네트워크의 양자 및 고전적인 기술 사이의 동등성을 내포하고 있음을 시사한다.

Von Neumann 엔트로피의 정의는 텐셔너리식^[13] 접근방식을 가진 다층 네트워크로 확장될 수 있으며 ^[14]구조적 관점에서 그들의 차원성을 감소시키는데 성공적으로 사용되어 왔다.

그러나, 엔트로피의 정의는 이론적으로 유지될 것으로 예상되는 하위 부가성(본 노이만 엔트로피의 하위 부가성 참조)의 특성을 만족시키지 못하는 것으로 나타났다.De Domenico와 Biamonte는^[15] 이러한 기본 특성을 만족시키는 보다 근거 있는 정의를 양자 유사 깁스 상태로 도입했다.

(\displaystyle \rho (\displaystyle )=frac {e^{-\display L}}{Z(\beta)}}

어디에

\displaystyle Z(\beta)=Tr[e^{-\beta L}}

는 파티션 함수의 역할을 하는 정규화

\beta

이며,

\beta

β {\

displaystyle\display}

는

\beta

다중 분해능 분석을 가능하게 하는 조정 가능한 파라미터입니다.β

(\displaystyle \beta)

가

\beta

시간 파라미터로 해석되는

\beta

, 이 밀도 매트릭스는 네트워크 상부의 확산 프로세스의 전파자에 정식으로 비례합니다.

이 기능은 복잡한 정보 역학의 통계 필드 이론을 구축하기 위해 사용되어 왔습니다.여기서 밀도 매트릭스는 노드 ^[16]간의 정보 흐름을 활성화하는 역할을 하는 스트림 연산자의 중첩 위치로 해석될 수 있습니다.골격은 성공적으로 현미경 중시와 거시적 scales,[17]뿐만 아니라 흐르는 정보를 withi를 통합하는 데 노드의 중요성을 평가하기 위해 후자의 감염의 체계적인 기능을 풀기 위해virus-human interactomes의 SARS-CoV-2을 포함한 단백질-단백질 상호 작용 네트워크,, 분석에 적용되어 왔다.nt네트워크와 네트워크의 ^[18]견고성에 있어서의 역할.

이 접근방식은 다층 네트워크 상단에서 랜덤 워크와 같은 다른 유형의 역학을 다루기 위해 일반화되었으며,^[19] 이러한 시스템의 구조를 변경하지 않고 그러한 시스템의 치수를 줄일 수 있는 효과적인 방법을 제공한다.고전적 및 최대 엔트로피 랜덤 워크를 모두 사용하여, 대응하는 밀도 매트릭스는 인간 뇌의 네트워크 상태를 인코딩하고 ^[20]치매의 다른 단계에서 커넥텀의 정보 용량을 여러 척도로 평가하기 위해 사용되어 왔다.

최대 엔트로피 원리

최대 엔트로피 원리는 시스템의 현재 상태를 가장 잘 나타내는 확률 분포가 섀넌 ^[21]엔트로피를 최대화하는 것임을 나타내는 변동 원리이다.이 개념은 최대 엔트로피 접근법에서 파생된 주어진 구조적 특성을 가진 랜덤 그래프의 앙상블을 생성하기 위해 사용될 수 있으며, 이는 다시 가장 가능성이 높은 네트워크 구성을 기술합니다: 최대 엔트로피 원리는 완전한 지식이 부족할 때 최대한 편향되지 않은 정보를 허용합니다(현미적 구성은 그렇지 않습니다).예를 들어 인접 매트릭스를 알 수 없습니다).한편, 이 앙상블은 네트워크의 실제 미시적 구성이 알려진 경우 null 모델로서 기능하며, 네트워크에서^[22] 발견된 경험적 패턴의 중요성을 평가할 수 있다.

복잡한 네트워크 앙상블

네트워크 엔트로피 공식을 확장하여 앙상블 엔트로피를 측정할 수 있습니다. $\Omega$ { $displaystyle$ \ Omega $}$ $G\in \Omega$ from $\Omega$ 、노드 수 $N$ { $displaystyle$ N $}$ 의 $N$ 모든 그래프 $G$ { $displaystyle$ G}의 $G$ 앙상블이라고 $P(G)$ 하면 $P(G)$ $P(G)$ ( $P(G)$ G ) { $displaystyle P($ G $P(G)$ ) }는 최대 엔트로피에서 $G\in \Omega$ G $G\in \Omega$ from from $G\in \Omega$ from from from from from $G\in \Omega$ from from from from from from from from from from $from$ from from $from$ from \ $display$ style from \ $in$ \ in \ in \ displaystyle섀넌 엔트로피를 최대화할 수 있도록 $P(G)$ G $)$ { $displaystyle P($ G)}를 $P(G)$ 달성하도록 요구됨

${H}}=-\sum _{G\in\Omega}P(G)\ln P(G)$

또한 결론을 도출하기 위해 제약을 가해야 한다.소프트 제약 조건( $전체$ $\Omega$ 에 설정된 제약 $조건)$ 은 표준 앙상블에 도달하는 반면 하드 제약 조건 $\Omega$ $각$ 그래프G에 설정된 $제약 조건$ 은 마이크로캐논컬 앙상블을 정의합니다.결국, 이러한 앙상블은 다양한 네트워크 패턴을 검증할 수 있고 제한된 지식으로부터 그래프를 재구성할 수 있는 모델로 이어지며, 로컬 제약조건에 기초한 최대 엔트로피 모델이 관측된 기능 세트의 관련성을 정량화할 수 있음을 보여주고 실시간 및 고차원 빅 데이터 스트림에서 의미 있는 정보를 추출한다.노이즈가 많은 ^[22]데이터

네트워크 앙상블의 엔트로피를 참조해 주세요.

레퍼런스

^ ^a ^b Anand, Kartik; Krioukov, Dmitri; Bianconi, Ginestra (2014). "Entropy distribution and condensation in random networks with a given degree distribution". Physical Review E. 89 (6): 062807. arXiv:1403.5884. Bibcode:2014PhRvE..89f2807A. doi:10.1103/PhysRevE.89.062807. PMID 25019833. S2CID 761765.
^ ^a ^b Freitas, Cristopher GS; Aquino, Andre LL; Ramos, Heitor S; Frery, Alejandro C; Rosso, Osvaldo A (2019). "A detailed characterization of complex networks using Information Theory". Scientific Reports. 9 (1): 16689. Bibcode:2019NatSR...916689F. doi:10.1038/s41598-019-53167-5. PMC 6853913. PMID 31723172. S2CID 207987035.
^ ^a ^b Zenil, Hector; Kiani, Narsis A; Tegnér, Jesper (2018). "A review of graph and network complexity from an algorithmic information perspective". Entropy. 20 (8): 551. Bibcode:2018Entrp..20..551Z. doi:10.3390/e20080551. PMC 7513075. PMID 33265640.
^ ^a ^b Small, Michael (2013). "Complex networks from time series: Capturing dynamics". 2013 IEEE International Symposium on Circuits and Systems: 2509–2512. doi:10.1109/ISCAS.2013.6572389. ISBN 978-1-4673-5762-3. S2CID 9275909.
^ Arnold, Ludwig; Gundlach, Volker Matthias; Demetrius, Lloyd (1994). "Evolutionary formalism for products of positive random matrices". The Annals of Applied Probability. 4 (3): 859–901. doi:10.1214/aoap/1177004975. JSTOR 2245067.
^ Demetrius, Lloyd; Manke, Thomas (2005). "Robustness and network evolution—an entropic principle". Physica A: Statistical Mechanics and Its Applications. 346 (3): 682–696. Bibcode:2005PhyA..346..682D. doi:10.1016/j.physa.2004.07.011.
^ Lott, J.; Villani, C. (2009). "Ricci curvature for metric-measure spaces via optimal transport". Annals of Mathematics. 169 (3): 903–991. arXiv:math/0412127. doi:10.4007/annals.2009.169.903. S2CID 15556613.
^ Sandhu, R.; Georgiou, T.; Reznik, E.; Zhu, L.; Kolesov, I.; Senbabaoglu, Y.; Tannenbaum, A. (2015). "Graph curvature for differentiating cancer networks". Scientific Reports. 5: 12323. Bibcode:2015NatSR...512323S. doi:10.1038/srep12323. PMC 4500997. PMID 26169480.
^ Sandhu, Romeil S; Georgiou, Tryphon T; Tannenbaum, Allen R (2016). "Ricci curvature: An economic indicator for market fragility and systemic risk". Science Advances. 2 (5): e1501495. Bibcode:2016SciA....2E1495S. doi:10.1126/sciadv.1501495. PMC 4928924. PMID 27386522.
^ Du, Wenxue; Li, Xueliang; Li, Yiyang; Severini, Simone (30 December 2010). "A note on the von Neumann entropy of random graphs". Linear Algebra and Its Applications. 433 (11): 1722–1725. doi:10.1016/j.laa.2010.06.040. ISSN 0024-3795.
^ Anand, Kartik; Bianconi, Ginestra (13 October 2009). "Entropy measures for networks: Toward an information theory of complex topologies". Physical Review E. 80 (4): 045102. arXiv:0907.1514. Bibcode:2009PhRvE..80d5102A. doi:10.1103/PhysRevE.80.045102. PMID 19905379. S2CID 27419558.
^ Anand, Kartik; Bianconi, Ginestra; Severini, Simone (18 March 2011). "Shannon and von Neumann entropy of random networks with heterogeneous expected degree". Physical Review E. 83 (3): 036109. arXiv:1011.1565. Bibcode:2011PhRvE..83c6109A. doi:10.1103/PhysRevE.83.036109. PMID 21517560. S2CID 1482301.
^ De Domenico, Manlio; Solé-Ribalta, Albert; Cozzo, Emanuele; Kivelä, Mikko; Moreno, Yamir; Porter, Mason A.; Gómez, Sergio; Arenas, Alex (4 December 2013). "Mathematical Formulation of Multilayer Networks". Physical Review X. 3 (4): 041022. arXiv:1307.4977. Bibcode:2013PhRvX...3d1022D. doi:10.1103/PhysRevX.3.041022. S2CID 16611157.
^ De Domenico, Manlio; Nicosia, Vincenzo; Arenas, Alex; Latora, Vito (23 April 2015). "Structural reducibility of multilayer networks" (PDF). Nature Communications. 6: 6864. doi:10.1038/ncomms7864.
^ De Domenico, Manlio; Biamonte, Jacob (21 December 2016). "Spectral Entropies as Information-Theoretic Tools for Complex Network Comparison". Physical Review X. 6: 041062. arXiv:1609.01214. doi:10.1103/PhysRevX.6.041062.
^ Ghavasieh, Arsham; Nicolini, Carlo; De Domenico, Manlio (10 November 2020). "Statistical physics of complex information dynamics". Physical Review E. 102: 052304. arXiv:2010.04014. doi:10.1103/PhysRevE.102.052304.
^ Ghavasieh, Arsham; Bontorin, Sebastiano; Artime, Oriol; Verstraete, Nina; De Domenico, Manlio (23 April 2021). "Multiscale statistical physics of the pan-viral interactome unravels the systemic nature of SARS-CoV-2 infections". Communications Physics. 4: 83. doi:10.1038/s42005-021-00582-8.
^ Ghavasieh, Arsham; Stella, Massimo; Biamonte, Jacob; De Domenico, Manlio (10 June 2021). "Unraveling the effects of multiscale network entanglement on empirical systems". Communications Physics. 4: 129. arXiv:2008.05368. doi:10.1038/s42005-021-00633-0.
^ Ghavasieh, Arsham; De Domenico, Manlio (13 February 2020). "Enhancing transport properties in interconnected systems without altering their structure". Physical Review Research. 2: 013155. arXiv:2001.04450. doi:10.1103/PhysRevResearch.2.013155.
^ Benigni, Barbara; Ghavasieh, Arsham; Corso, Alessandra; D'Andrea, Valeria; De Domenico, Manlio (22 June 2021). "Persistence of information flow: a multiscale characterization of human brain". Network Neuroscience: 1--34. doi:10.1162/netn_a_00203.
^ Jaynes, E. T. (1957). "Information Theory and Statistical Mechanics" (PDF). Physical Review. Series II. 106 (4): 620–630. Bibcode:1957PhRv..106..620J. doi:10.1103/PhysRev.106.620. MR 0087305.
^ ^a ^b Cimini, Giulio; Squartini, Tiziano; Saracco, Fabio; Garlaschelli, Diego; Gabrielli, Andrea; Caldarelli, Guido (2019). "The statistical physics of real-world networks". Nature Reviews Physics. 1 (1): 58–71. arXiv:1810.05095. Bibcode:2019NatRP...1...58C. doi:10.1038/s42254-018-0002-6. S2CID 52963395.