Shannon Entropy and Boltzmann Entropy Decomposition

Overview

Phase space와 reduced space를 연결하는 핵심 항등식. Microcanonical ensemble의 전체 엔트로피가 거시상태 분포의 uncertainty와 각 거시상태 내부 미시상태 다양성으로 분해됨을 보인다. 이는 통계역학에서 “전체 uncertainty = 어느 거시상태? + 그 안에서 어느 미시상태?”라는 직관을 수학적으로 명확히 한다.

Notation

기호	의미
	Phase space (미시상태 공간)
	Reduced space (거시상태 공간)
	거시상태 (phase cell)
	Reduced space 위의 확률분포
	Phase space로 lift된 분포 (microcanonical)
	Liouville measure (phase space 부피 측도)
	Phase cell 의 부피

The Identity

여기서:

• : Microcanonical ensemble의 Shannon entropy (phase space)
• : Reduced state 분포의 Shannon entropy
• : Boltzmann entropy (phase cell의 크기)

Derivation

Step 1: Shannon entropy 전개

Microcanonical distribution의 정의:

Shannon entropy:

Step 2: 로그 분해

따라서:

Step 3: Phase cell별 적분 분해

Phase space는 phase cell들의 disjoint union:

첫 번째 적분항:

내부에서 은 상수이므로:

두 번째 적분항:

Step 4: 결론

식 (8)과 (10)을 (5)에 대입:

따라서:

Physical Interpretation

전체 uncertainty의 분해

각 항의 물리적 의미

좌변 :

• Microcanonical ensemble의 전체 Shannon entropy
• 에서 거시상태 분포의 uncertainty를 뺀 것
• = “거시상태를 알고 난 후 남은 uncertainty”

우변 :

• 각 거시상태 의 Boltzmann entropy (phase cell 크기의 로그)
• 거시상태 확률 로 가중평균
• = “같은 거시상태 내부 미시상태들의 다양성”의 평균

Information-theoretic perspective

이 분해는 정보이론의 chain rule과 동일한 구조:

여기서:

• = 거시상태
• = 미시상태
• = 거시상태를 알 때 미시상태의 조건부 엔트로피

Connection to Gibbs Variational Principle

이 항등식은 Gibbs entropy의 정의와도 연결됩니다:

왜냐하면:

• 주어진 거시상태 분포 에 대해
• 가능한 모든 phase space 분포 중
• Shannon entropy 를 최대화하는 것은
• Microcanonical ensemble

Example: Ideal Gas

기체 분자 개의 계:

거시상태 :

• 온도 , 압력 , 부피 로 정의

Boltzmann entropy :

• Phase cell의 크기가 에 비례

분포 :

• 예: 온도 분포가 정규분포를 따른다면
• 평균 Boltzmann entropy는 온도 분산에 의존

Questions & Insights

이 분해가 왜 중요한가?

• Phase space (미시)와 reduced space (거시)를 명확히 연결
• 열역학 제2법칙의 통계역학적 근거 제공
• Gibbs entropy production의 이해에 핵심적

평형상태에서는?

• 가 단일 거시상태에 집중:
• (uncertainty 없음)
• (순수 Boltzmann entropy)

Related Concepts

• microcanonical ensemble의 entropy
• 2025-09-05_Entropy_Misconception_Volume_vs_Microstates
• Journal reading - Time-Reversal and Entropy

References

• Maes, C., & Netočný, K. (2003). Time-Reversal and Entropy. Journal of Statistical Physics, 110(1/2), 269-310. (Equation 3.5)

Notes from Claude

이 항등식의 핵심은 “전체 uncertainty = 거시적 uncertainty + 미시적 다양성”이라는 직관을 수학적으로 정확하게 표현한다는 점입니다.

특히 microcanonical ensemble이 자연스럽게 나타나는 이유는: 거시상태 만 알고 있을 때, 미시상태에 대한 최대 엔트로피 분포 (maximum ignorance)가 바로 균등분포이기 때문입니다.

이는 정보이론의 maximum entropy principle과 완벽하게 일치하며, 왜 통계역학에서 microcanonical/canonical ensemble이 “자연스러운” 선택인지를 정당화합니다.