periperal biology study neuroscience
subjects: Neuronal dynamics
수업 들으면서 필기한 raw data
introduction
노벨상을 수상한 바로 그 Hopfiled model.
원래는 메모리 저장에 활용될 모델이었다.
population을 다루긴 하지만, 이전 주에서 배운 모델이 쓰는 population과 다르다.
spin 상태가 곧 neuron의 firing state를 의미.
association memory와 관련. 말 그대로 연상기억. 전체 정보 중 일부가 주어졌을 떄 큰 전체를 복구해 기억하는 것. 뉴런의 연결 강도가 커질 수록 일부 단서만 주어져도 전체 내용이 복구 가능하다.
ising model과 magnetism. 그 모델의 아이디어를 그대로 가져왔다. 홉필드는 원래 NMR을 이용해 단백질을 분석하는 사람이었다.
What is the association memory?
왜 최근에 있었던 일은 조금의 단서만 있어도 전말이 떠오르고,
옛날에 있었던 일은 많은 단서가 있어야 기억이 떠오르는 것인가?
컴퓨터는 연상할 때 검색 기능을 이용한다. 그러면 우리의 뇌도 똑같은 과정을 따르는가? 그렇지 않을 것이다.
10%의 영어 철자가 빠진 문장(noisy word)을 읽어도 글이 읽힌다. 뇌가 비어있는 글자를 자동으로 채우기 때문이다. 문맥이 있고 단서가 많을 수록 더 수월해진다.
Hebbian Learning
두 뉴런 사이의 지속적이고 반복적으로 firing이 일어나면, firing에 대한 가중치가 높아진다.
이런 연결이 강해지면, 여러 그룹의 neuron들이 강하게 연결되면, 일부 뉴런만 발화되어도(partial information만 주어져도) 연결된 그룹의 뉴런들이 모두 발화된다. 이것이 연상이 일어나는 순간이다.
같은 대상의 글자를 보았을 때 뉴런 발화의 패턴, 그리고 대상의 모습을 보았을 때 뉴런 발화의 패턴을 분석하면 특정 대상을 기준으로 연결된 neuron들을 알 수 있지 않을까?
example: 색깔있는 글자 읽기 실험 - stroop effect
How mathmetically interprete the association memory?
어떤 noisy한 정보와 제일로 가까운 원본 정보를 찾아라.
이미 저장된 원본 정보를 ‘prototype’라고 명명한다.
그런 ‘가깝다’, ‘similarity’를 어떻게 계산하는가?
흑백 픽셀 이미지의 경우, 픽셀이 채워진 정보를 이진화하고, 1D vector로 만들 수 있다.
그럼 noisy image의 vector와 prototype의 vector를 비교한다. 어떻게? vector distance를 계싼한다. 거리가 제일 가까운 prototype이 정답이라고 간주한다.
어떻게 자성과 연산기억을 연관지을 수 있는가?
두 개의 spin state로 설명하는 ising model. 어떻게 강자성체(ferromagnetism)는 스스로 자회되는가? 어떻게 일부 원자가 스핀이 반대 방향일 때 스스로 다수의 스핀으로 맞춰 가는가? 순전히 에너지 때문이다. ising model은 위아래 오른쪽 왼쪽 가장 근접한 원자 사이 interaction에 의한 에너지만 고려한다. 모델에 따라 대각선 원자의 영향도 넣기도 한다.
thermal fluactuation도 고려하는 게 중요하다. 홉필드 모델에서도 온도와 같은 noise facter를 고려하는가?
memory는 어떻게 저장되는가? prototype과 동일한 패턴일 때 에너지가 낮아지도록 연결 가중치를 조정한다. 모든 거리의 interaction을 모두 고려한다.
이런 방식이면 익력 픽셀이 prototype과 평행이동된 상태이면 기억을 못 할 텐데.
여러 개의 proto type을 기억하려면? 두 가지 상태에서 가중치를 모두 더한다.
이러면 기억할 수 있는 proto type 수에 한계가 있을텐데.
얼마나 많은 prototype을 계산할 수 있을까?
기억을 잘 하려면 시스템의 초기 상태가 하나의 prototype일 때, 이 상태가 시간이 지나도 유지되어야 한다. 하나의 prototype의 상태에 있을 때, 다른 prototype에 의한 가중치로 얻은 에너지로 계산한다. 지금은 최대 저장 용량을 측정하고 싶으므로, 다른 prototype에 의한 가중치의 결과가 ramdom walk라고 가정한다. 이것을 대강 neuron의 개수와 prototype의 개수가 비슷하면 된다고 한다. 우와?
memory load = prototype_number / neuron_number
두 개의 proto type이 orthogonal할 수록 더 잘 기억하고 판별한다고 한다.
반대로 저장하는 두 prototype이 비슷할 수록 효과가 떨어진다.
input의 하나의 neuron이 1혹은 0일 때 similarity가 어떻게 달라지는지 미리 계산해 둘 수 있다.
저게 무슨 뜻일까
Claude가 보강한 버전
Claude가 보강한 버전
홉필드 모델(Hopfield Model)의 기본 개념
홉필드 모델은 1982년 존 홉필드(John Hopfield)에 의해 제안된 인공 신경망 모델로, 연상 기억(associative memory)을 구현하기 위해 설계되었습니다. 홉필드는 물리학적 배경을 가진 과학자로, 원래 NMR(Nuclear Magnetic Resonance)을 이용한 단백질 분석 분야에서 활동했습니다. 그는 이징 모델(Ising Model)이라는 통계 물리학 모델에서 영감을 받아 신경망 모델을 개발했습니다.
연상 기억(Associative Memory)의 작동 원리
연상 기억이란 불완전하거나 노이즈가 있는 입력 정보를 기반으로 전체 정보를 복원하는 능력을 말합니다. 이는 인간의 기억 시스템과 유사한데, 예를 들어 친구의 얼굴 일부만 보고도 전체 얼굴을 떠올릴 수 있는 것과 같습니다.
인간의 두뇌가 단순히 컴퓨터처럼 정보를 검색하는 것이 아니라, 부분적인 단서로부터 전체 기억을 복원하는 과정은 다음과 같이 설명할 수 있습니다:
- 패턴 완성(Pattern Completion): 불완전한 입력이 주어졌을 때, 기존에 저장된 패턴 중 가장 유사한 것을 찾아 완성합니다.
- 분산 저장(Distributed Storage): 기억은 개별 뉴런이 아닌 뉴런 네트워크 전체에 분산되어 저장됩니다.
- 내용 주소화 기억(Content-Addressable Memory): 특정 주소가 아니라 내용의 일부를 통해 전체 기억에 접근합니다.
헤비안 학습(Hebbian Learning)과 신경망 연결
헤비안 학습은 “함께 발화하는 뉴런들은 서로 연결된다”(Neurons that fire together, wire together)라는 원리를 기반으로 합니다. 도널드 헤브(Donald Hebb)에 의해 제안된 이 원리는 홉필드 모델의 핵심 학습 메커니즘입니다.
두 뉴런이 반복적으로 함께 활성화될 때 이들 사이의 시냅스 연결 강도가 증가하며, 이는 수학적으로 다음과 같이 표현할 수 있습니다:
Δw_ij = η x_i x_j
여기서:
- Δw_ij는 뉴런 i와 j 사이의 연결 가중치 변화
- η는 학습률
- x_i와 x_j는 각각 뉴런 i와 j의 활성화 상태(1 또는 -1)
이 학습 규칙을 통해 신경망은 패턴을 ‘기억’하게 되고, 부분적인 패턴이 주어졌을 때 가장 가까운 저장된 패턴(prototype)으로 수렴하게 됩니다.
이징 모델(Ising Model)과 홉필드 모델의 관계
이징 모델은 강자성체(ferromagnet)의 자기적 특성을 설명하기 위한 통계 물리학 모델입니다. 이 모델에서 각 원자는 위(+1) 또는 아래(-1)를 가리키는 자기 모멘트(스핀)를 가지며, 인접한 원자들 사이의 상호작용에 의해 에너지가 결정됩니다.
홉필드 모델은 이징 모델의 개념을 신경망에 적용한 것으로, 다음과 같은 유사점이 있습니다:
- 상태 표현: 이징 모델의 스핀 상태(+1/-1)는 홉필드 모델에서 뉴런의 활성화 상태(1/0 또는 1/-1)에 대응됩니다.
- 에너지 함수: 두 모델 모두 시스템의 상태를 에너지 함수로 표현하며, 시스템은 에너지를 최소화하는 방향으로 진화합니다.
- 상호작용: 이징 모델에서는 인접 원자 간의 상호작용이, 홉필드 모델에서는 모든 뉴런 쌍 간의 가중치된 연결이 중요합니다.
홉필드 모델의 에너지 함수는 다음과 같이 정의됩니다:
E = -1/2 Σ_i Σ_j w_ij s_i s_j - Σ_i θ_i s_i
여기서:
- w_ij는 뉴런 i와 j 사이의 연결 가중치
- s_i와 s_j는 각각 뉴런 i와 j의 상태
- θ_i는 뉴런 i의 임계값(threshold)
이 에너지 함수에 따라 시스템은 에너지가 낮은 상태(저장된 패턴)로 수렴하게 됩니다.
홉필드 모델의 저장 용량과 한계
홉필드 모델에서 중요한 질문 중 하나는 “얼마나 많은 패턴을 신뢰성 있게 저장할 수 있는가?”입니다.
이론적으로, n개의 뉴런으로 구성된 홉필드 네트워크는 약 0.14n개의 패턴을 저장할 수 있다고 알려져 있습니다. 이는 memory load(= prototype_number / neuron_number)가 약 0.14일 때까지 신뢰성 있는 기억이 가능하다는 의미입니다.
이 한계를 넘어서면 다음과 같은 문제가 발생할 수 있습니다:
- 거짓 기억(Spurious Memories): 실제로 저장되지 않은 패턴이 안정 상태로 나타날 수 있습니다.
- 기억 간섭(Memory Interference): 저장된 패턴들이 서로 간섭하여 복원 능력이 저하됩니다.
또한, 저장하려는 패턴들 사이의 유사성(직교성)도 중요한 요소입니다:
- 패턴들이 서로 직교(orthogonal)할수록 저장 및 복원 효율이 높아집니다.
- 유사한 패턴들을 저장할 경우 간섭 현상이 심해져 성능이 저하됩니다.
현대적 응용과 확장
현대 신경과학과 인공지능 분야에서 홉필드 모델은 다양한 방식으로 확장되고 적용되고 있습니다:
- 연속 홉필드 네트워크(Continuous Hopfield Networks): 이산적인 상태(1/-1) 대신 연속적인 값을 갖는 모델로 확장
- 볼츠만 머신(Boltzmann Machines): 확률적 요소를 도입하여 지역 최소값(local minima) 문제를 해결
- 딥 러닝과의 연계: 최근 연구에서는 현대적인 어텐션 메커니즘(attention mechanism)이 사실상 일반화된 홉필드 네트워크로 해석될 수 있음이 밝혀졌습니다.
스트룹 효과(Stroop Effect)와의 관련성
스트룹 효과는 색상 이름이 다른 색상으로 쓰여졌을 때(예: “빨강”이라는 단어가 파란색으로 쓰여진 경우) 색상 이름을 읽는 것보다 실제 색상을 말하는 것이 더 어려운 인지적 현상입니다.
이는 연상 기억과 관련하여 다음과 같이 해석할 수 있습니다:
- 단어 읽기와 색상 인식이라는 두 가지 신경 패턴이 서로 경쟁합니다.
- 단어 읽기는 우리가 더 자주 훈련한 과정이므로, 이에 해당하는 신경 패턴이 더 강하게 활성화됩니다.
- 홉필드 모델 관점에서 보면, 에너지 경관(energy landscape)에서 단어 읽기에 해당하는 상태가 더 깊은 에너지 골짜기(energy well)를 형성하여 시스템이 해당 상태로 더 쉽게 수렴하는 것으로 볼 수 있습니다.
이처럼 스트룹 효과는 신경망에서의 패턴 경쟁과 선택적 주의 집중의 메커니즘을 보여주는 좋은 예시입니다.