사람은 왜 확률적으로 비합리적인 판단을 하는가 - 베이즈 정리 기반 해설과 진화생물학적 고찰
서론
발달 심리학에 따르면, 나이가 들어감에 따라 인지 지각 능력은 인간이 현실을 정확하게 파악할 수 있도록 발달한다. 예를 들어, 유아는 물체가 시야에서 안 보여도 사라진 게 아니라는 ‘대상 영속성’ 개념을 감각 운동기에 터득한다. 어린이는 모양이 다른 그릇에 액체를 부어도 부피가 달라지지 않는다는 ‘보존 개념’을 구체적 조작기에 습득한다. 더 나아가 형식적 조작기에 도달한 청소년 및 성인은 추상적 사고와 논리적 추론이 가능해지면서 현실을 더욱 정확하게 이해할 수 있게 된다.
하지만 인지 발달이 완성된 이후에도, 인간이 체계적으로 오류를 범하는 영역이 있다. 바로 확률에 관한 판단이다. 발달 과정이 모두 끝난 성인조차도, 별도의 교육을 받지 않는 한 확률과 관련한 문제에서는 직관이 만드는 오류에 빠지기 쉽다. 예를 들어, 동전 던지기 내기를 할 때 “지금까지 5번이나 뒷면이 나왔으니, 이제 앞면이 나올 때가 되었다”라고 생각한다. 그러나 이것은 틀렸다. 동전은 기억이 없으며, 앞면이나 뒷면이 나올 확률은 언제나 50%로 동일하다. 조금만 논리적으로 생각하면 모순인 예상을, 성인은 직관적으로 하게 된다.
앞선 동전 던지기의 사례처럼, “연속으로 기대한 결과가 안 나오면 그 다음에는 기대한 결과가 나올 것”이라고 생각하는 오류를 ‘도박사의 오류’라고 부른다. 도박사의 오류는 그나마 벗어나기 쉬운 문제이다. 이것 이외에도, 직관이 실제 확률과 맞지 않아 모순처럼 보이는 확률 판단의 인지 편향 현상이 여럿 존재한다.
본 보고서에서는 확률 판단의 인지 편향 현상의 원인인 ‘휴리스틱(heuristic)‘을 소개하고, 이것이 어떻게 오류를 만드는지 확인한다. 더 나아가, 휴리스틱이 생기는 원인을 확률 이론 중 하나인 베이즈 이론(Bayesian theory)을 통해 해설한다. 또한 진화 심리학적 관점에서, 왜 인간이 정확한 확률 연산을 하는 것 대신에 오류가 많은 휴리스틱을 사용하는지 설명한다.
확률 판단의 인지 편향을 정확하게 이해해야 하는 이유는 더 합리적인 판단을 하기 위해서이다. 이러한 편향은 일반인에게는 잘못된 판단으로 이끌며, 나아가 사회적인 오류로 이어질 수 있다. 필자와 같은 과학자에게는 가설을 설정하고, 실험 데이터를 통계적으로 분석하고, 결론을 이끌어낼 때 인지 편향에 빠질 위험이 있다. 확률 판단의 인지 편향이라는 뇌에 내재된 오류를 알아야 의식적으로 같은 실수를 하지 않을 수 있다. 어떤 판단에 직관에 의존해도 되는지, 어떤 경우는 수학을 동원하여 합리적으로 판단해야 하는지 알 수 있게 된다.
배경 이론 - 베이즈 이론
베이즈 이론은 단 하나의 사건이 아닌, 여러 개의 사건의 확률적 연관성을 파악할 때 쓰인다. ‘아침에 하늘이 흐리다’라는 사건 C와 ‘오후에 비가 온다’라는 사건 R을 예시로 들어 베이즈 이론을 간략하게 설명해 본다.
아침에 집을 나서기 전 우산을 가지고 나갈지 말지 판단하고 싶다면, 이 두 사건이 확률적으로 어떤 관계를 가지는지 확률적 모델을 세우는 게 용이할 것이다. 비록 정확한 베이즈 이론의 수식을 사용하고 있진 않지만, 인간은 직관적으로 두 가지 사건 사이 확률적 연관을 파악해서 세상에 대한 ‘시뮬레이션 모델’을 만든다. 누구나 다 맑은 하늘보다 흐린 하늘을 볼 때 더 우산을 챙기고 싶어 한다.
확률 모델을 만들기 위한 가장 기본 작업은 데이터를 만드는 것이다. 가령, 1년 동안 매일 아침에 하늘이 흐린지 확인하고, 오후에 비가 내리는지 확인한 뒤 기록하는 것이다. 이 기록을 통해서 다음 사건들이 일어난 날이 며칠이었는지 세어볼 수 있다.
- 아침에 하늘이 흐렸던 날의 수. 이것을 N(C)라고 표기하자.
- 오후에 비가 내렸던 날의 수. 이것을 N(R)이라고 표기하자.
- 아침에 하늘이 흐리면서 동시에 오후에 비가 내렸던 날의 수, 즉 사건 C와 사건 R이 함께 관찰된 경우의 횟수다. 이 수를 N(C∩R)이라고 표기하자.
이 값들을 관측을 시도한 날의 수(1년이니까 365일)로 나눈다면, 세 가지 사건(C, R, 그리고 C∩R)에 대한 확률을 구할 수 있다.
- 아침에 하늘이 흐릴 확률. 이것을 P(C)라고 표기하자.
- 오후에 비가 내릴 확률. 이것을 P(R)이라고 표기하자.
- 아침에 하늘이 흐리면서 동시에 오후에 비가 내리는 확률. 이것을 P(C∩R)이라고 표기하자.
이 세 확률은 물론 중요하긴 하지만, 우리에게 정말 필요한 정보는 따로 있다.
P(C∩R)은 무작위로 선택한 날에 두 사건이 함께 관찰될 확률이다. 즉, 1년 365일 중 임의의 날을 골랐을 때, 그날 아침에 하늘이 흐리면서 동시에 오후에 비가 올 확률을 의미한다. 이렇게 두 사건이 동시에 일어나는 확률을 중복 확률이라고 부른다.
하지만 우산을 꺼낼지 말지를 결정할 때 필요한 정보는 다르다. ‘아침에 이미 하늘이 흐린 상황’에서, 오후에 비가 올 확률을 알고 싶은 것이다. 이렇게 특정 사건이 이미 일어났다는 조건 하에서 다른 사건이 일어날 확률을 조건부 확률(conditional probability)이라고 부른다. 사건 C가 일어났을 때 R이 일어날 조건부 확률을 P(R|C)라고 표기하자.
중복 확률과 조건부 확률의 차이는 이것이다. 중복 확률 P(C∩R)은 ‘무작위 날짜에 아침 흐리면서 오후 비도 올 확률’이고, 조건부 확률 P(R|C)은 ‘아침에 하늘이 흐린 어느 날에, 오후에 비가 올 확률’이다. 놀랍게도 이 조건부 확률은 다음 수식을 통해 P(C), P(R), P(C∩R)로부터 구할 수 있다. 정의에 따라, 아침에 하늘이 흐리면서 동시에 오후에 비가 내렸던 날의 수를 아침에 하늘이 흐렸던 날의 수로 나누면 조건부 확률 P(R|C)이 나온다.
반대로 ‘오후에 비가 내리고 있는데, 아침에 흐렸을 확률’을 궁금해할 수도 있다. 이것을 P(C|R)이라고 표기하자. 베이즈 정리에 의하면 P(C|R)과 P(R|C)는 다음 수식의 관계를 가진다.
이것이 바로 베이즈 정리의 핵심이다.
진화심리학
생물이 가지는 유전자와 형질은 자연 선택에 의해 변화한다. 뇌 또한 기본 골조는 유전자에 의해 결정되므로, 뇌의 특성과 심리 또한 자연 선택될 수 있다. 이런 진화론적 맥락에서 심리 현상을 설명하는 접근법이 바로 진화 심리학이다.
진화론과 관련되어 주로 제기되는 의문은 이것이다. “진화는 생존 확률을 극대화하기 위해 일어난다. 그러면 왜 아직까지 진화의 결과로 불사이고, 막강하고, 최고의 지능을 가진 생명체가 나타나지 않았나? 왜 아직 생명체에게는 미흡한 구석이 있는가? 왜 진화를 거쳤어도 인간의 지능에는 한계가 있는가?” 그리고 보고서의 주제와 관련하여, 이 의문은 “왜 진화는 인간이 확률 연산을 정확하게 하는 방향으로 이어지지 않았나?”로 이어진다.
이런 질문이 생기는 원인은 ‘진화는 의도를 가진 과정’이라는 오해이다. 진화는 최강의 생명체를 만드는 ‘목적’을 가지지 않는다. 진화는 과정이다. 생존에 유리한 유전자를 가진 부모가 더 많은 자손을 남기고, 그 자손은 부모로부터 유전자를 물려받는다. 따라서 ‘생존에 유리한’ 형질을 가진 자손은 자연 선택의 ‘결과’일 뿐이다. 그리고 이 ‘생존에 유리하다’라는 특성은 절대적이지 않고, 주변 환경에 상대적이다. 진화는 ‘최적화’가 아니라 ‘충분히 좋은 것’을 선택하는 과정이다. 완벽한 형질보다는, 주어진 환경에서 생존과 번식에 충분한 형질이 선택된다.
더 나아가, 생물학적 형질은 서로 trade-off 관계에 있는 경우가 많다. 예를 들어, 뇌의 크기를 키우면 더 높은 인지 능력을 얻을 수 있지만, 그만큼 많은 에너지를 소비해야 하고, 커진 두개골 때문에 출산 시 위험도 증가한다. 마찬가지로 인지 과정에서도 정확성과 속도 사이에 trade-off가 존재한다. 완벽하게 정확한 확률 연산은 많은 시간과 인지 자원을 요구하지만, 빠른 직관적 판단은 불완전하더라도 생존에 필요한 즉각적 반응을 가능하게 한다.
“왜 진화는 인간이 확률 연산을 정확하게 하는 방향으로 이어지지 않았나?”라는 질문에 답하자면, 확률을 정확하게 연산하지 않는 것이 어쩌면 생존 확률을 더 높였을 수도 있다는 가설을 제시할 수 있다. 정확한 확률 계산보다는 빠르고 효율적인 휴리스틱을 사용하는 것이, 인류의 진화 환경에서는 더 적응적이었을 가능성이 있다. 이하에서는 이 가설을 뒷받침하는 근거를 살펴보고자 한다.
대표성 휴리스틱 - 왜 우리는 단서만 보면 추론하고 싶어 안달인가?
휴리스틱(heuristic)은 복잡한 문제를 빠르게 해결하기 위해 사용하는 직관적인 판단 전략이다. 정확한 계산 대신 경험에 기반한 직관으로 작동하기 때문에, 빠르고 연산 측면에서 효율적이지만 때로는 오류를 일으킬 수 있다. 대표성 휴리스틱(representativeness heuristic)은 어떤 대상이나 사건이 특정 범주에 속할 확률을 판단할 때 그것이 해당 범주의 전형적인 특성을 얼마나 닮았는지에 따라 판단하는 경향이다.
대표성 휴리스틱을 잘 보여주는 예시가 린다 문제(Linda problem)이다. 린다 문제를 변형한 실험을 하나 소개한다. 피험자는 ‘스티브’라는 인물에 대해 다음과 같은 설명을 듣는다.
“스티브는 정말 수줍고 내향적인 인물이다. 곤란한 사람에게 도움을 주기를 꺼리진 않지만, 대체로 타인에게 관심이 적고, 세상의 현실적인 측면에도 별 관심이 없다. 온순하고 점잖은 성품을 가졌다. 시스템을 구조화하고 모든 세부 사항을 정리하는 데에 여념이 없다.”
그리고 피험자는 스티브가 농부, 판매원, 파일럿, 사서, 물리학자 등 특정 직군에 종사할 확률을 매겼다.
스티브의 특성은 사서에 대한 고정 관념과 가깝다. 그러므로 대표성 휴리스틱에 따르면, 스티브를 사서일 거라고 직관적으로 판단할 수 있다. 실제로 피험자들은 스티브가 농부일 확률보다 사서일 확률이 높다고 판단했다.
이 판단이 왜 확률적으로 잘못되었을까? 바로 전체 인구에서 사서의 수보다 농부의 수가 압도적으로 많다는 사실을 무시했기 때문이다. 베이즈 이론으로 접근하자면, 스티브가 사서일 확률과 농부일 확률은 조건부 확률로 판단해야 한다.
- 어떤 사람이 스티브와 비슷하게 수줍고 내향적인 성격인 사건을 S라고 하자.
- 어떤 사람이 사서일 확률을 L이라고 하자.
- 어떤 사람이 농부일 확률을 F라고 하자.
그러면 ‘수줍은 사람이 사서일 확률 P(L|S)‘과 ‘수줍은 사람이 농부일 확률 P(F|S)‘를 비교해서 큰 쪽을 선택해야 한다. 합리적인 가정을 통해 이 확률들을 추정해 보자.
- 미국 전체 인구 중 30%의 사람이 수줍은 성격을 가진다고 가정하자. P(S) = 0.3
- 미국 전체 인구 중 2%의 사람이 농부라고 가정하자. P(F) = 0.02
- 미국에는 사서가 농부보다 10배 적다고 가정하자. 고로 0.2%의 인구가 사서다. P(L) = 0.002
- 고정 관념에 따라, 사서인 사람이 수줍은 사람일 조건부 확률은 80%로 아주 높다고 가정하자. P(S|L) = 0.8
- 농부와 수줍은 성격 사이의 상관성은 적어서, 농부인 사람이 수줍은 성격인 확률은 전체 인구에서 수줍은 성격의 비율과 같다고 가정하자. P(S|F) = P(S) = 0.3
이 가정을 기반으로 ‘수줍은 사람이 사서일 확률 P(L|S)‘과 ‘수줍은 사람이 농부일 확률 P(F|S)‘를 구할 수 있다.
수줍은 사람인 스티브가 사서일 확률은 0.5% 남짓이다.
반대로 스티브가 농부일 확률은 2%이다.
결과적으로 스티브가 농부일 확률은 사서일 확률보다 4배 높다.
이러한 수학적 계산에도 불구하고, 수줍은 사람이면 농부이기보다 사서일 것만 같다는 느낌을 지울 수 없다. 왜 직관은 이렇게 외치는 것일까? 아래는 베이즈 이론과 진화심리학을 근거로 한 여러 설명이다.
첫 번째 설명은 사람들이 ‘수줍은 사람이 사서일 확률 P(L|S)‘과 ‘사서가 수줍은 사람일 확률 P(S|L)‘을 혼동한다는 것이다. 이 두 조건부 확률은 분명히 다르지만, 직관적으로는 같은 것처럼 느껴진다. 이러한 혼동이 일어나는 이유를 베이즈 정리로 살펴보자. 수식
에 따르면,
흥미롭게도, 이 실험과 비슷한 후속 실험에 따르면 인물의 성격 정보가 주어지지 않은 경우 피험자들은 각 직업군의 비율을 고려한 합리적인 판단을 했다고 한다. 이는 인간이 평소에는 기저율을 잘 고려하다가, 대표성을 띤 구체적인 단서(스티브의 성격)가 추가되는 순간 기저율 정보를 무시하기 시작한다는 것을 보여준다. 왜 인간은 새로운 단서를 얻으면 기존의 통계적 정보를 제쳐두고 그 단서에만 집중하려는 것일까?
두 번째 설명은 사람들이 단서로 인한 확률의 증가폭과 실제 확률값 자체를 혼동한다는 것이다.
먼저 ‘단서로 인한 확률의 증가폭’이 무엇인지 살펴보자. 스티브의 성격이라는 단서가 없을 때, 무작위로 선택한 사람이 사서일 확률은 단순히 전체 인구에서 사서의 비율인 P(L) = 0.002이다. 그런데 “스티브는 수줍고 내향적이다”라는 단서가 주어지면, 스티브가 사서일 확률 P(L|S) = 0.0053으로 증가한다. 즉, 확률이 0.002에서 0.0053으로 약 2.65배 증가한 것이다. 이러한 증가는 계산 없이 직관적으로도 느낄 수 있다. 아무래도 단서가 없을 때보다는 있는 게 추론을 용이하게 만든다는 느낌이 들기 때문이다.
반면 스티브가 농부일 확률은 어떨까? 단서가 없을 때 P(F) = 0.02였고, 단서가 있을 때 P(F|S) = 0.02로 변화가 없다. 농부와 수줍은 성격 사이에는 연관이 없어 보이기 때문이다. 즉, 수줍은 성격이라는 단서가 농부일 확률을 높이지 못한다. 농부의 경우 확률 증가가 없는 반면(1배 유지), 사서의 경우 확률이 2.65배 증가한다.
사람들은 이러한 확률의 증가폭에 주목하여, “단서가 사서일 확률을 크게 높였으니, 스티브는 사서일 것이다”라고 직관적으로 판단한다. 그러나 중요한 것은 증가폭이 아니라 증가한 후의 실제 확률값이다. 사서일 확률이 2.65배 증가했어도 여전히 0.5%에 불과한 반면, 농부일 확률은 변화가 없지만 2%로 훨씬 높다. 결국 사람들은 “얼마나 증가했는가”에 현혹되어 “실제로 얼마나 되는가”를 놓치는 것이다.
진화 심리학적 해설 - 작은 단서에도 호들갑떠는 게 생존 확률이 높다
그러면 왜 우리는 단서가 주어질 때, 기저율을 잊고 단서로 인한 확률 변화량에 집중하는 것일까? 필자는 이러한 특성이 생존 확률을 높여서 자연선택된 결과라고 조심스럽게 주장한다.
우리의 조상이 숲으로 식량을 채집하러 간 상황을 가정하자. 저 멀리 풀숲에서 어떤 기척이 보인다. 이곳은 가끔 호랑이가 나타나는 곳이다. 저곳에 호랑이가 있는 걸까? 아니면 토끼나 바람이 흔든 것인가?
- 풀숲이 흔들리는 사건을 B라고 두자.
- 호랑이가 출몰한 사건을 T라고 두자.
- 풀숲이 흔들리면 호랑이가 나타날 확률은 5%이다. P(T|B) = 0.05
- 호랑이가 나타날 확률은 1%이다. P(T) = 0.01
조상들은 머리로는 안다. 풀숲이 흔들릴 때, 95%의 확률로 호랑이가 아니라 다른 소동물의 탓이라는 것을. 그러나 풀숲이 안 흔들릴 때보다는 흔들릴 때 호랑이가 나타날 확률이 더 높아진 건 사실이다. 풀숲이 흔들리는 순간 호랑이보다 소동물이 많다는 기저율을 잊고, 흔들리는 풀숲(단서)에만 집중해서 확률적 판단 오류를 만든 뒤, 줄행랑을 치던 자가 바로 우리의 조상일 것이다.
왜냐하면 합리적으로 생각하고 ‘호랑이가 아닐 확률이 더 높아~‘라고 태연하게 도망치지 않은 자는 먹혀 죽을 확률이 높기 때문이다. 한 번 풀숲이 흔들릴 때 호랑이가 나타날 확률은 5%로 미미하여 생존 확률이 95%가 되지만, 만약 이러한 상황이 반복된다면 이야기가 달라진다. 이런 무시를 풀숲이 5번 흔들리는 동안 연속으로 하면 생존률이 77%로 떨어지고, 10번이나 무시하면 60%가 된다. 매번 번거롭더라도, 작은 단서에도 민감하게 반응하여 항상 도망치는 자가 결국 살아남는다.
결론
본 보고서에서는 확률 판단의 인지 편향, 특히 대표성 휴리스틱이 어떻게 체계적인 오류를 만드는지 살펴보았다. 스티브 사례를 통해 사람들이 기저율을 무시하고 대표성이라는 단서에만 집중하는 경향을 확인했다. 베이즈 이론으로 분석한 결과, 이러한 오류는 조건부 확률의 혼동과 확률 증가폭에 대한 과도한 주목에서 비롯됨을 알 수 있었다.
진화심리학적 관점에서 보면, 이러한 편향은 결함이 아니라 생존 전략의 산물이다. 작은 단서에도 민감하게 반응하는 것이 불확실한 환경에서 생존 확률을 높였기 때문이다. 정확한 확률 계산보다는 빠른 직관적 판단이 우리 조상에게는 더 적응적이었다.
그러나 현대 사회에서는 이러한 편향이 잘못된 의사결정으로 이어질 수 있다. 과학 연구에서 데이터를 해석하거나 일상에서 중요한 판단을 내릴 때, 우리는 의식적으로 기저율을 고려하고 직관을 경계해야 한다. 뇌에 내재된 이러한 편향을 이해하는 것이 바로 더 합리적인 사고로 나아가는 첫걸음이다.