실무자라면 회의나 코드 리뷰, 채용 면접에서 "저건 완전 더닝-크루거네"라는 말을 한 번쯤 들어봤을 것이다. 능력이 부족한 사람일수록 자신을 과대평가한다는 이 심리 효과는 1999년 데이비드 더닝과 저스틴 크루거의 논문에서 처음 기술된 이래, 무능을 설명하는 만능 열쇠처럼 쓰여 왔다. 그런데 이 효과 자체가 인간 뇌의 편향이 아니라 데이터를 다루는 방식이 만들어낸 통계적 착시일 수 있다는 비판이 학계에 존재한다. 맥길대학교 과학·사회 사무국(OSS)의 한 필자는 짧은 소개 글을 쓰려다가, 원 논문에 대한 비판을 확인하는 과정에서 몇 주에 걸쳐 통계 전문가들, 그리고 더닝 본인과 직접 서신을 주고받으며 이 효과의 실체를 되짚었다.
흔히 오해되는 효과의 정의
먼저 짚어야 할 점은 이 효과가 흔히 소비되는 방식과 원래 정의가 다르다는 것이다. 더닝은 필자에게 보낸 편지에서 "이 효과는 '그들'이 아니라 '우리'에 관한 것"이라며, 애초의 교훈은 자기 자신에 대해 겸손하고 신중하라는 데 있었다고 밝혔다. 즉 '멍청한 사람이 자기가 멍청한 줄 모른다'는 이야기가 아니라, 누구든 잘 못하는 영역에서 자기 실력을 실제보다 높게 예측하는 경향을 가리킨다. 예를 들어 영문법에 약한 사람이 실제로는 15점을 받을 시험에서 60점쯤 받으리라 예상하고, 반대로 잘하는 사람은 90점을 받을 실력인데도 70점 정도로 낮춰 잡는 식의 불일치가 그 효과다. 더닝은 이것이 아예 모르는 것(uninformed)보다는 잘못 알고 있는 것(misinformed)과 더 관련이 있다고 본다. 수은의 끓는점처럼 뇌에 아예 답이 없는 경우가 아니라, 스코틀랜드의 수도를 글래스고라고 자신 있게 답하지만 실제로는 에든버러인 경우가 자신감을 잘못 끌어올린다는 것이다.
무작위 데이터가 같은 그래프를 그린다
반전은 2016년과 2017년 학술지 뉴머러시(Numeracy)에 실린 에드 누퍼 연구팀의 논문에서 나온다. 이들은 원래 이 효과를 믿고 심지어 지지했던 쪽이었지만, 컴퓨터가 생성한 무작위 데이터와 실제 과학 문해력 검사 결과를 함께 분석한 끝에, 미숙련자 대부분이 자기 무능을 모른다는 주장이 성립하지 않는다고 결론지었다. 이들의 데이터에서 그런 사례에 부합하는 사람은 5~6%에 불과했고, 오히려 전문가와 초보자 모두 비슷한 빈도로 자기 실력을 과소·과대평가했다. 다만 전문가는 그 오차 범위가 더 좁을 뿐이었다.
필자는 이를 검증하기 위해 조지메이슨대의 패트릭 매크나이트 등 부부 연구자를 끌어들였다. 원래 이 효과를 믿고 학생들에게 가르치기까지 했던 매크나이트는, 누퍼의 결과를 엑셀이 아닌 통계 언어 R로 다시 재현해 본 뒤 이것이 측정 방식이 만들어낸 인위적 산물이라는 결론에 도달했다. 핵심 논리는 이렇다. 어떤 심리 효과가 실재한다면 무작위 잡음으로는 재현될 수 없어야 한다. 동전 던지기에서 사람이 앞면을 편애한다면, 무작위로 베팅하는 컴퓨터와 비교했을 때 사람 쪽이 앞면을 더 많이 부를 것이다. 그런데 더닝-크루거 효과는 무작위 데이터가 그 유명한 그래프를 놀랄 만큼 비슷하게 그려낸다.
그래프의 함정과 측정 오차
문제의 뿌리는 그 특이한 그래프 형식에 있다. 원 실험에서 각 학생은 '스스로 예측한 점수'와 '실제 점수'라는 두 데이터를 갖는다. 더닝과 크루거는 참가자를 실제 성적 기준으로 4분위로 나눈 뒤, 각 분위별 평균 예측 점수와 평균 실제 점수를 함께 그렸다. 이렇게 그리면 하위 25%는 자기 실력을 크게 부풀리고 상위 25%는 낮춰 잡은 것처럼 보인다. 매크나이트가 자기평가와 실제 점수를 모두 난수로 채워 넣어도 두 곡선은 원 실험과 거의 똑같이 나타났다. 편향을 심는 코드는 전혀 없었는데도 말이다. 원 논문 3년 뒤 필립 애커먼 연구팀의 시뮬레이션도 유사한 결과를 냈다.
더 결정적인 지점은 측정의 불안정성이다. 자기평가는 그날의 기분이나 자신감에 따라 흔들리는, 신뢰도가 낮은 측정값이다. 통상적으로 측정 오차가 크면 실제 존재하는 효과는 실험에서 더 작게 관측되는데, 이를 '신뢰도 저하로 인한 감쇠'라 부른다. 그런데 매크나이트의 시뮬레이션에서는 측정 오차를 키울수록 이른바 더닝-크루거 효과가 오히려 더 뚜렷해졌다. 그는 "측정 오차를 늘렸더니 발견이 더 선명해지는 경우는 과학사에 단 한 건도 없다"고 못박았다. 자주 거론되는 '평균으로의 회귀' 역시 같은 대상을 시간에 걸쳐 반복 측정할 때 나타나는 현상이므로, 서로 다른 두 측정값을 비교하는 이 실험에는 적용되지 않는다는 것이 그의 지적이다.
데이터를 다루는 사람에게 남는 교훈
이 논쟁은 아직 끝나지 않았고, 앞으로도 학술지에서 더 다뤄질 것이다. 다만 실무자 관점에서 얻을 수 있는 시사점은 분명하다. 두 개의 서로 다른 측정값을 분위로 묶어 평균낸 뒤 그럴듯한 곡선이 나왔다고 해서 그것이 곧 인과나 심리적 편향의 증거가 되지는 않는다는 것이다. 지표를 구간별로 잘라 평균을 비교하는 시각화, 신뢰도가 낮은 설문·자기보고 데이터, 노이즈만으로도 만들어질 수 있는 패턴은 A/B 테스트나 사용자 조사, 성과 지표 해석에서도 흔히 마주치는 함정이다. 무작위 데이터로 같은 결과가 재현되는지 대조군을 세워 보는 습관이 통계적 착시를 걸러내는 가장 실용적인 방어선이다.
오해를 막기 위해 덧붙이자면, 이 비판이 인간의 인지가 완벽하다는 뜻은 아니다. 자기 실력을 모르는 사람도, 무지 속에서 오만한 사람도 분명히 존재한다. 다만 그것은 더닝과 크루거가 1999년에 측정한 대상이 아니었다. 과신 편향이나 '평균 이상 효과'처럼 별도로 검증된 현상은 여전히 남아 있다. 확실한 것은, 저명한 심리학 효과일수록 실재하지 않아도 실재하는 것처럼 보이기 쉽다는 사실이다. 인간의 마음은 전자나 양성자와 달리 다루는 변수가 지나치게 많기 때문이다.