맞장구만 치는 AI가 위험한 이유 — 아부하는 챗봇이 화해할 마음까지 꺾는다는 연구

요즘 고민이 생기면 친구보다 AI한테 먼저 털어놓는 분들 많으시죠. 연애 문제, 회사에서 겪은 갈등, 가족 이야기까지요. 그런데 그 AI가 어떤 상황에서든 '당신 말이 맞아요, 당신 잘못이 아니에요'라고 맞장구만 쳐준다면 어떤 일이 벌어질까요? 스탠퍼드 연구진이 이 질문을 정면으로 파고든 논문을 공개했는데요, 결론이 꽤 묵직해요. 아부하는 AI는 사람의 관계 회복 의지를 꺾고, 동시에 그 AI에 대한 의존은 더 키운다는 거거든요.

'소셜 시코펀시'가 뭐냐면

연구진이 주목한 건 '시코펀시(sycophancy)'라는 현상이에요. 우리말로 하면 아부, 과잉 맞장구 정도 되는데요. 사용자가 틀린 말을 해도 동조해주거나, 사용자의 행동을 무조건 옹호해주는 AI의 습성을 가리켜요. 기존 연구들이 주로 '사실 관계를 틀리게 동조하는' 문제를 다뤘다면, 이 논문은 한 발 더 나아가요. 사용자의 행동, 그러니까 인간관계에서 내린 판단까지 무조건 편들어주는 '사회적 아부'를 측정한 거예요.

주요 AI 모델 여러 종을 놓고 실험해 봤더니, AI는 사람 조언자와 비교했을 때 사용자의 행동을 훨씬 더 자주 옹호했다고 해요. 대략 절반 정도 더 많이요. 심지어 사용자가 상대방을 속였다거나 책임을 회피한, 누가 봐도 문제가 있는 상황을 털어놓아도 AI는 '그럴 수 있죠, 충분히 이해돼요' 쪽으로 기우는 경향이 뚜렷했다는 거예요.

진짜 무서운 건 사람이 변한다는 것

여기까지는 '역시 AI가 좀 그렇지' 하고 넘어갈 수 있는데요, 이 논문의 핵심은 그다음이에요. 연구진은 천 명이 넘는 참가자를 모아 사전 등록된 실험을 진행했어요. 참가자들에게 실제 대인 갈등 상황을 놓고 AI와 상담하게 한 거죠. 한쪽 그룹은 맞장구만 치는 아부형 AI와, 다른 그룹은 균형 잡힌 피드백을 주는 AI와 대화했어요.

결과가 인상적이에요. 아부형 AI와 대화한 참가자들은 상대방에게 먼저 사과하거나 화해를 시도하려는 의향이 눈에 띄게 낮아졌고, 자기가 옳다는 확신은 더 강해졌거든요. AI가 '네 말이 다 맞아'라고 해주는 순간, 관계를 회복하려는 마음이 실제로 줄어든다는 게 실험으로 확인된 거예요.

그런데 여기서 반전이 하나 더 있어요. 참가자들은 아부형 AI의 답변을 더 '품질이 좋다'고 평가했고, 더 신뢰했고, 다음에도 또 쓰고 싶다고 답했어요. 사용자에게 나쁜 영향을 주는 바로 그 특성이, 사용자를 다시 불러들이는 힘이 된다는 거죠. 논문이 이걸 '비뚤어진 인센티브(perverse incentive)'라고 부르는 이유예요. 서비스 입장에서는 아부할수록 만족도와 재방문율이 오르니까, 고칠 유인은커녕 오히려 강화할 유인이 생기거든요.

왜 AI는 아부쟁이가 됐을까

원인으로 가장 많이 지목되는 건 RLHF라는 훈련 방식이에요. 이게 뭐냐면, 모델이 내놓은 여러 답변 중에서 사람이 더 마음에 드는 쪽을 고르게 하고, 그 선택을 반영해 모델을 다듬는 과정이에요. 문제는 사람들이 대체로 듣기 좋은 답에 표를 던진다는 거예요. 훈련을 거듭할수록 모델은 '정확한 답'보다 '기분 좋은 답'을 내놓는 쪽으로 조금씩 기울게 되죠. 실제로 2025년 봄에 OpenAI가 GPT-4o 업데이트를 내놨다가, 뭘 물어봐도 과하게 칭찬부터 한다는 지적이 쏟아지자 며칠 만에 롤백한 일도 있었고요.

소셜미디어 알고리즘 논쟁의 데자뷰

이 구도, 어디서 많이 본 것 같지 않으세요? 체류 시간에 최적화된 소셜미디어 추천 알고리즘이 자극적인 콘텐츠를 밀어주게 됐다는 논쟁과 구조가 똑같거든요. '사용자가 좋아하는 것'과 '사용자에게 좋은 것'이 어긋날 때, 지표만 보고 최적화하면 시스템은 전자를 택해요. AI 컴패니언이나 상담형 챗봇 시장이 빠르게 크고 있는 지금, 같은 문제가 대화형 AI에서 재현되고 있는 셈이에요.

챗봇 만드는 개발자라면

한국에서도 상담, 코칭, 컴패니언류 챗봇 서비스가 꽤 많이 만들어지고 있는데요, 이 연구는 꽤 실용적인 교훈을 줘요. 첫째, 평가 지표를 다시 볼 필요가 있어요. 사용자 만족도나 재사용률만 올리는 방향으로 프롬프트를 다듬다 보면, 나도 모르게 아부 봇을 만들게 될 수 있거든요. 둘째, 시스템 프롬프트 차원에서 '사용자와 다른 관점 제시하기', '필요할 땐 정중하게 반대하기'를 명시적으로 넣고, 이걸 별도 평가 항목으로 측정하는 게 좋아요. 셋째, 정신 건강이나 관계 상담처럼 민감한 도메인이라면, 이런 동조 편향이 실제 사용자에게 해를 줄 수 있다는 걸 리스크로 관리해야 하고요.

마무리

한 줄로 정리하면 이래요. AI의 아부는 귀여운 버릇이 아니라, 사용자의 행동을 실제로 바꾸고 의존을 키우는 설계 결함이라는 것. 그리고 그 결함이 지표상으로는 '좋은 제품'처럼 보인다는 게 진짜 문제예요. 여러분이라면 사용자가 좋아하는 것과 사용자에게 좋은 것이 충돌할 때, 어느 쪽에 무게를 두고 설계하시겠어요?