약국에 AI를 도입했더니 벌어진 일 — 효율 대신 돌아온 지연과 오정보

미국 버몬트주의 한 약국 체인이 업무 효율을 높이겠다며 AI를 도입했는데요. 현지 언론 VTDigger의 보도에 따르면 결과는 기대와 정반대였어요. 처방 처리는 오히려 지연되고, 환자들에게 잘못된 정보가 안내되고, 개인정보가 어떻게 다뤄지는지에 대한 불안까지 커졌다는 거예요. “AI 넣었더니 망했다더라”로 웃고 넘기기엔, 이 사례에는 AI를 실무에 도입하려는 모든 팀이 곱씹어볼 지점이 담겨 있어요.

왜 하필 약국이었을까

약국은 사실 자동화하고 싶은 유혹이 아주 큰 곳이에요. 업무의 상당 부분이 반복적이거든요. 처방전 접수받고, 리필(같은 약 재조제) 요청 전화 받고, 보험 처리하고, 재고 확인하고, 복약 안내하고. 특히 미국 약국은 만성적인 약사 인력 부족에 시달리고 있어서, “전화 응대만이라도 AI가 받아주면 약사가 조제에 집중할 수 있다”는 논리가 경영진에게 매력적으로 들릴 수밖에 없어요. 그래서 요즘 미국에선 약국뿐 아니라 병원 예약, 보험 상담 같은 헬스케어 전반에 음성 AI와 챗봇이 빠르게 들어가고 있는데요. 문제는 약국이 동시에 오류 비용이 가장 큰 도메인 중 하나라는 거예요. 쇼핑몰 챗봇이 배송일을 잘못 안내하면 짜증으로 끝나지만, 약국에서 복용법이나 약 이름이 잘못 전달되면 사람 건강이 걸린 문제가 되거든요.

무엇이 어긋났나

보도에서 지적된 문제는 세 갈래예요. 지연, 오정보, 개인정보. 이 셋은 사실 지금 세대 AI의 약점과 정확히 겹쳐요.

먼저 오정보부터 볼게요. 대형 언어 모델(LLM)에는 환각(hallucination)이라는 고질병이 있는데요. 이게 뭐냐면, 모델이 모르는 내용도 아주 그럴듯한 말투로 지어내는 현상이에요. 모델은 “확률적으로 자연스러운 다음 단어”를 만들 뿐이라 자기가 틀렸다는 걸 스스로 모르거든요. 일반 상담이라면 어색한 답변으로 끝나지만, 약 이름처럼 비슷비슷한 단어가 많은 도메인에서는 음성 인식 단계부터 위험해요. 발음이 유사한 약 이름이 정말 많아서, 사람 약사도 헷갈릴까 봐 이중 확인 절차를 두는 영역이거든요.

지연은 좀 역설적인데요. 효율 때문에 넣은 AI가 왜 일을 늦출까요? AI가 잘못 접수한 요청을 사람이 다시 확인하고 되돌리는 비용이 생기기 때문이에요. 게다가 이런 도입은 보통 인력 절감과 함께 추진되다 보니, 오류를 잡아줄 사람은 줄어든 상태에서 오류는 늘어나는 최악의 조합이 만들어지기 쉬워요.

개인정보는 구조적인 문제예요. 처방 기록은 가장 민감한 개인정보에 속하는데, AI 응대 시스템은 대부분 외부 업체의 클라우드로 통화 내용과 환자 정보를 보내서 처리하거든요. 환자 입장에선 내 복약 이력이 어느 서버로 가서 어떻게 저장되는지 알 길이 없고, 미국에는 HIPAA라는 의료정보보호법이 있어서 이게 곧바로 법적 리스크로 이어져요.

업계 흐름 속에서 보면

이런 사례가 처음은 아니에요. 2024년에 에어캐나다 챗봇이 환불 규정을 잘못 안내했다가 법원이 “챗봇의 답변도 회사 책임”이라고 판결한 사건이 있었고요. AI 상담원으로 대대적인 인력 대체를 했다가 품질 문제로 사람 상담원을 다시 늘리는 쪽으로 방향을 튼 회사도 나왔어요. 그래서 업계의 논의도 “AI를 쓸까 말까”에서 “어디까지 맡기고 어디부터 사람이 봐야 하나”로 옮겨가는 중이에요. EU의 AI 법(AI Act)이 의료 관련 AI를 고위험군으로 분류해 더 엄격한 요건을 거는 것도 같은 맥락이고요.

한국 개발자에게 주는 시사점

한국도 비대면 진료, 약 배송, 병원 예약 챗봇 같은 서비스가 늘고 있어서 남 얘기가 아니에요. 오류 비용이 큰 도메인에 LLM을 넣는다면 최소한 이 네 가지는 설계 단계에서 챙기는 게 좋아요. 첫째, 사람 검증 단계(human-in-the-loop). AI는 초안만 만들고 확정은 사람이 하게 하는 거예요. 둘째, 폴백 설계. 모델이 확신하지 못하거나 민감한 주제가 나오면 바로 사람에게 넘기는 경로를 처음부터 만들어두는 거고요. 셋째, 데이터 경계. 민감 정보가 외부 API로 나가는지, 나간다면 어떤 계약과 암호화가 걸려 있는지 명확히 해야 해요. 넷째, 감사 로그. 문제가 터졌을 때 AI가 뭐라고 답했는지 추적할 수 없으면 개선도 책임 소명도 불가능하거든요.