AI 할루시네이션, 그게 뭔데 — 챗봇이 '없는 판례'를 지어내는 이유

 

이게 뭔데 — 변호사가 낸 판례 6개가 전부 가짜였다

2023년 뉴욕. 로베르토 마타라는 승객이 비행 중 기내 카트에 무릎을 치였다며 항공사 아비앙카를 상대로 소송을 냈다. 원고 측 변호사 스티븐 슈워츠는 상대 주장을 반박하려고 판례 여섯 건을 인용한 서면을 법원에 냈다. 문제는 그 여섯 건이 전부 이 세상에 없는 판례였다는 것. ChatGPT가 만들어낸 가짜였다.

더 웃픈 건 그다음이다. 슈워츠는 불안했는지 ChatGPT한테 되물었다. "이 판례 진짜 맞아?" 챗봇은 자신 있게 "네, 실제 판례입니다"라고 답했다. 그 대답도 물론 거짓이었다.

담당 판사 P. 케빈 카스텔은 그 서면을 "횡설수설(gibberish)"이라 부르며, 2023년 6월 변호사들에게 5,000달러 벌금을 매겼다. (사건: Mata v. Avianca, 미국 뉴욕 남부연방지법)

이게 바로 할루시네이션(hallucination), 우리말로 'AI 환각'이다. AI가 있지도 않은 사실을 그럴듯하게, 그것도 아주 자신 있게 지어내는 현상. 여기서 짚고 갈 포인트 하나. 이건 AI가 당신을 속이려는 '거짓말'이 아니다. OpenAI의 표현을 빌리면 할루시네이션은 "그럴듯하지만 틀린 말"일 뿐, 기만할 의도가 없다. 그냥 모른다고 안 하고 찍은 거다.

근데 왜 자꾸 지어내는데 — '모른다'를 못 하는 기계

AI가 왜 이렇게 뻔뻔하게 지어내는지 이해하려면, 얘가 애초에 뭘 하는 물건인지 봐야 한다. ChatGPT 같은 대형언어모델(사람 말투를 학습한 AI, 흔히 LLM)이 하는 일은 딱 하나다. '앞 문장 다음에 올 가장 그럴듯한 단어'를 확률로 계속 찍는 것. 진실을 아는 기계가 아니라 그럴듯함을 만드는 기계다.

그래서 아는 걸 물으면 맞는 말이 제일 그럴듯하니 맞게 답하고, 모르는 걸 물어도 여전히 '그럴듯한 말'을 뱉는다. 빈칸으로 두는 법을 안 배웠으니까.

OpenAI가 2025년 공개한 논문(2026년 네이처 게재)이 이걸 시험 비유로 딱 짚는다. 어려운 시험에서 모르는 문제를 만난 학생을 떠올려보자. 빈칸으로 내면 0점이다. 근데 찍으면? 365분의 1 확률이라도 맞으면 점수다. 그러니 찍는 게 이득이다. AI를 훈련하고 채점하는 방식이 딱 이 모양이었다. '모르겠습니다'엔 점수를 안 주고, 자신 있게 찍어서 맞으면 보상을 준다. 결국 우리가 AI한테 "모를 땐 찍어라"라고 가르쳐온 셈이다.

더 근본적인 문제도 있다. 같은 논문은 완벽하게 깨끗한 데이터로만 학습시켜도 할루시네이션은 사라지지 않는다는 걸 통계적으로 보였다. 철자나 문법처럼 규칙이 있는 건 학습량이 늘수록 정확해지지만, '어떤 사람의 생일'처럼 규칙 없이 딱 한 번 스쳐 간 희귀한 사실은 패턴으로 못 맞힌다. 그런 건 아무리 좋은 모델이라도 지어낸다.

앤트로픽은 한 발 더 들어가 Claude의 '뇌' 속을 열어봤다(2025년 해석연구). 흥미롭게도 이 모델의 기본값은 '답 못 함'이었다. 뭘 물어도 일단 "정보가 부족하다"는 회로가 켜져 있고, 아는 대상을 알아봤을 때만 그 회로를 꺼서 비로소 답을 한다. 할루시네이션은 이 스위치의 오작동이었다. 이름은 어디서 들어본 것 같은데 내용은 모르는 대상에 대해, '아는 대상' 회로가 잘못 켜지면서 아는 척 답을 지어내는 것. 연구진이 이 회로를 손으로 건드리자, 실존하지 않는 인물이 "체스를 둔다"고 태연히 우기게 만들 수도 있었다. (단, 이건 앤트로픽이 찾은 한 가지 메커니즘이지 모든 환각의 유일한 원인은 아니다.)

그래서 요즘은 좀 나아졌나 — 숫자로 보면

"에이, 요즘 AI 똑똑하잖아" 싶겠지만 현실 데이터는 좀 서늘하다.

프랑스 HEC파리의 연구원 다미앙 샤를로탱은 AI가 지어낸 가짜 판례가 실제 법정 서류에 들어간 사건만 따로 모아 공개하고 있다. 2026년 7월 16일 기준 1,762건. 그것도 하루 여덟 건꼴로 지금 이 순간에도 늘고 있다. 마타 사건은 시작에 불과했던 셈이다.

스탠퍼드 연구팀이 2024년 측정한 수치는 더 뼈아프다. GPT-4 같은 범용 챗봇에 법률 질문을 던지면 58%에서 82%가 틀렸다. 여기까진 그러려니 하겠는데, "우리 건 할루시네이션 없습니다"라고 대놓고 광고하던 상용 법률 AI(렉시스넥시스·웨스트로 등)조차 17%에서 34%가 틀렸다. 여섯 번에 한 번, 심하면 세 번에 한 번 틀린 걸 '없음'이라 팔고 있던 거다. (2024년 당시 버전 기준)

틀린 값이 커지니 벌도 커진다. 2025년 12월 오리건 연방법원은 존재하지 않는 판례 15건과 가짜 인용 8건을 낸 변호사들에게 11만 달러를 물렸다. 마타 사건의 5,000달러와 비교하면 2년 만에 자릿수가 바뀌었다.

그럼 영영 못 고치나? 그건 아니다. GPT-5 같은 최신 모델은, 특히 '생각하고 답하기'를 켜면 사실 오류가 눈에 띄게 줄었다. 다만 OpenAI와 네이처 논문 모두 여기에 못을 박는다. 정확도가 100%에 닿는 일은 없다고. 세상엔 원래 답할 수 없는 질문도 있으니까. 완전 박멸이 아니라 '얼마나 줄이고, 모를 땐 모른다고 말하게 하느냐'의 싸움이라는 뜻이다.

그래서 난 뭘 조심해 — AI를 '똑똑한 인턴'이라 치면 편하다

AI 환각을 개인이 없앨 방법은 없다. 대신 안 당하는 법은 있다. 핵심은 하나다. AI가 뱉은 '사실'은 초안일 뿐, 검증은 내 몫이라는 것.

• 숫자·인용·판례·논문·법조문·URL은 일단 의심하고 교차확인한다. 할루시네이션이 가장 잘 튀어나오는 자리가 딱 여기다. 그럴듯한 출처 형식일수록 오히려 더 위험하다.
• 출처 링크를 붙여달라고 시킨 뒤, 그 링크를 진짜로 열어본다. 안 열리거나 내용이 딴판이면 지어낸 거다.
• 모르면 모른다고 말할 여지를 준다. 질문 끝에 "모르면 모른다고 해"를 붙이는 것만으로도 자신 있는 오답이 줄어든다.
• 틀리면 돈·시간이 깨지는 결정은 원문으로 다시 확인한다. 계약·의료·법률·세금처럼 사고가 큰 영역일수록.

정리하면 이렇다. AI는 일 빠르고 말 잘하는 신입 인턴 같은 존재다. 초안 뽑는 속도는 기가 막힌데, 가끔 아주 태연하게 없는 걸 지어낸다. 그 인턴이 가져온 자료에 최종 도장을 찍는 사람은 결국 당신이다. 마타 사건의 변호사도, 도장을 대신 찍어줄 사람은 없었다.

🔎 대신 파봄, 이런 것도 파봤어요

▸ 이 시리즈 더 보기 — 직업탐방

▸ 그게 뭔데 — 세상 굴러가는 원리, 대신 까봄

▸ 비하인드 스토리 — 그 기업·그 사람의 뒷얘기

▸ 데이터로 까본다 — 숫자로 궁금증 해소

🔔 새 글이 올라오면 받아보고 싶다면 — 이 블로그 상단의 '구독' 버튼을 눌러 팔로우해 주세요.
RSS 리더를 쓴다면 RSS 피드 주소를 등록하면 돼요.