할루시네이션이란? 챗GPT가 없는 사실을 지어내는 이유와 확인법

지난주에 회사 보고서에 넣을 통계 하나가 필요해서 챗GPT에게 물어본 적이 있습니다. "국내 스타트업 평균 존속 기간에 대한 최신 연구 결과 하나만 알려줘"라고 했더니, 특정 대학교 이름과 연구진, 그리고 소수점까지

딱 떨어지는 숫자를 곁들여서 아주 자신 있게 답을 내놓더군요. 문장 톤이 워낙 매끄럽고 출처까지 그럴듯하게 붙어 있어서 그대로 보고서에 옮길 뻔했는데, 나중에 찾아보니 그런 연구도 그런

대학교 발표도 어디에도 없었습니다.

비슷한 일이 한 번 더 있었습니다. 예전에 읽었던 것 같은 경영서 제목이 가물가물해서 "이런 내용을 다룬 책 제목이 뭐였는지 기억이 안 나는데 저자랑 같이 알려줄 수 있어?"라고 물었더니, 이번에도 책 제목과 저자, 출판연도까지 완벽하게 구성된 답이 돌아왔습니다. 문제는 그 책이 세상에 존재하지 않는다는 점이었죠. 저자 이름은 실존 인물이었지만 그 사람이 쓴 책 목록 어디에도 그런 제목은 없었습니다.

두 경우 모두 공통점이 있었습니다. 틀렸다는 티가 전혀 안 났다는 겁니다. 오히려 자신감 있는 어조와 구체적인 디테일 때문에 더 믿고 싶어지는 답이었습니다. 이렇게 AI가 없는 사실을 그럴듯하게 지어내는 현상을 할루시네이션이라고 부르는데, 토큰 단위로 다음 단어를 확률적으로 예측해서 답을 만들어내는 방식이라는 점에서 이전에 다룬 토큰을 알면 보입니다 글과도 맞닿아 있습니다.

거짓말이 아닌데 거짓이 되는, 할루시네이션

할루시네이션이라는 용어 자체는 원래 사람이 실제로 없는 것을 보거나 듣는 환각 증상을 가리키는 말이었습니다. AI 분야에서는 이 단어를 빌려와서, 모델이 사실이 아닌 내용을 마치 사실인 것처럼 자신 있게 제시하는 현상을 가리킬 때 씁니다. 지금은 AI 쪽에서 이 뜻으로 널리 쓰입니다. 거짓말과는 결이 좀 다른데, 거짓말은 사실을 알면서도 의도적으로 속이는 행위지만 할루시네이션은 모델 입장에서 '거짓'과 '진실'을 구분하는 감각 자체가 없는 상태에서 나온 결과에 가깝습니다.

실제로 겪어보면 패턴이 비슷합니다. 존재하지 않는 논문 제목과 저자를 만들어내거나, 있지도 않은 법 조항 번호를 인용하거나, 실존 인물의 이력에 없는 경력을 붙이는 식입니다. 문제는 이런 답변들이 하나같이 문장 구조와 어조는 완벽하다는 점입니다. 오탈자도 없고 논리적으로 앞뒤도 맞고, 심지어 출처까지 형식을 갖춰서 붙어 있으니 사용자 입장에서는 의심할 이유를 찾기가 어렵습니다.

답변 문장 자체에는 티가 나는 구석이 없다는 점이 할루시네이션을 특히 까다롭게 만듭니다. 처음 보는 사람은 웬만해선 눈치채기 힘들어요. 이 용어가 널리 쓰이게 된 것도 그만큼 흔하게 벌어지는 일이기 때문입니다.

그래서 할루시네이션은 오탈자나 문법 오류보다 훨씬 성가십니다. 눈에 띄는 오류는 바로 걸러지지만, 그럴듯하게 포장된 오류는 검증 없이 그대로 넘어가기 쉽거든요. 그만큼 사람이 한 번 더 걸러내는 역할이 중요해지는 거죠.

 

왜 이런 일이 생기는가 — 확률로 다음 단어를 고르는 방식

챗GPT를 비롯한 대화형 AI 모델은 다음에 올 단어를 확률적으로 예측하는 방식으로 답을 만들어냅니다. 지금까지 나온 문장을 보고 '이 다음에 올 가능성이 가장 높은 단어가 뭘까'를 계산해서 이어 붙이는 구조인 셈입니다. 이 방식 덕분에 자연스러운 문장을 만들어내는 데는 탁월하지만, 동시에 한계도 분명합니다.

이 구조에서는 애초에 '이건 내가 확실히 아는 사실이다'와 '이건 그럴듯하게 들리는 문장일 뿐이다'를 구분하는 장치가 따로 마련돼 있지 않습니다. 모델 입장에서는 둘 다 그냥 확률이 높은 다음 단어일 뿐입니다. 그래서 학습 데이터에 없던 내용이라도, 문맥상 자연스럽게 이어질 법한 단어들을 계속 골라가다 보면 결과적으로 없는 사실이 그럴듯한 문장의 형태로 만들어지는 것입니다.

확률 계산 자체는 문법적으로 자연스러운 문장을 만드는 데 최적화돼 있을 뿐, 사실 여부를 따지는 계산은 별도로 존재하지 않습니다. 이 방식을 알고 나면 할루시네이션이 단순한 버그가 아니라 구조적인 특성이라는 게 이해되실 거예요. 탓할 대상을 찾기보다 작동 방식을 알고 쓰는 쪽이 낫겠죠.

여기에 질문 자체가 모호하거나 모델이 잘 모르는 영역을 파고들수록 이런 현상은 더 자주 나타나는 경향이 있습니다. 정보가 부족한 자리를 그럴듯한 추측으로 메꾸는 셈인데, 이 과정이 모델 입장에서는 '추측'이 아니라 평소와 똑같은 문장 생성 과정일 뿐이라는 점이 핵심입니다. 이런 이유로 모델 개발사들도 답변에 불확실성을 표시하거나 출처를 함께 제공하는 방향으로 계속 개선을 시도하고 있습니다.

 

그럴듯함과 사실은 전혀 다른 문제입니다

여기서 헷갈리기 쉬운 지점이 하나 있습니다. 문장이 매끄럽고 자신감 있게 쓰여 있다고 해서 그 내용까지 검증된 건 아니라는 점입니다. 사람도 말을 잘하는 사람의 이야기를 더 신뢰하는 경향이 있는데, AI가 만들어내는 문장은 애초에 자연스럽게 읽히는 쪽으로 다듬어진 문장이다 보니 이 착각이 더 쉽게 일어납니다.

뉴스 기사도 아니고 논문도 아닌 대화창에서 나온 문장인데도, 형식만 갖추면 신뢰도가 확 올라가 버리는 거죠. 특히 시간에 쫓길 때 이 착각에 제일 잘 빠져요.

근거 없이 확신하는 답변

"2021년 한 대학 경영연구소가 발표한 조사에 따르면, 국내 스타트업의 평균 존속 기간은 4.3년입니다." 출처, 기관, 숫자가 다 갖춰져 있지만 실제로는 어디에도 존재하지 않는 조사입니다.

근거를 구분해서 보여주는 답변

"정확한 통계 자료를 지금 바로 확인하기는 어렵습니다. 스타트업 존속 기간에 대한 논의는 조사마다 결과가 다르니, 정확한 수치가 필요하시면 관련 공공기관 자료를 직접 확인해보시는 걸 권해드립니다." 모르는 부분을 모른다고 인정하는 구조입니다.

문장이 당당한 것과 내용이 맞는 것은 아예 따로 노는 문제입니다. 답변이 매끄러울수록 오히려 한 번 더 의심해보는 습관이 필요하죠. 숫자 하나, 이름 하나가 실제로 존재하는지 따로 검색해보는 습관이 이 착각을 막아줍니다. 그래서 답변의 '느낌'이 아니라 답변의 '근거'를 따로 떼어놓고 보는 연습이 필요합니다.

 

사용자가 할 수 있는 확인과 대응

그렇다고 매번 검색엔진을 켜서 하나하나 대조할 수는 없는 노릇입니다. 다만 답변을 그대로 받아들이기 전에 거치는 단계 몇 개만 있어도 할루시네이션을 상당 부분 걸러낼 수 있습니다. 한번 몸에 익혔두면 매번 처음부터 의심하지 않아도 돼요.

숫자나 고유명사가 지나치게 구체적으로 나올 때는 한 번 멈춰서 되묻는 편이 좋습니다. 소수점까지 딱 떨어지는 통계나 정확한 조항 번호, 특정 인물의 세세한 이력 같은 정보일수록 오히려 실제 자료에서 그대로 인용했는지 확인이 필요한 경우가 많거든요. 같은 질문을 표현만 살짝 바꿔서 다시 던져보는 것도 유용한 방법입니다. 답변이 매번 다른 근거나 다른 숫자로 바뀐다면, 그건 모델이 뭔가를 '기억'해서 답한 게 아니라 그때그때 그럴듯한 문장을 새로 조립하고 있다는 신호일 수 있어요. 질문을 바꿔가며 몇 번 되물어보면 모델의 '자신감'이 흔들리는 지점이 금방 드러납니다.

여기서 한 걸음 더 가면 출처를 대라고 직접 요구해보는 겁니다. 실제 문서나 링크를 대라고 하면 모델이 스스로 확신을 낮추거나, 존재하지 않는 출처를 지어내는 경우가 있는데 후자라면 그 자체로 경고 신호가 되는 셈이죠. 출처 링크가 실제로 접속되는지 확인하는 습관만 들여도 꽤 많은 부분이 걸러지고요. 중요한 정보일수록 AI의 답변은 출발점이지 최종 확인이 될 수 없다는 태도가 필요합니다. 번거롭게 느껴질 수 있지만, 이 한 단계만 거쳐도 실수를 크게 줄일 수 있습니다.

 

AI를 쓰는 태도가 조금 달라져야 합니다

이런 이야기를 하면 AI를 못 믿을 도구로 치부하는 쪽으로 흐르기 쉬운데, 그건 좀 다른 얘기입니다. 초안을 잡거나 아이디어를 넓히는 작업에서는 여전히 압도적으로 유용해요. 다만 틀리면 곤란한 숫자와 사실관계는 AI의 답변만으로 끝내지 않는 태도가 필요합니다.

저도 그 보고서 사건 이후로는 습관이 하나 생겼습니다. AI가 준 답변 중에 숫자나 고유명사가 나오면 일단 따로 검색해서 한 번 더 확인하고 넘어갑니다. 번거롭긴 해도, 그럴듯하게 지어낸 문장 하나 때문에 신뢰를 잃는 것보다는 훨씬 낫더군요. 이 정도 습관만 들여도 결과물의 질이 확실히 달라져요.

결과물의 방향을 잡는 도구와, 사실관계를 확정하는 도구는 애초에 역할이 다르다고 보면 됩니다. AI가 만능 검색 엔진은 아니라는 걸 인정하고 나면 오히려 더 편하게 쓸 수 있죠. 이렇게 생각하면 AI를 대하는 마음이 한결 가벼워지네요.

 

자주 묻는 질문

할루시네이션은 특정 AI 모델에서만 나타나는 문제인가요?

특정 모델만의 문제라기보다는, 다음 단어를 확률적으로 예측해서 문장을 만들어내는 방식 자체에서 비롯되는 현상으로 알려져 있습니다. 모델이나 서비스마다 발생 빈도나 양상에는 차이가 있을 수 있지만, 이런 방식으로 작동하는 AI라면 정도의 차이일 뿐 완전히 자유롭기는 어렵다고 봐야 합니다. 그래서 어떤 서비스를 쓰든 이 가능성은 염두에 두는 게 안전해요.

할루시네이션을 100% 막을 방법이 있나요?

지금 수준에서는 완전히 없애기보다는 줄이고 걸러내는 방향으로 접근하는 게 현실적입니다. 출처를 함께 요구하거나 중요한 정보는 따로 검증하는 습관을 들이는 편이, 모델 자체가 완벽해지길 기다리는 것보다 현실적인 대응입니다.

할루시네이션과 단순 오답은 어떻게 다른가요?

단순 오답은 틀렸다는 게 비교적 쉽게 드러나는 경우가 많은데, 할루시네이션은 답변 자체가 워낙 말이 되게 굴러가서 틀렸다는 티가 잘 안 납니다. 그래서 더 조심스럽게 다뤄야 하고요.