😵💫 환각(Hallucination)이 뭔가요?
가장 먼저 짚고 넘어가야 할 질문이 있습니다. 바로 “환각(Hallucination)이 뭔가요?”입니다.
AI를 써보신 분들은 한 번쯤 경험해 보셨을 텐데요. 겉보기엔 아주 자신 있게 말하지만, 막상 들여다보면 사실과 다른 내용을 그럴듯하게 지어내는 현상을 말합니다.
예를 들어, 존재하지도 않는 논문을 그럴싸하게 인용한다든지, 제가 물어본 적도 없는 정보를 추가해서 말한다든지 하는 경우죠. 사용자 입장에서는 “아니, 누가 이런 걸 믿을 줄 알고 이렇게 대답하는 거지?” 하는 생각이 절로 드는데, 문제는 이게 단순한 오류가 아니라 AI 모델이 가진 구조적인 한계에서 비롯된 현상이라는 점입니다.
이 환각이 왜 발생하는지, 그리고 이를 해결하기 위해 어떤 연구가 진행되고 있는지는 뒤에서 더 자세히 살펴보겠습니다.
❓ 환각이 발생하는 이유
Open AI는 LLM에서 환각 현상이 발생하는 이유를 찾기 위해 논문 ‘Why Language Models hallucinate’ 발표했습니다.
LLM을 학습·평가하는 기본 원리를 기반으로 환각이 발생하는 근본적 원인을 찾고자 했는데요. 자세하게 알아보시죠!
1. LLM은 고민하지 않는다. “다음 단어를 고를 뿐”
먼저, LLM이 어떻게 배우는지 간단히 짚고 갈게요.
생각보다 어렵지 않아요. 한 줄로 요약하자면 “앞에 나온 글을 보고, 다음에 올 글자를 맞히는 연습을 엄청 많이 한 모델” 입니다.
‘단어 맞히기 게임’을 떠올려볼까요?
우리가 게임에서 문장 일부만 보고 다음에 올 말을 추측하듯이, LLM도 대화나 문장의 앞부분을 보고 통계적으로 가장 가능성이 높은 단어를 예측하는 방식으로 학습합니다.
중요한 점은, LLM은 사람처럼 각 단어의 개념이나 의미, 문맥을 ‘이해’해서 대답을 생성하는 것이 아니라, 수많은 텍스트 데이터를 기반으로 “이 상황에서는 이런 단어가 자주 등장했더라”를 바탕으로 다음 단어를 예측한다는 거예요.
즉,
LLM: "패턴을 학습하고 예측"
이라고 볼 수 있습니다.
때문에 LLM의 답변이 사람처럼 자연스럽게 느껴지지만, 그것은 언뜻 그럴듯하게 보이는 문장들을 잘 조합하는 능력 덕분이지, 진짜 이해하거나 사고해서 만들어낸 결과는 아닙니다.
이 특징이 이후에 설명할 ‘환각(hallucination)’ 현상의 핵심 원인 중 하나가 됩니다.
2. 평가 방식이 “모르면 찍어!”를 부추긴다.
LLM을 5지선다 시험을 보는 학생이라고 생각해볼까요?
- 정답을 알고 정답을 맞히면 1점
- 몰라서 비워두면 0점
- 찍어서 맞히면 1점
그렇다면 이 학생은 어떻게 할까요?
👉 “에이 모르겠는데… 그래도 아무거나 찍어야지! 어쩌면 맞을 수도 있잖아?”
바로 찍기 전략입니다. 모델도 마찬가지입니다...
AI 입장에서는
vs "아무것도 안 말하면 0점이다."
라는 구조로 평가를 진행하고, “잘 모르겠지만, 그냥 말해본다”는 쪽으로 최적화되기 쉽죠.
💬 “으음… 정확한 건 아닌데… 이쯤 되면 이 얘기였던 것 같아!” → 자신만만하게 환각 발언 시작.
결국 시스템적으로 “몰라요”보다 “대충이라도 대답해!”가 더 유리하니, 모델은 점점 “그럴듯한 답변 제조기”로 진화하게 됩니다!
💡 AI가 말하면 믿지 말고, 먼저 확인해 보세요!
그렇다면 우리는 AI를 어떻게 활용해야 할까요?
1. “정답”이 아니라 “생각의 출발점”으로 활용하기
AI의 답변은 최종 결론이 아니라 아이디어 초안 으로 보는 것이 좋습니다. “이게 맞나?” 하고 그대로 받아들이기보다, “이 의견을 바탕으로 내가 더 찾아볼 수 있을까?” 라고 접근해 보세요.
2. 교차 검증하기
같은 질문을 조금 다르게 표현하거나 반대로 질문해 보면, AI의 답변이 일관적인지 확인할 수 있습니다.
"A 이론이 틀릴 수도 있는 이유는?"
3. 출처 요청하기
정확한 정보가 필요할 때는 근거, 링크, 문헌, 설명 과정 등을 요청하세요. 단순 요약이 아니라, “이 답에 도달한 이유”를 묻는 것이 핵심입니다.
"출처나 인용할 만한 자료가 있다면 알려주세요."
4. AI를 사용할수록 비판적 사고력은 더 중요해진다!
AI는 정보를 제공하는 데 탁월하지만, 판단은 여전히 우리의 몫입니다. 기술이 발전할수록 “사실을 구분하는 능력·비판적으로 질문하는 힘”은 더 중요해진다는 것을 기억하세요!
"올바르게 묻고, 스스로 판단할 줄 아는 사람"입니다.
🏁 마무리
오늘은 LLM에서 환각(Hallucination)이 왜 발생하는지 함께 살펴봤습니다.
“왜 이렇게 엉뚱하게 대답하지?” 하고 답답했던 순간들, 이제는 조금 이해가 되셨나요?
AI를 사용할 땐 답변을 맹신하기보다 검증하며 활용하는 것이 더 중요하다는 것이 매우 중요합니다!!
그럼 다음 흥미로운 AI 논문 리뷰 시리즈를 기대해 주세요!
성공적인 AX를 수행하기 위해서는, 무엇보다도 AI가 무엇을 잘하고, 무엇을 절대 맡기면 안 되는지를 정확히 이해하는 것에서 출발해야 합니다. 특히 오늘 이야기한 ‘환각(Hallucination)’과 같은 위험성을 알고 있어야, 채용·평가·교육 등 HR의 핵심 영역에서 AI를 안전하게 활용할 수 있습니다.
캐럿글로벌은 AI에 대한 전문 지식을 바탕으로 귀사의 상황에 맞춘 최적의 교육·솔루션을 제공하기 위해 함께 고민하고 제공하겠습니다. AI·AX 전환을 위한 교육, 컨설팅, 실행 방안이 필요하시다면 언제든 캐럿글로벌로 문의해 주세요!
