생성형 인공지능(AI)이 사회 전반으로 스며들며 사실과 다른 정보를 실제처럼 만들어내는 ‘AI 환각(AI Hallucination)’이 기술 분야를 넘어 사회 전반으로 확산되고 있다. 단순한 오류가 아닌 확률 기반 생성 구조, 불완전한 데이터, 추론 단계의 한계 등 복합요소가 야기하는 구조적 현상이다. 하지만 환각이 되려 사고를 확장할 수 있는 기능으로 작용하게 된다면 어떨까. 이러한 양면성이 최근 특정 산업군에서 포착되고 있다. 법률과 의료 분야에서는 AI 환각이 정확성을 위협하는 위험 요인으로 꼽히지만, 과학과 예술 분야에서는 인간 사고를 확장하는 창의적 기능으로 작용하는 경우가 있는 것으로 나타났다. 기술 발전이 가속화되는 지금, 환각을 어떻게 이해하고 관리할 것인지가 중요한 정책적 과제로 떠오르고 있다. 한국지능정보사회진흥원(NIA)은 ‘AI 환각: 위험 관리와 창의적 활용을 위한 정책 대응 전략’ 보고서를 발간했다. 이 보고서는 AI 환각을 ‘위험’과 ‘창의의 원천’이라는 양가적 특성으로 규정하고, CURE 프레임워크(Control, Utilize, Regulate, Evaluate) 대응 전략을 담았다.
정확성을 흔드는 구조적 위험 AI 환각은 실제로 존재하지 않거나 사실과 다른 정보를 진짜처럼 생성하는 현상으로 정의된다. 학습 데이터 오류, 사회적 편향, 롱테일 지식의 부족 등으로 인해 발생한다. AI 환각은 확률 기반 생성 메커니즘에서 비롯된다. 대규모언어모델(LLM)은 방대한 텍스트를 학습하면서 다음 단어를 예측하는 방식으로 문장을 만들어내는데, 자주 등장하지 않는 전문 지식이나 희귀 정보에 대해서는 틀린 정보를 그럴듯하게 지어낼 가능성이 높다. 여기에 가짜 뉴스, 루머, 사회적 편향이 섞인 학습 데이터가 더해지면, 모델은 사실과 거리가 먼 내용을 자신 있게 말하는 경향을 보인다. 환각이 발생하는 지점은 데이터, 훈련 방식, 추론 단계로 나뉜다. 데이터 측면에서는 거짓 정보와 편향된 서술, 롱테일 지식의 부족이 주요 원인으로 꼽힌다. 훈련 과정에서는 지도 미세조정과 정렬(Alignment) 단계에서 모델이 “모른다”고 답하는 대신 어떻게든 답을 맞추려 하도록 학습되는 과적합 문제가 발생한다. 추론 단계에서는 다양성과 창의성을 위해 도입된 무작위성이 높아질수록, 그리고 모델이 유창한 문장 생성 자체에 집착할수록 사실성과 충실성이 떨어지는 답변이 나올 위험이 커진다. 이러한 추상적인 문제는 법률·의료 사례에서 분명히 드러난다. 우리나라에서는 경찰이 챗GPT를 활용해 아동복지법 위반 사건 불송치 결정문을 작성하는 과정에서, 실제 판례에 존재하지 않는 법리를 인용한 사실이 뒤늦게 확인됐다. 법리의 문구는 그럴듯했지만, 판결문 어디에도 없는 내용이었다. 영국 NHS 사례는 의료 영역이 환각에 얼마나 취약한지 보여준다. 환자는 단순 편도염으로 병원을 찾았지만, AI 요약 기능이 생성한 기록에는 당뇨병 진단 이력과 복수의 약물 복용 내역이 적혀 있었다. 흉통과 호흡곤란, 관상동맥질환 가능성까지 기재돼 있었다. 심지어 병원 주소와 우편번호도 실제와 달랐다. 이 오류로 당뇨병 환자 대상 정기 안과 검진 안내가 발송됐고, 환자는 자신이 앓지도 않는 병을 의심하며 심리적 불안을 겪어야 했다. 디지털 역량이 낮은 환자일수록 이런 환각을 스스로 걸러내기 어렵다는 점에서, 의료 AI 환각은 안전과 형평성의 문제로 이어질 수 있다. AI 기업들도 환각이 브랜드 신뢰도를 흔드는 핵심 리스크로 인식하고 적극적으로 대응하고 있다. 오픈AI는 ‘모른다’는 응답을 허용하는 평가 체계를 도입했고, MS는 외부 지식 기반 검증 시스템(RAS)을 개발했으며, 앤트로픽은 사용자가 직접 인용문을 뽑아 검증하게 하는 프롬프트 작성 가이드를 제시한다. 메타는 모델이 스스로 검증 질문을 만들고 답변을 재평가하는 CoVe 구조와 환각 평가 벤치마크인 할루렌즈(HalluLens)를 도입해, 모델 내부에서 한 번 더 ‘자기검열’을 거치도록 설계했다. NIA가 발간한 보고서에 따르면, 환각은 AI 모델의 확률적 생성 원리에서 비롯되는 만큼 완전한 제거는 어렵다고 진단했다. 핵심은 어디에서, 어떤 수준까지 환각을 허용하거나 통제할 것인지의 판단이다.
AI 환각, 창의성 도구일 수도…정책적 대응 필요 AI 환각은 지금까지 위험한 요소로 치부됐다. 하지만 최근 과학과 예술 분야에서는 환각이 오히려 새로운 가능성을 열고 있었다. 먼저 과학 분야에서는 칼텍의 아난드쿠마르 교수팀은 세균이 잘 달라붙지 않는 새로운 카테터 구조를 찾는 과정에서, AI 환각이 제안한 비정형 패턴을 바탕으로 감염 위험을 줄이는 디자인을 만들었다. 노벨화학상 수상자 데이비드 베이커 교수팀도 환각이 설계한 단백질 구조를 실제 생명체에 적용해, 기존에 알려지지 않았던 129종의 새로운 단백질을 합성하는 데 성공했다. 문화 영역에서도 환각은 창작의 도구가 되고 있다. 미디어 아티스트 레픽 아나돌은 K팝, 뮤직비디오 등 한국 관련 데이터 189만 건을 학습한 AI가 생성한 초현실적 이미지들을 ‘기계 환각(Machine Hallucinations)’ 시리즈로 구현하며, 인간이 상상하기 어려운 형태와 색채를 시각 예술로 끌어올렸다. 일본에서는 생성형 AI가 95%를 집필하고, 아쿠타가와상 수상 작가가 나머지 5%를 다듬은 단편 소설 ‘그림자비’가 출간되며 화제가 됐다. 인류가 사라진 세계에 남겨진 AI의 감정을 다룬 이 소설은, AI 환각이 기존 서사 구조를 비트는 새로운 문학적 실험의 도구가 될 수 있음을 보여준다. 국가별 정책 접근도 환각을 둘러싼 인식의 차이를 반영한다. EU는 AI 액트를 통해 고위험 영역에서의 사실 검증, 로그 보관, 생성물 표시 의무 등을 법제화하며 환각을 구조적으로 억제하는 데 방점을 찍고 있다. 반면 미국은 바이든 행정부가 NIST AI 위험 관리 프레임워크로 환각을 포함한 위험 관리 가이드를 제시한 데 이어, 현 행정부는 규제 완화 기조를 강화하며 ‘안전·신뢰’보다 ‘혁신과 편향 제거’ 쪽에 무게를 두고 있다. 영국은 UK AI 보안연구소가 오픈소스 평가 도구 인스펙트 AI(Inspect AI)를 개발해 환각률을 정량적으로 측정하는 기술적 표준을 제시하고, 싱가포르는 AI 입증(AI Verify) 프레임워크로 투명성·설명가능성·견고성 등 11가지 거버넌스 원칙을 제시하며 실용적 신뢰 프레임을 구축하고 있다.
NIA, CURE 프레임워크 제안 NIA는 보고서를 통해 환각 개념 자체를 재정의할 필요가 있다고 제안했다. AI 환각이라는 용어가 오류·결함의 뉘앙스를 품고 있어, 모든 환각을 규제와 통제의 대상으로만 바라보게 만든다는 것이다. 대신 생성형 AI가 학습된 패턴을 바탕으로 새로운 조합과 예측을 만드는 과정에서 발생하는 확률적 변이를 ‘추론적 편차(Inferential Deviation)’라는 가치중립적 개념으로 이해해야 한다고 제안했다. 그 위에서 사회적·경제적 피해를 유발할 수 있는 사실 왜곡은 ‘오정보 출력(Factual Error Output)’으로, 연구·예술 등에서 새로운 가설과 아이디어를 만드는 결과물은 ‘창의적 생성(Creative Production)’으로 나눠 서로 다른 정책 도구로 다뤄야 한다는 것이다. 보고서에 따르면, 이러한 관점을 실천적으로 구현하기 위해 CURE 프레임워크가 제시됐다. 먼저 법률·의료·금융 등 고위험 영역에서는 오정보 출력형 환각을 선제적으로 통제(Control)해 위해를 최소화해야 한다. 둘째, 과학 연구와 창작 영역에서는 환각이 만들어내는 비정형적 발상을 적극적으로 활용(Utilize)할 수 있도록 리터러시와 가이드라인을 마련할 필요가 있다. 셋째, 고위험 도메인에 대해서는 개발·도입·운영 전 과정에 걸친 법·제도적 관리 체계(Regulate)를 설계해야 하고, 넷째, 모델과 서비스 수준에서 환각 발생 경향을 지속적으로 평가(Evaluate)하며 기술과 정책을 업데이트하는 구조가 필요하다는 것이다. NIA는 보고서를 통해 “AI 환각은 제거할 결함이 아니라, 위험과 기회가 동시에 잠재된 기술적·사회적 현상으로 봐야 한다. 중요한 것은 환각을 없애는 것이 아니다. 어떠한 환각이 용납될 수 없을 정도로 위험한지, 어떤 환각은 인간의 창의성과 혁신을 확장하는 데 기여할 수 있는지를 정교하게 구분하는 일이다. 생성형 AI가 정보 생산과 의사결정의 기반으로 자리 잡아가는 지금, 환각을 다루는 방식은 곧 AI 시대의 신뢰 수준과 창의적 역량을 가르는 핵심 변수가 되고 있다”고 제언했다(아이티데일리, 2025. 12 5). |