편향이 적고 정보 밀도가 높은 검증된 텍스트 데이터를 고품질 데이터라고 한다. 학술 논문, 정부 공식 기록물 등이 대표적이다. 최근에는 단순 고품질을 넘어 AI가 즉시 학습·추론에 활용할 수 있도록 구조화된 ‘AI-레디 데이터(AI-Ready Data)’가 떠오르고 있다. 거대언어모델(LLM)이 평준화되면서 모델 간 성능 차이도 옅어지는 가운데 비즈니스 성과를 좌우하는 핵심 요소로 ‘데이터 준비도’가 주목받고 있다. 이러한 상황에서 데이터 고갈 전망부터 기업 현장의 데이터 활용 실태, 고품질 데이터 등을 확보하기 위한 업계의 대응 전략을 살펴본다.
머지않아 바닥나는 공공 텍스트 데이터…합성 데이터로 메우나
미국 비영리 AI 연구기관 에포크AI에 따르면 AI 학습용으로 활용 가능한 인간 생성 공공 텍스트의 보유량은 약 300조 토큰으로 추정됐다. 일반적인 책 1권 분량이 약 20만 토큰을 차지한다고 가정했을 때 15억 권에 해당하는 양이다. 학습 데이터 사용량이 지금과 같은 속도로 늘어날 경우 늦어도 2032년에는 모두 소진될 것으로 예측됐다. 에포크AI는 “텍스트는 최첨단 모델 학습에 사용되는 주요 모달리티이며 핵심 병목이 될 가능성이 높다”며 “이미지나 영상 같은 다른 모달리티는 상대적으로 생성이 쉽고 천문학 데이터 등 일부 과학 데이터는 LLM 학습에 유용성이 입증되지 않았기 때문”이라고 밝혔다.
그러면서 “AI가 생성한 합성 데이터는 아직 충분히 이해되지 않았으며 비교적 좁은 영역에서만 성능이 확인됐다”며 “메신저와 같은 비공개 데이터 역시 법적 문제와 함께 이해관계가 다른 여러 플랫폼에 분산돼 있어 대규모 활용이 어렵다”고 부연했다. 이런 한계에도 불구하고 합성 데이터는 데이터 고갈에 대한 대안으로 주목받고 있다. 합성 데이터란 AI가 만들어낸 데이터로, 실제 데이터의 특성과 구조를 모방하면서도 현실에서 수집하기 어려운 상황의 데이터까지 빠르게 확보할 수 있다는 점이 강점이다. 실제 시장 성장세도 가파르다. 시장조사업체 리서치 네스터에 따르면 글로벌 합성 데이터 시장은 2025년 약 4억 4,716만 달러에서 2035년 87억 9,000만 달러 규모로 성장할 것으로 예측된다. 이 기간 연평균 성장률(CAGR)은 약 34.7%다. 같은 조사에서 AI 활용 기업의 34%가 이미 합성 데이터를 사용 중이며 42%는 관련 연구를 진행하는 것으로 나타났다. 다만 일각에서는 합성 데이터가 완벽한 해법은 아니라는 의견도 나온다. 사람이 아닌 모델이 생성하는 만큼 표현의 다양성이 부족해 인간 고유의 창의성이나 빈도가 낮은 표현을 반영하기 어렵다는 의견이다. 작은 오류가 반복 학습 과정에서 누적돼 성능이 저하될 가능성도 거론된다. AI 데이터 및 솔루션 전문기업 플리토에 따르면 이는 ‘모델 붕괴’로 불린다. 예를 들어 3% 오류가 있는 데이터를 학습한 모델은 97% 정확도를 가지는데, 이 모델로 합성 데이터를 만들어 다시 학습하면 정확도가 94%로 떨어진다는 것이다. 플리토 관계자는 “데이터 구축의 시간과 비용을 감안하면 합성 데이터를 완전히 배제하기는 어렵다”며 “사람의 검수를 통해 오류를 수정하거나 합성 데이터와 사람이 만든 고품질 언어 데이터를 적절히 결합하고 학습 과정에서 ‘인간 피드백 기반 강화학습(RLHF)’ 등을 통해 모델 오류를 수정하는 방법이 필요하다”고 말했다.
부실한 데이터 기반에 멈춰선 기업 AI
이처럼 데이터를 어떻게 확보하고 다룰 것인가의 문제는 기업의 AI 도입 현장으로 가면 한층 복잡해진다.데이터 플랫폼 기업 클라우데라가 시장조사기관 리서치스케이프와 미국·유럽·중동·아시아·태평양 지역 IT 리더 1,270명을 대상으로 진행한 ‘데이터 준비 지수 보고서’에 따르면 글로벌 응답 기업의 96%가 AI를 핵심 비즈니스에 통합했다고 답했지만, 약 80%는 AI 및 데이터 이니셔티브가 데이터 접근 제약 환경에 놓여 있다고 응답했다. 기업들이 최신 인프라에 투자하고 있음에도 분산된 환경 탓에 완전한 데이터 가시성을 확보하지 못하고 있다는 분석이다. 국내 상황도 다르지 않다. 국내 IT 리더들은 자사 AI 이니셔티브가 투자대비수익(ROI)을 달성하지 못한 주된 원인으로 데이터 품질 문제(32%), 통합 문제(22%), 데이터 접근 및 관리 문제(20%) 등을 꼽았다. 또한 데이터 공유에 대한 거부감(49%)과 불충분한 데이터 리터러시(49%)가 협업 및 데이터 기반 의사결정을 지속적으로 제한한다고 응답했다. 시장조사기관 가트너의 진단도 비슷하다. 가트너가 지난해 2월 발표한 보고서에 따르면 데이터 관리 리더 248명을 대상으로 한 조사에서 응답자의 63%가 AI에 적합한 데이터 관리 체계를 갖추지 못했거나 보유 여부조차 불확실하다고 답했다. 가트너는 이를 근거로 “AI 프로젝트의 60%가 AI-레디 데이터 부족으로 폐기될 수 있다”고 전망한 바 있다. �환각 원인은 정제되지 않은 데이터
기업 데이터 기반의 부실은 곧바로 생성형 AI 활용의 신뢰도 문제로 이어진다. 관련 업계에서는 환각과 맥락 오류 등이 반복되는 원인으로 입력 데이터의 구조와 품질 문제를 지목한다. 기업 데이터는 주로 다단 레이아웃, 표, 이미지, 각주 등이 얽힌 비정형 문서로 존재하는 경우가 많다. 충분한 전처리 없이 LLM에 활용할 경우 읽기 순서가 뒤섞이고 표의 행과 열 관계가 무너지며 이미지 정보까지 누락된다. 같은 내용이 여러 버전으로 흩어져 있거나 오래된 정보와 최신 정보가 혼재된 문서의 품질 문제까지 더해지면, AI는 결국 신뢰도 낮은 정보를 바탕으로 답변할 수밖에 없다. 이러한 문제는 검색증강생성(RAG) 기반 기술을 도입해도 쉽게 해소되지 않는다는 진단이다. RAG는 외부 문서에서 관련 정보를 검색해 LLM 답변 생성에 활용하는 기술을 의미한다. 그러면서 “중요한 것은 무엇을 검색했는가보다 무엇을 검색 가능한 상태로 만들어두었는가”라며 “산업 현장에서 생성형 AI의 신뢰도를 결정하는 핵심은 모델보다 앞단에 있는 문서 이해와 데이터 구조화 레이어”라고 부연했다.
‘AI-레디 데이터’로 가는 길…‘구조화·정제’가 핵심
이러한 진단은 결국 기업의 데이터 전략에 변화를 요구하고 있다. 특히 관련 업계에서는 AI가 즉각 학습·추론에 참조할 수 있도록 ‘AI-레디’ 상태로 끌어올려야 한다고 강조한다. 이를 위한 핵심 작업으로 꼽히는 것이 ‘구조화’와 ‘정제’다. 업계에 따르면 광학문자인식(OCR)이 문서 속 글자를 텍스트로 변환하는 과정이라면, 구조화는 그 텍스트의 의미와 관계를 정리하는 작업이다. 가령 텍스트가 어느 제목에 속하는지, 어느 표의 행·열에 위치하는지, 본문과 어떻게 연결되는지 등 문서 요소 간 관계와 읽기 순서까지 정리해 LLM이나 RAG가 문서를 온전히 이해할 수 있는 형태로 가공한다. 여기에 운영 과정에서 발생한 오류를 사람이 직접 확인·수정해 다시 모델에 반영하는 ‘정제’까지 더해져야 한다는 게 업계 공통된 시각이다. 이러한 작업이 제대로 이뤄지면 모델 성능과 신뢰도가 높아진다. 글로벌 학술 출판사 스프링거 네이처에 게재된 논문 ‘신뢰할 수 있는 LLM을 향하여: 거대언어모델의 편향 및 환각 제거에 관한 고찰(Towards trustworthy LLMs: a review on debiasing and dehallucinating in large language models)’은 데이터 품질 향상이 LLM 환각·편향 문제를 줄이는 핵심 전략 중 하나임을 강조했다(컴퓨터월드, 2026. 5. 1). |