[AI-레디] "AI 도입은 늘었는데 경쟁력은 제자리"…문제는 '데이터 준비...

[아이티데일리] 지난 2024년 6월 사람이 생성한 고품질 텍스트 데이터가 머지않아 바닥날 수 있다는 전망이 나왔다. 모델 규모의 급격한 확대와 학습 데이터 사용량의 가파른 증가로 공공 텍스트 데이터의 보유량이 한계에 도달할 수 있다는 진단이었다.

편향이 적고 정보 밀도가 높은 검증된 텍스트 데이터를 고품질 데이터라고 한다. 학술 논문, 정부 공식 기록물 등이 대표적이다. 최근에는 단순 고품질을 넘어 AI가 즉시 학습·추론에 활용할 수 있도록 구조화된 ‘AI-레디 데이터(AI-Ready Data)’가 떠오르고 있다. 거대언어모델(LLM)이 평준화되면서 모델 간 성능 차이도 옅어지는 가운데 비즈니스 성과를 좌우하는 핵심 요소로 ‘데이터 준비도’가 주목받고 있다.

이러한 상황에서 데이터 고갈 전망부터 기업 현장의 데이터 활용 실태, 고품질 데이터 등을 확보하기 위한 업계의 대응 전략을 살펴본다.

머지않아 바닥나는 공공 텍스트 데이터…합성 데이터로 메우나

미국 비영리 AI 연구기관 에포크AI에 따르면 AI 학습용으로 활용 가능한 인간 생성 공공 텍스트의 보유량은 약 300조 토큰으로 추정됐다. 일반적인 책 1권 분량이 약 20만 토큰을 차지한다고 가정했을 때 15억 권에 해당하는 양이다. 학습 데이터 사용량이 지금과 같은 속도로 늘어날 경우 늦어도 2032년에는 모두 소진될 것으로 예측됐다.

성 공공 텍스트 데이터의 보유량과 LLM 학습 데이터 사용량 추이 전망. (자료=에포크AI)

에포크AI는 “텍스트는 최첨단 모델 학습에 사용되는 주요 모달리티이며 핵심 병목이 될 가능성이 높다”며 “이미지나 영상 같은 다른 모달리티는 상대적으로 생성이 쉽고 천문학 데이터 등 일부 과학 데이터는 LLM 학습에 유용성이 입증되지 않았기 때문”이라고 밝혔다.

그러면서 “AI가 생성한 합성 데이터는 아직 충분히 이해되지 않았으며 비교적 좁은 영역에서만 성능이 확인됐다”며 “메신저와 같은 비공개 데이터 역시 법적 문제와 함께 이해관계가 다른 여러 플랫폼에 분산돼 있어 대규모 활용이 어렵다”고 부연했다.

이런 한계에도 불구하고 합성 데이터는 데이터 고갈에 대한 대안으로 주목받고 있다. 합성 데이터란 AI가 만들어낸 데이터로, 실제 데이터의 특성과 구조를 모방하면서도 현실에서 수집하기 어려운 상황의 데이터까지 빠르게 확보할 수 있다는 점이 강점이다.

실제 시장 성장세도 가파르다. 시장조사업체 리서치 네스터에 따르면 글로벌 합성 데이터 시장은 2025년 약 4억 4,716만 달러에서 2035년 87억 9,000만 달러 규모로 성장할 것으로 예측된다. 이 기간 연평균 성장률(CAGR)은 약 34.7%다. 같은 조사에서 AI 활용 기업의 34%가 이미 합성 데이터를 사용 중이며 42%는 관련 연구를 진행하는 것으로 나타났다.

다만 일각에서는 합성 데이터가 완벽한 해법은 아니라는 의견도 나온다. 사람이 아닌 모델이 생성하는 만큼 표현의 다양성이 부족해 인간 고유의 창의성이나 빈도가 낮은 표현을 반영하기 어렵다는 의견이다.

작은 오류가 반복 학습 과정에서 누적돼 성능이 저하될 가능성도 거론된다. AI 데이터 및 솔루션 전문기업 플리토에 따르면 이는 ‘모델 붕괴’로 불린다. 예를 들어 3% 오류가 있는 데이터를 학습한 모델은 97% 정확도를 가지는데, 이 모델로 합성 데이터를 만들어 다시 학습하면 정확도가 94%로 떨어진다는 것이다.

플리토 관계자는 “데이터 구축의 시간과 비용을 감안하면 합성 데이터를 완전히 배제하기는 어렵다”며 “사람의 검수를 통해 오류를 수정하거나 합성 데이터와 사람이 만든 고품질 언어 데이터를 적절히 결합하고 학습 과정에서 ‘인간 피드백 기반 강화학습(RLHF)’ 등을 통해 모델 오류를 수정하는 방법이 필요하다”고 말했다.

부실한 데이터 기반에 멈춰선 기업 AI

이처럼 데이터를 어떻게 확보하고 다룰 것인가의 문제는 기업의 AI 도입 현장으로 가면 한층 복잡해진다.

데이터 플랫폼 기업 클라우데라가 시장조사기관 리서치스케이프와 미국·유럽·중동·아시아·태평양 지역 IT 리더 1,270명을 대상으로 진행한 ‘데이터 준비 지수 보고서’에 따르면 글로벌 응답 기업의 96%가 AI를 핵심 비즈니스에 통합했다고 답했지만, 약 80%는 AI 및 데이터 이니셔티브가 데이터 접근 제약 환경에 놓여 있다고 응답했다.

기업들이 최신 인프라에 투자하고 있음에도 분산된 환경 탓에 완전한 데이터 가시성을 확보하지 못하고 있다는 분석이다.

국내 상황도 다르지 않다. 국내 IT 리더들은 자사 AI 이니셔티브가 투자대비수익(ROI)을 달성하지 못한 주된 원인으로 데이터 품질 문제(32%), 통합 문제(22%), 데이터 접근 및 관리 문제(20%) 등을 꼽았다. 또한 데이터 공유에 대한 거부감(49%)과 불충분한 데이터 리터러시(49%)가 협업 및 데이터 기반 의사결정을 지속적으로 제한한다고 응답했다.

클라우데라 세르지오 가고 최고기술책임자(CTO)는 지난 4월 20일 진행된 온라인 미디어 브리핑에서 “기업들은 AI 도입에 어려움을 겪고 있지 않다. 문제는 실험 단계를 넘어 AI를 대규모로 구현하는 것”이라며 “AI는 온전한 데이터가 있어야 효과를 발휘할 수 있다. 모든 데이터에 대한 접근 없이 AI에 정확성, 신뢰성, 비즈니스 가치를 바랄 수 없다는 것을 기억해야 한다”고 밝혔다.

시장조사기관 가트너의 진단도 비슷하다. 가트너가 지난해 2월 발표한 보고서에 따르면 데이터 관리 리더 248명을 대상으로 한 조사에서 응답자의 63%가 AI에 적합한 데이터 관리 체계를 갖추지 못했거나 보유 여부조차 불확실하다고 답했다. 가트너는 이를 근거로 “AI 프로젝트의 60%가 AI-레디 데이터 부족으로 폐기될 수 있다”고 전망한 바 있다.

클라우데라 ‘데이터 준비 지수’ 한국 주요 조사 결과. (사진=클라우데라 온라인 미디어 브리핑 캡처)

“RAG로도 안 풀린다”…환각 원인은 정제되지 않은 데이터

기업 데이터 기반의 부실은 곧바로 생성형 AI 활용의 신뢰도 문제로 이어진다. 관련 업계에서는 환각과 맥락 오류 등이 반복되는 원인으로 입력 데이터의 구조와 품질 문제를 지목한다.

기업 데이터는 주로 다단 레이아웃, 표, 이미지, 각주 등이 얽힌 비정형 문서로 존재하는 경우가 많다. 충분한 전처리 없이 LLM에 활용할 경우 읽기 순서가 뒤섞이고 표의 행과 열 관계가 무너지며 이미지 정보까지 누락된다. 같은 내용이 여러 버전으로 흩어져 있거나 오래된 정보와 최신 정보가 혼재된 문서의 품질 문제까지 더해지면, AI는 결국 신뢰도 낮은 정보를 바탕으로 답변할 수밖에 없다.

이러한 문제는 검색증강생성(RAG) 기반 기술을 도입해도 쉽게 해소되지 않는다는 진단이다. RAG는 외부 문서에서 관련 정보를 검색해 LLM 답변 생성에 활용하는 기술을 의미한다.

이와 관련해 다큐먼트 AI 전문기업 로민 관계자는 “많은 기업들이 RAG를 도입하면 환각 문제가 줄어들 것이라고 기대하지만, 실제 현장에서는 꼭 그렇지만은 않다”며 “RAG는 결국 좋은 문서를 찾아 LLM에 전달하는 구조인데, 정작 그 문서가 AI가 읽기 어려운 상태라면 검색을 아무리 정교하게 해도 결과는 달라지기 어렵다”고 밝혔다.

이어 “환각과 맥락 오류는 모델만의 문제가 아니라 입력 문서를 얼마나 정확하게 읽고 구조화했는가의 문제로 보는 것이 더 맞다”고 덧붙였다.

공공·기업용 시각지능 통합 솔루션 기업 한국딥러닝 관계자도 “AI가 잘못 답하는 이유는 단순히 ‘모델이 똑똑하지 않아서’가 아니라 애초에 정확하게 이해할 수 있는 형태로 데이터가 준비돼 있지 않기 때문”이라며 “실제 기업 데이터는 스캔된 계약서, 항목이 복잡하게 얽힌 청구서, 여러 장의 신청서, 표와 이미지가 혼재된 보고서처럼 대부분이 문맥 해석이 어려운 비정형 문서”라고 말했다.

그러면서 “중요한 것은 무엇을 검색했는가보다 무엇을 검색 가능한 상태로 만들어두었는가”라며 “산업 현장에서 생성형 AI의 신뢰도를 결정하는 핵심은 모델보다 앞단에 있는 문서 이해와 데이터 구조화 레이어”라고 부연했다.

‘AI-레디 데이터’로 가는 길…‘구조화·정제’가 핵심

이러한 진단은 결국 기업의 데이터 전략에 변화를 요구하고 있다. 특히 관련 업계에서는 AI가 즉각 학습·추론에 참조할 수 있도록 ‘AI-레디’ 상태로 끌어올려야 한다고 강조한다. 이를 위한 핵심 작업으로 꼽히는 것이 ‘구조화’와 ‘정제’다.

업계에 따르면 광학문자인식(OCR)이 문서 속 글자를 텍스트로 변환하는 과정이라면, 구조화는 그 텍스트의 의미와 관계를 정리하는 작업이다. 가령 텍스트가 어느 제목에 속하는지, 어느 표의 행·열에 위치하는지, 본문과 어떻게 연결되는지 등 문서 요소 간 관계와 읽기 순서까지 정리해 LLM이나 RAG가 문서를 온전히 이해할 수 있는 형태로 가공한다. 여기에 운영 과정에서 발생한 오류를 사람이 직접 확인·수정해 다시 모델에 반영하는 ‘정제’까지 더해져야 한다는 게 업계 공통된 시각이다.

실제 로민은 구조화 단계에 기술력을 집중하고 있다. 문서 레이아웃과 표 구조, 읽기 순서 등을 분석하는 정밀 파싱과 텍스트·이미지·레이아웃을 동시에 이해하는 시각언어모델(VLM) 기반 추출을 핵심 기술로 활용하며 검수 과정에서 수정된 내용을 다시 학습에 반영해 사용할수록 정확도가 높아지는 운영 체계를 구축하고 있다.

한국딥러닝의 경우 비정형 문서를 업무 실행 가능한 데이터로 전환하는 파이프라인 설계에 초점을 맞췄다. PDF·이미지·스캔본 등 다양한 형식의 문서를 표준화한 뒤 제목·본문·표·서명 등 요소와 관계를 해석하고 산업별 업무 문맥에 맞춰 필요한 필드를 정형 스키마로 변환해 ERP·내부 DB·LLM 워크플로우와 직접 연결되도록 한다.

이러한 작업이 제대로 이뤄지면 모델 성능과 신뢰도가 높아진다. 글로벌 학술 출판사 스프링거 네이처에 게재된 논문 ‘신뢰할 수 있는 LLM을 향하여: 거대언어모델의 편향 및 환각 제거에 관한 고찰(Towards trustworthy LLMs: a review on debiasing and dehallucinating in large language models)’은 데이터 품질 향상이 LLM 환각·편향 문제를 줄이는 핵심 전략 중 하나임을 강조했다.

또한 허깅페이스 연구진의 ‘FineWeb’ 관련 연구에서는 학습 데이터의 품질이 같은 모델의 성능을 향상시킨다는 결과가 나왔다. 연구진은 동일한 18억 매개변수 LLM에 3,500억 토큰 분량의 데이터를 학습시킨 후, 일반 웹 데이터인 FineWeb과 고품질 교육 콘텐츠로 정제한 FineWeb-Edu의 성능을 각각 비교했다. 그 결과 종합 지식 평가인 MMLU 점수는 33%에서 37%로, 추론 능력을 측정하는 ARC 점수는 46%에서 57%로 향상됐다.

도메인 특화 LLM도 주목받고 있다. 이는 범용 LLM이 의료, 법률, 금융 등 분야에서는 전문 용어와 도메인 맥락을 충분히 학습하지 못한 탓이다.

이와 관련해 플리토는 전문서적과 전문가를 활용한 고품질 학습 데이터셋과 기업이 보유한 문서를 기반으로 한 학습 데이터셋을 함께 구축하고 있다. 여기에 환각과 논리적 오류에 대응하기 위해 모델이 정답에 이르는 사고 과정을 단계별로 학습시키는 사고의 사슬(CoT) 데이터 구축에도 집중하고 있다.

회사 측은 “AI 통번역 솔루션을 통해 B2B 현장에서 인식율이 떨어지는 데이터를 도메인별로 리스트업한 뒤 검수·정제 과정을 거친다”며 “빅테크가 접근하기 어려운 데이터 사각지대를 해소해 특정 산업에 특화된 LLM의 성능 병목을 풀어가고 있다”고 설명했다.

AI는 왜 모든 언어를 동일하게 다루지 못하나

글로벌 AI 기업들이 모델을 학습할 때 사용한 데이터를 언어별로 보면 영어가 가장 큰 비중을 차지하고 그 외 주요 유럽어 및 중국어, 일본어 정도가 있다. 이로 인해 화자가 적은 언어일수록 확보할 수 있는 데이터가 부족해 학습이 쉽지 않고 별도의 데이터 구축이 필요한 상황이다.

AI 데이터 및 솔루션 전문기업 플리토는 이러한 문제를 자사 데이터 플랫폼에서 풀어가고 있다. 회사에 따르면 사용자들이 직접 참여하는 크라우드 방식으로, 학습에 필요한 원천 데이터를 생성한 뒤 언어 확인·개인정보 제거·중복 제거·사실성 검증·성별 편향 조정 등 가공·정제 과정을 거쳐 학습 데이터로 변환하는 파이프라인을 운영하고 있다. 이를 통해 합성 데이터로는 대체할 수 없는 고품질 데이터가 만들어진다.

AI 데이터 구축 파이프라인 (자료=전자공시시스템(DART))

단순히 데이터 양을 늘리는 차원을 넘어 모델 편향을 줄이는 효과도 있다. 회사의 설명을 빌리자면 십자군 전쟁이나 대항해시대 같은 역사적 사건은 유럽인의 시각에서만 설명할 수 있다는 것이다.

언어의 데이터가 많을수록 해당 언어권의 문화와 관점이 반영될 가능성이 높아지는 만큼, 저자원 언어 데이터를 폭넓게 구축해야 이러한 편향을 줄일 수 있다는 게 회사 측 설명이다.

가트너 “데이터 대표성이 AI 경쟁력 가른다”

가트너는 생성형 AI 모델이 점차 범용화되면서 경쟁력은 비즈니스 성과와 연결된 데이터의 대표성에서 나온다고 진단했다. 최근 발행한 보고서 ‘생성형 AI에 적합한 데이터를 만들기 위한 7가지 실천 방안(Follow These 7 Practical Actions to Make Your Data GenAI Ready)’에 따르면 데이터 대표성이란 기업이 해결하고자 하는 실제 비즈니스 문제를 정확히 반영하는 특성을 의미한다.

가트너는 생성형 AI에 적합한 데이터 준비 과정을 정렬·거버넌스·자격 검증 3대 영역으로 나눠 7가지 실천 방안을 제시했다. (자료=가트너)

구체적으로 데이터 준비 과정을 정렬(Align), 거버넌스(Govern), 자격 검증(Qualify)의 3대 핵심 영역으로 나누어 체계적으로 실행해야 한다는 분석이다. 이를 위해 △메타데이터를 활용한 문맥 강화 △보안 정책을 통한 민감 정보 필터링 △도메인 전문가 기반의 평가 데이터셋 구축 등 조치를 통해 데이터를 생성형 AI에 최적화할 것을 제언했다.

가트너는 “생성형 AI 모델이 점차 범용화되면서 진정한 경쟁력은 비즈니스 성과와 연결된 데이터에서 나온다”며 “기업은 데이터를 정렬하고 거버넌스를 적용하며 자격을 검증하는 과정을 통해 생성형 AI에 적합한 데이터로 만들어야 한다”고 분석했다.

구축 예정 AI 추론데이터 목록. (자료=과학기술정보통신부)

AI 데이터 자산 확보 나선 정부, 잇따른 지원책 나서

우리 정부 역시 데이터의 중요성을 강조하며 고품질 데이터 확보에 적극 나서고 있다. 특히 과학기술정보통신부는 올해 들어 AI 학습용 데이터 기반을 강화하기 위한 정책을 잇따라 내놓고 있다.

우선 지난 2월에는 AI 학습용 데이터 구매비용을 연구개발(R&D) 세액공제 대상에 포함시켰다. ‘AI 학습용 데이터 투자가 모델 성능을 좌우하는 R&D의 핵심’이라는 판단에서다. 이에 따라 AI 개발을 위해 구매한 학습용 데이터 비용에 대해 중소기업은 최대 50%, 중견·대기업은 최대 40%까지 법인세(또는 소득세)에서 공제받을 수 있게 됐다. 그간 클라우드 이용료에만 적용되던 세제 혜택을 데이터 영역까지 확대한 것이다.

4월에는 추론용 학습 데이터 10종 구축 사업도 시작했다. 총 66억 원 규모로 LLM 분야와 피지컬 AI 분야에서 각각 5종씩 추론데이터를 구축하는 사업이다. LLM 분야에서는 복합 문서 기반 지식 추론, 한국어 기반 도구 호출, 웹·GUI 기반 행동 추론 등이, 피지컬 AI 분야에서는 제조설비 이상 진단, 표면 결함 원인 분석, 로봇 작업 실패 원인 추론 등이 포함된다. 구축된 데이터는 향후 ‘AI 허브’를 통해 기업·연구기관·스타트업 등이 자유롭게 활용할 수 있도록 공개된다.

같은 달 전 부처를 대상으로 한 ‘AI 학습용데이터 센서스’도 실시했다. 각 부처 및 공공기관이 보유한 AI 학습용 데이터의 현황을 체계적으로 파악하고 활용 가능성이 높은 데이터 100종을 발굴해 ‘AI 학습용데이터 통합제공체계’를 통해 연계·제공한다는 계획이다.

현재 산업·공공 전반에서 AI 활용 수요가 급증하고 있으며, 이를 뒷받침할 수 있는 고품질 데이터 확보가 핵심 경쟁력으로 부상하고 있다. 양질의 데이터를 안정적으로 수집·정제·구축할 수 있는 산업계 기술력과 학계 연구가 한 단계 도약하고 정부 차원의 정책·인프라가 이를 뒷받침할 때 비로소 진정한 AI 경쟁력의 토대가 마련될 수 있을 것이다.