[기고] 생산성이 폭발하는 순간 - 사람이 2주 동안 할 일을 8시간 만에 ...

어라이즈 AI 이승민 아시아태평양 기술총괄

[아이티데일리] 최근 연일 빅테크에서 AI를 도입한 뒤 사람들을 해고하고 있다는 뉴스가 나오며 불안감을 증폭시키고 있다. 그런데 현업에서 보면 여전히 기업들은 2022년에도, 2026년에도 같은 문제를 풀고 있다. 바로 검색 문제다.

챗GPT가 처음 나온 2022년 11월, 사람들은 처음에 열광했지만 금새 생성형 AI의 한계를 깨달았다. 바로 ‘환각(Hallucination)’이었다. 간혹 가다 챗GPT가 1400년대에 사셨던 세종대왕이 2010년대에 나온 맥북 프로를 집어 던졌다는 식의 엉터리 답변을 내놓는 것이었다.

해결책으로 제시된 방법은 검색증강생성(RAG: Retrieval Augmented Generation) 기법이었다. 마치 오픈북 시험처럼 검색으로 답변에 참고가 될만한 문서들을 미리 찾아서 프롬프트에 넣어주는 것이다. 그럼 AI 모델은 검색된 문서들을 참고해서 이전보다 훨씬 정확한 답변을 해냈다.

문제는 이것이 여전히 확률적이라는 것이다. 의료나 법률, 군사, 보안 등 99.9%의 정확도도 충분하지 못한 분야가 여전히 많이 있는데 AI의 답변이 확률적이라면 제품으로 사용될 수 없다. 그래서 2022년부터 지금까지도 많은 기업들은 어떻게 하면 검색이 잘 되게 할 수 있는지를 놓고 고민해왔다. 이때 주로 사용되는 지표가 ‘리콜’이라는 지표로, 이는 “질문에 대한 정답이 들어있는 문서가 상위 N개의 검색 결과 안에 포함되는 비율”을 말하는데, 이 리콜 지표를 개선하는 것이 여전히 전 세계의 엔지니어들의 풀리지 않는 숙제다.

그런데 올해부터 여기서 변화가 감지되고 있다. 지난 3월 29일 서울에서 열린 랄프톤 행사에서 필자는 이 검색 문제를 AI로 풀어보는 실험을 진행해보았다. 클로드 코드로 하여금 리콜 수치가 39%밖에 안나오는 아주 단순한 법률 검색 에이전트를 바라보게 하고는 미션을 주었다. “리콜이 80%를 넘을 때까지 스스로 실험을 설계하고, 실행하고, 평가하고, 개선하라.” 그리고는 노트북에서 손을 뗐다.

8시간 뒤 에이전트는 17번의 실험을 완료하고 리콜 수치를 39%에서 75%까지 끌어올려 놓았다. 성능이 떨어진 버전은 스스로 폐기하고 개선된 버전만 남겼다. 사람이 했다면 각 실험마다 코드 수정, 재인덱싱, 평가 실행, 결과 분석, 다음 가설 수립이라는 사이클을 반복하느라 2주는 족히 걸릴 작업량이었다.

이 실험이 작동한 원리는 이전 기고에서 다룬 것과 정확히 같다. 연산자원을 이용해서 모든 문제를 탐색 문제로 치환하는 것이다. 에이전트는 성능을 개선할 수 있는 다양한 방법들을 탐색하고, 검증 가능한 지표로 개선 여부를 판정한다. 미토스가 보안에서 이 원리를 증명했다면, 이 실험은 검색 문제에서 같은 원리를 증명한 사례다.

흥미로운 것은 에이전트가 사람이 예상하지 못한 발견을 해냈다는 점이다. 가장 큰 성능 도약은 검색의 대상이 되는 문서의 크기를 1000단어에서 400단어로 줄인 것에서 나왔다. 이 한 가지 변경만으로 리콜 수치가 13% 올랐다. 법률 문서는 조항 단위로 의미가 끊기기 때문에 짧은 문서가 더 효과적으로 검색이 되었던 것이다.

이 발견들은 원래 작업 지시서에 없었다. 에이전트가 실험 결과를 분석하고 스스로 새로운 가설을 세운 것이다. 이전 기고에서 소개한 카파시의 고백 – “내가 병목이었다” - 이 이 실험에서도 반복됐다. 사람이 떠올리지 못한 가설을 에이전트가 탐색하고 검증해냈다.

이 실험에서 결정적이었던 것은 세 가지다.

첫째, 정량적 종료 조건이다. “리콜 수치 80% 이상을 달성하라”는 정량적 종료 조건이 있었기 때문에 AI는 목표에 도달할 때까지 스스로 멈추지 않았다. 실험이 끝나면 평가 결과를 분석해서 새로운 해결책을 고민하고 스스로 새로운 작업을 시작했다.

둘째, 일관된 평가 체계다. 17번의 실험이 모두 동일한 평가 데이터셋과 동일한 채점 기준으로 측정됐다. 실험마다 평가 방식이 달라졌다면 어떤 변경이 실제로 개선을 가져왔는지 판별할 수 없다. 이전 기고에서 “결국 데이터셋 싸움, 평가 싸움”이라고 정리한 것이 여기서 실증된다.

셋째, 안전한 실험 환경이다. 이 실험에서는 블루/그린 패턴 - 새 버전을 별도로 만들고 성능이 확인된 후에만 교체하는 방식 - 을 사용했다. AI가 코드를 크게 바꾸더라도 기존 시스템이 망가지지 않았다. 성능이 되레 떨어진 실험도 있었지만 이 경우엔 실패한 이유가 기록으로 남아 다음 실험을 기획하는 데에 참고가 되었다.

이 세 가지는 카파시의 autoresearch에서 영감을 받은 것으로 누구나 쉽게 따라할 수 있는 방법이다. 그리고 반드시 클로드 코드를 사용해야만 하는 것도 아니었다. 다른 모델을 사용하더라도 이 방법론을 이용하면 정량적으로 기존보다 나은 방법을 찾아낼 수 있다. 이 실험의 함의는 단순하다. 검증 가능한 평가 기준이 있는 시스템은 어떤 것이든 자율적으로 개선될 수 있다. 법률 검색뿐 아니라 고객 응대 품질, 코드 리뷰 정확도, 문서 분류 성능 - 정답이 정의되고 자동으로 채점할 수 있는 모든 업무가 같은 구조의 대상이 된다.

단순한 실험이었지만, 이 실험을 통해 하네스 아키텍처 또한 얼마든지 AI를 활용해 자동으로 개선할 수 있다는 점을 확인할 수 있었다. 이전 기고에서 말한 것처럼 이제부터의 경쟁은 누가 더 나은 안목을 갖고 있느냐, 누가 더 나은 취향을 갖고 있느냐, 그리고 누가 그 안목과 취향을 데이터셋으로 녹여낼 수 있느냐에서 벌어질 것이다.