[기고] 진화하는 AI 시대, 리더는 무엇을 결정해야 하는가

어라이즈 AI 이승민 아시아태평양 기술총괄

[아이티데일리] AI 업계의 변화가 정말 숨가쁘다. 챗GPT의 등장 이후 프롬프트 엔지니어링이라는 단어가 한동안 유행하더니 어느새 사람들은 컨텍스트 엔지니어링을 이야기하기 시작했고 2025년 후반부터는 하네스 엔지니어링이라는 신조어가 유행하기 시작했다. 그리고 2026년이 되자 이제는 아예 하네스 엔지니어링을 인간의 개입없이 AI가 해내는 단계, 즉 스스로 개선되는 AI의 시대로 접어들기 시작했다.

이 새로운 시대의 경쟁력은 이전 기고문에서 언급한 것처럼 데이터셋과 평가다. 그렇기 때문에 기업의 리더가 집중해야 할 것은 바로 좋은 데이터셋을 만드는 것이다. 그렇다면 좋다는 것은 무엇이고 데이터셋이란 무엇인가?

좋다는 것은 기본적으로 주관적인 판단이다. 하지만 보편적으로 “좋다”고 인식되는 포인트는 분명히 있고 많은 사람들에게 “좋은” 것으로 인식되는 제품을 만드는 기업들은 시장에서 승리해왔다. 세계적인 마케팅 전문가 세스 고딘은 저서 ‘트라이브스(Tribes)’에서 “결국 사람들은 원래 자기가 가고 싶었던 곳으로 이끌릴 때 가장 쉽게 따라간다”고 썼다. 더 나은 취향을 가진 조직이 더 나은 제품을 만들고 더 나은 제품이 사람들을 끌어모은다.

그리고 데이터셋이란 누군가의 머릿속에 들어있는 그 “취향과 가치관”, 좋고 나쁨을 가르는 그 ‘기준’을 명시적으로 데이터화한 것이다. 어머니의 손맛 같이 어머니만 알고 있는 기준, 어느 정도의 소금이 적당한지, 적당하지 않은지 가르는 그 기준을 기록해 놓으면 그것이 데이터셋이 된다. 그래서 좋은 데이터셋을 만든다는 것은 좋은 기준을 기록해 놓은 것이 된다.

말로는 쉽지만 현실에서는 매우 어렵고 비싼 작업이다. 좋은 취향을 가진 사람이 드물고, 그 사람의 머릿속에 들어있는 기준을 데이터화하는 것도 어렵다. 그래서인지 현업에서 데이터셋을 잘 만들고 관리하는 조직을 만나는 것은 생각보다 쉽지 않다. 이는 거꾸로말하면 데이터셋을 관리하기 시작하기만 해도 상당히 앞 서있을 수 있다는 이야기이기도 하다.

스스로 진화하는 AI의 유일한 조건은 “무엇이 좋은 결과인지”를 자동으로 판정할 수 있는 평가 체계다. 카파시의 autoresearch가 작동한 이유는 “GPT-2 수준 달성”이라는 명확한 평가 기준이 있었기 때문이다. 모델은 매 분기 새로운 것이 나오고 교체도 간단한 반면, 잘 만들어둔 평가 데이터셋은 쌓을수록 깊어지는 해자(moat)다. 어떤 모델이 오더라도 이 인프라 위에서 루프를 돌리면 하네스를 최적화할 수 있다.

취향에 대해 다시 얘기해보자면, 아무런 경험도 해보지 않은 사람은 매력적인 취향을 가질 수 없다. 그러니 매력적인 취향은 오직 많은 경험을 통해서만 만들어진다고도 말할 수 있다. 이는 조직 역시 마찬가지다. 에이전트를 만들고 다양한 고객의 데이터를 직접 만나기 시작하면 고객의 취향이 손에 잡히기 시작한다. 클로드 코드를 만든 앤스로픽의 개발자 보리스 처니는 이를 “잠재 수요를 포착한다”라고 표현했다. 그리고 잠재 수요가 이끄는 방향으로 제품을 만들었을 때마다 큰 비지니스 성과로 이어졌다.

그래서 리더에게 권하고 싶은 것이 있다. 조직 내에서 사이드 프로젝트를 장려하고 포상하라. 앤스로픽의 매출 성장에 큰 기여를 한 클로드 코드도 그 시작은 사이드 프로젝트에서 시작됐다. 많은 사람들이 쓰고 있는 구글의 지메일도 마찬가지다. 클로드 코드와 지메일이 나오기 까지는 무수히 많은 시행착오들이 있었을 것이고 그 시행착오는 그대로 조직의 역량이 됐다.

혁신은 계획된 로드맵에서 나오지 않는다. 현장에서 문제를 피부로 느끼는 사람이 “이거 AI로 풀어볼 수 있지 않을까?”라고 생각하는 순간에서 시작된다. 리더의 역할은 이 순간을 장려하고, 성과가 나오면 조직 전체에 확산시키는 것이다. 그래서 조직 내에서 사이드 프로젝트의 붐을 일으킬 수 있다면 도전하는 문화와 누적되는 학습은 경쟁자들이 따라올 수 없는 해자가 될 수 있다.

실리콘밸리의 AI 스타트업에 몸을 담고 매일매일 에이전트를 만드는 고객들의 문제를 함께 해결하며 확인하는 것도 결국 이 패턴이다. 스스로 진화하는 AI 시대에 살아남는 조직과 도태되는 조직의 격차는 도전하는 문화 그리고 평가 파이프라인을 구축하고 지속적으로 개선해내는 역량에서 벌어질 것이다.