구글 딥마인드의 전설적인 개발자가 AI의 두가지 '루프(loop)'를 강조했다. 모델의 '자기 개선 루프(loop of self-improvement)'는 이미 시작됐으며, 앞으로 모델의 성능 향상은 단순한 스케일링을 넘어 AI가 '자신을 검증하는 루프(verification loop)'를 통해 완성되리라는 것이다.
모스타파 데가니 딥마인드 수석 연구과학자는 3일(현지시간) 공개된 MAD 팟캐스트에 출연, AI의 자기 개선에 따라 이제는 인간 병목이 제거되고 있다고 밝혔다.
그는 "대부분 사람은 이것이 이미 일어나고 있다는 것을 깨닫지 못한다. 특히 지난 몇달 동안 거의 모든 연구소에서 차세대 모델은 이전 세대 모델을 집중적으로 활용해 구축되고 있다"라고 말했다.
이어 "핵심은 모델 개선 과정에서 인간의 병목 현상(human bottleneck)과 편향을 제거하는 것"이라며 "우리는 모델 개선을 위한 인간의 병목을 방금 막 제거했으며, 이러한 발전으로부터 다시 한번 거대한 도약이 있을 것으로 기대한다"라고 설명했다.
이는 AI가 AI를 만드는 데 본격적으로 활용된다는 것을 말한다. 이 방식은 인간의 데이터 생산 능력과 피드백의 물리적 한계를 뛰어넘을 수 있다.
예를 들어, 인간 피드백을 통한 강화 학습(RLHF)은 많은 사람이 일일이 AI의 답변을 읽고 점수를 매겨야 했다. 하지만 AI가 이를 대체하면, 인간의 편향을 제거할 수 있는 것은 물론, 학습 속도도 과거와는 비교할 수 없을 정도로 빨라진다.
실제로 최근 출시되는 첨단 모델은 성능이 폭발적으로 향상하고 있으며, 출시 주기도 기존 6개월에서 이제는 1~2개월로 줄어드는 추세다.
AI의 자기 개선은 구글만이 아니라 주요 AI 기업이 최근 일제히 강조하는 키워드다. 알렉산드르 왕 메타 CAIO는 지난 2월 인터뷰에서 "2025년 말부터 완전히 새로운 패러다임, 즉 재귀적 자기 개선(Recursive Self-improvement)의 시대가 정말로 시작했다"라고 말했다. 또 오픈AI는 'GPT-5.3-코덱스' 개발에, 중국의 미니맥스는 'M2.7' 개발에 모델이 자신의 학습·개발 과정에 참여하는 구조를 적용했다고 밝혔다.
여기에 데가니 수석은 모델의 성능을 더 끌어올리기 위해서는 자기 검증 루프가 중요하다고 강조했다. 이는 "특정 문제 안에서 모델이 자신의 프로세스를 반복하며 결과를 정교화하고 다시 생각하게 만드는 방법"을 말한다.
과거에는 스케일링을 통해 AI의 정확도를 몇% 끌어올리는 것이 의미 있었을지 모르지만, 앞으로 그렇지 않다는 것이다. 그 이유로는 에이전틱 AI의 확대를 꼽았다. 에이전트는 장기적이고 다단계의 업무를 수행해야 하기 때문이다.
"모델의 각 단계 성공률이 95%라고 가정하면, 단 한번의 실패 없이 전체 과업을 완료할 확률은 0.95의 100제곱이며 이는 1% 미만"이라며, 이를 "수학적 잔혹함(This math is brutal)"이라고 표현했다.
이 때문에 모델의 정확도가 99%에 달하더라도 수학적 잔혹함을 이길 수 없으며, 대신 중간에 틀렸을 때 모델이 스스로 알아차리고 수정하는 '오류 복구(Error Recovery)' 능력이 훨씬 중요하다고 강조했다.
이처럼 그는 AI가 AI를 만드는 '개발 루프'와 AI가 문제를 풀 때 스스로 검토하는 '추론 루프'가 결합할 때 기술적 특이점이 올 것이라고 봤다.
또 '지속 학습(Continual Learning)'에 대해서는 여전히 많은 과제가 남았다고 지적했다. 모델이 새로운 지식을 배울 때 과거의 지식을 잊어버리는 '파괴적 망각(Catastrophic Forgetting)' 문제를 해결해야 한다는 것이다.
여기에 지속 학습이 완성되면 모델의 지식이 항상 최신 상태로 유지되므로, 정보를 검색해 오는 검색 증강 생성(RAG)의 역할이 현재와는 다른 형태로 변할 수 있다고도 전했다.
한편, 데가니 수석은 현재 멀티모달 모델의 근간이 된 '비전 트랜스포머(ViT)'의 창시자이자, 트랜스포머 모델이 데이터를 반복적으로 처리하며 더 깊이 사고하게 만드는 '유니버설 트랜스포머(Universal Transformer)'를 개발한 인물이다.
구글의 '제미나이'가 멀티모달 최강자로 자리 잡도록 한 일등 공신이기도 하다.
임대준 기자 ydj@aitimes.com
댓글
0