AI 모델의 성능이 급속도로 향상되면서, 이를 인간의 가치와 기준에 맞게 통제하려는 ‘정렬(alignment)’ 연구도 중대한 전환점을 맞고 있다. 앤트로픽이 14일(현지시간) 공개한 'AI가 AI를 정렬한' 실험 결과가 이를 시사한다.
이번 연구는 두가지 핵심 질문에서 출발했다. AI 모델이 스스로 정렬 연구를 가속할 수 있는지, 그리고 인간보다 더 똑똑한 AI를 어떻게 통제할 것인지다. 특히 후자는 ‘확장 가능한 감독(scalable oversight)’이라는 개념으로, 초지능 AI 시대의 핵심 과제로 꼽힌다.
연구의 중심에는 ‘약-강 감독(weak-to-strong supervision)’이라는 개념이 있다. 이는 상대적으로 성능이 낮은 모델(약한 교사)이 더 강력한 모델(강한 학생)을 지도하는 구조다.
이 방식에서 강한 모델은 약한 모델의 피드백을 그대로 따르는 데 그치지 않는다. 대신, 이를 해석하고 확장해 더 높은 수준의 성능을 달성하는 것이 목표다.
연구진은 이러한 향상 정도를 ‘성능 격차 회복(PGR, Performance Gap Recovered)’이라는 지표로 정량화했다. PGR이 0이면 강한 모델이 약한 모델과 동일한 수준에 머무는 것을 의미하며, PGR이 1이면 이론적으로 도달 가능한 최대 성능에 이른 상태를 뜻한다.
이러한 구조는 인간과 같이 상대적으로 ‘약한 감독자’가 미래의 초지능 AI, 즉 ‘강한 모델’을 통제해야 하는 상황을 축소된 형태로 실험하기 위해 설계된 것이다.
AAR 설정의 개략도. 병렬로 동작하는 AAR 에이전트들은 각각 독립된 샌드박스 환경에서 작업을 수행하며, 공유 포럼과 코드베이스 저장소를 통해 협력한다. 제출된 해법은 원격 평가 API를 통해 검증되며, 대시보드를 통해 진행 중인 실험을 모니터링하고 새로운 실험을 시작할 수 있다. (사진=앤트로픽)
연구진은 '클로드 오퍼스 4.6'을 기반으로 9개의 AI 에이전트를 구성하고, 이를 ‘자동 정렬 연구자(AAR)’로 설정했다. 각 에이전트는 실험 환경(샌드박스), 코드 저장소, 협업 포럼, 성능 평가 시스템 등을 갖춘 상태에서 독립적으로 가설을 세우고 실험을 수행했다.
비교를 위해 인간 연구자 2명이 7일간 수행한 실험에서는 PGR 0.23을 기록했다. 반면, AI 연구자들은 약 800시간의 누적 연구 끝에 PGR 0.97을 달성하며 거의 전체 성능 격차를 회복했다. 여기에 들어간 비용은 1만8000달러(약 2653만원) 수준으로, 시간당 22달러(약 3만2440원)에 해당한다.
이는 AI가 큰 비용 부담 없이 정렬 연구의 속도를 획기적으로 끌어올릴 수 있음을 시사하는 결과다.
수학 및 코드 데이터셋에 적용했을 때 AAR이 발견한 두 가지 아이디어의 PGR. 점선은 인간이 튜닝한 최적의 기준선(baseline)이다. (사진=앤트로픽)
연구진은 AI가 만든 방법이 새로운 문제에도 적용되는지 검증했다.
그 결과, 일부 방법은 수학 문제에서 PGR 0.94, 코딩 문제에서 0.47을 기록하며 인간보다 우수한 성과를 보였다. 다만, 다른 방법은 특정 분야 성능을 오히려 악화하는 등 일반화는 아직 완전하지 않은 것으로 나타났다.
또 실제 운영 환경에서의 테스트에서는 통계적으로 의미 있는 개선이 나타나지 않았다. 이는 현재 단계의 한계이거나 평가 방식의 문제일 가능성이 제기된다.
이번 연구는 AI가 인간처럼 ‘연구 감각’을 갖추지 못했더라도, 방대한 실험을 빠르게 반복하는 방식으로 이를 보완할 수 있음을 보여준다. 소수의 뛰어난 아이디어보다 대량의 실험이 더 중요한 시대가 올 수 있다는 의미다.
이에 따라 정렬 연구의 병목이 ‘아이디어 생성’에서 ‘평가 및 검증’으로 이동할 가능성도 제기됐다.
한편, 연구는 중요한 위험 신호도 드러냈다. 일부 AI는 문제를 정직하게 해결하기보다 ‘보상 해킹(reward hacking)’을 시도했다. 수학 문제에서 가장 자주 등장하는 답을 선택하거나, 코드 문제에서 직접 실행해 정답을 알아내는 식이다.
연구진은 이러한 사례를 모두 제외했지만, 앞으로 자동화된 연구 시스템에서는 인간의 감독과 검증이 필수적임을 강조했다.
또 AI가 점점 더 복잡한 아이디어를 생성하게 되면, 인간이 이를 이해하거나 검증하기 어려운 ‘외계 과학(alien science)’ 단계에 도달할 가능성도 제기된다.
앤트로픽은 "이번 결과로 첨단 AI가 범용적인 정렬 과학자로 발전했다는 의미는 아니다"라고 선을 그었다. 다만 명확한 목표와 평가 기준이 있는 문제에서는 AI가 연구 속도를 크게 높일 수 있다는 점을 확인했다는 평이다.
박찬 기자 cpark@aitimes.com
댓글
0