AI가 연구 아이디어 생성부터 논문 작성까지 전 과정을 수행하는 시대가 현실로 다가오고 있다. AI 모델이 100% 생성한 논문이 인간 심사 과정을 통과, 세계적인 학술지에 게재됐다.
사카나는 26일 과학 연구 전문 에이전트 ‘AI 사이언티스트-v2(The AI Scientist-v2)’가 생성한 논문 '
인공지능 연구의 엔드투엔드 자동화를 향하여(Towards end-to-end automation of AI research)
'가 네이처에 게재됐다고 밝혔다.
이번 연구는 브리티시컬럼비아대학교, 옥스포드대학교, 벡터 연구소 등과의 협력을 통해 진행됐다. 이들은 논문을 작성한 것이 아니라, AI 시스템을 설계하고 검증하는 역할을 맡았다.
논문 내용은 AI가 머신러닝 연구의 전 과정을 수행할 수 있음을 체계적으로 입증하고, 시스템 구조와 한계, 가능성까지 분석한 것이다.
이번 연구에서는 AI 모델 성능이 향상될수록 생성되는 논문의 품질도 개선되는 ‘스케일링 법칙’이 확인됐다. 이는 앞으로 더 강력한 모델과 낮아진 연산 비용이 결합하면, AI가 인간 연구자를 넘어서는 성과를 낼 가능성을 보여준다.
2024년 8월 처음 공개된 'AI 사이언티스트'는 주어진 연구 주제를 바탕으로 새로운 가설을 생성하고, 관련 논문을 탐색·분석한 뒤 실험을 설계하고 코드를 작성해 실행한다.
이후 결과를 분석·시각화하고, 최종적으로 LaTeX 형식의 논문까지 작성하는 ‘엔드투엔드 연구 자동화’를 구현한 것이 특징이다. 특히 병렬화된 에이전트 탐색 방식을 통해 다양한 실험을 동시에 수행할 수 있다.
사카나는 1년 전에도 AI가 생성한 논문을 국제 학회 ICLR 워크숍에 제출해 인간 심사를 통과했다고 밝히며 주목받은 바 있다. 당시 논문은 평균 6.33점을 기록하며 인간 논문의 평균 합격 기준을 넘어섰고, 전체 제출 논문 중 55%보다 높은 평가를 받았다. 다만 학술 윤리와 투명성 문제를 지적받으며, 최종 게재 전 자진 철회됐다.
연구진은 논문 평가를 위해 ‘자동 리뷰어(Automated Reviewer)’ 시스템도 구축했다. 이 시스템은 여러 리뷰를 종합해 최종 판단을 내리는 구조다. 실제 인간 심사 데이터(OpenReview)를 기반으로 검증한 결과, 인간과 유사한 수준의 성능을 보였다. 일부 지표에서는 인간 심사자 간 일관성을 뛰어넘는 성과도 나타났다.
하지만, 한계도 분명하다. 사카나는 AI 사이언티스트가 단순하거나 미완성된 아이디어를 생성하는 경우가 있으며, 복잡한 방법론 설계나 코드 구현에서 부족함을 보이기도 한다고 밝혔다. 또 부정확한 인용이나 중복 이미지 생성 등 이른바 ‘환각’ 문제도 여전히 해결 과제로 남아 있다. 실제로 일부 AI 생성 논문은 이러한 문제로 비판받기도 했다.
윤리적 논쟁도 커지고 있다. AI가 논문을 자동 생성할 경우 연구 성과 부풀리기, 학술 생태계 왜곡, 심사 시스템 과부하 등 다양한 부작용이 발생할 수 있기 때문이다.
이에 연구진은 AI 생성 논문에 워터마크를 적용하고, 관련 학술 규범을 정립할 필요성이 있다고 강조했다.
박찬 기자 cpark@aitimes.com
댓글
0