[AI 이슈] 구글 딥마인드, AGI 평가 기준 공개…"인간 인지 기반으로 진...

10대 인지 능력 프레임워크 제시…캐글과 글로벌 해커톤 개최 통해 평가 체계 구축

이미지:아이스톡

구글 딥마인드가 범용 인공지능(AGI)의 발전 수준을 정량적으로 측정하기 위한 새로운 평가 프레임워크를 공개하며, AI 성능 평가 방식의 전환을 예고했다. 기존에는 AGI에 얼마나 근접했는지를 판단할 명확한 기준이 부족했지만, 이번 연구를 통해 인간 인지 능력을 기반으로 한 체계적 평가 접근이 제시됐다는 점에서 주목된다.

17일(현지시간) 구글 딥마인드는 ‘AGI로의 진전 측정: 인지 분류 체계(Measuring Progress Toward AGI: A Cognitive Taxonomy-

다운

)’라는 새로운 연구 논문을 발표하고, AI 시스템의 일반 지능을 분석할 수 있는 과학적 기반을 공개했다. 동시에 이를 실제 평가 체계로 발전시키기 위해 캐글과 공동으로 글로벌 해커톤을 개최한다고 밝혔다.

인간 인지 구조 기반 ‘10대 핵심 능력’ 제시

이번 프레임워크의 핵심은 인간의 사고 구조를 반영한 ‘인지 분류 체계(cognitive taxonomy)’다. 구글 딥마인드는 심리학, 신경과학, 인지과학 연구를 바탕으로 AGI에 필수적인 10가지 인지 능력을 정의했다.

여기에는 ▷환경에서 정보를 추출하는 ‘지각(Perception)’, ▷텍스트·음성·행동을 생성하는 ‘생성(Generation)’, ▷중요한 정보에 집중하는 ‘주의(Attention)’를 비롯해, ▷경험을 통해 지식을 습득하는 ‘학습(Learning)’, ▷정보를 저장하고 활용하는 ‘기억(Memory)’이 포함된다.

또한 ▷논리적 판단을 수행하는 ‘추론(Reasoning)’, ▷자신의 사고 과정을 이해하는 ‘메타인지(Metacognition)’, ▷계획과 억제·유연성을 담당하는 ‘집행 기능(Executive Functions)’, ▷특정 분야의 문제에 대한 효과적인 해결책을 찾는 '문제 해결(Problem solving)', ▷그리고 사회적 맥락을 이해하는 ‘사회적 인지(Social Cognition)’까지 총 10개 영역으로 구성된다.

이는 단일 작업 성능이 아닌, 인간과 유사한 종합적 사고 능력을 기준으로 AI를 평가하겠다는 접근이다.

인간과 비교하는 3단계 평가 체계

구글 딥마인드는 이 같은 인지 능력을 실제로 측정하기 위해 인간과 AI를 직접 비교하는 3단계 평가 프로토콜도 제안했다.

먼저 ▷각 인지 능력을 측정할 수 있는 다양한 과제를 구성하고, 데이터 오염을 방지하기 위해 별도의 테스트셋을 활용해 AI 시스템을 평가한다. ▷이후 동일한 과제를 기반으로 다양한 인구 집단을 대표하는 인간 데이터를 수집해 기준선을 설정한다. ▷마지막으로 AI 성능을 인간 수행 분포와 비교해 각 인지 영역에서 상대적 수준을 정량적으로 분석하는 방식이다.

이 접근은 단순 점수 비교를 넘어, AI가 인간 수준 대비 어느 위치에 있는지를 다차원적으로 보여주는 것이 특징이다.

해커톤 통해 ‘평가 공백 영역’ 집중 공략

이론적 프레임워크를 실제 평가 체계로 확장하기 위해 구글 딥마인드는 캐글과 협력해 글로벌 해커톤도 함께 시작했다. ‘AGI로의 진전 측정: 인지 능력(Measuring progress toward AGI: Cognitive abilities)’이라는 이름으로 진행되는 이번 대회는, 특히 현재 평가가 부족한 영역에 초점을 맞췄다.

주요 대상은 학습, 메타인지, 주의, 집행 기능, 사회적 인지 등 5개 분야로, 기존 AI 벤치마크에서 상대적으로 평가 공백이 큰 영역들이다. 참가자들은 캐글의 커뮤니티 벤치마크 플랫폼을 활용해 새로운 평가 방법을 설계하고, 최신 AI 모델을 대상으로 이를 검증할 수 있다.

총 상금 규모는 20만 달러(약 2.9억원)로, 각 분야 상위 2개 팀에는 1만 달러씩이 지급되며, 전체 최우수 4개 팀에는 각각 2만5000달러의 추가 상금이 주어진다. 참가자들은 Kaggle에서 새롭게 출시한 커뮤니티 벤치마크 플랫폼(

보기

)을 사용하여 다양한 최첨단 모델에 대한 평가를 구축하고 테스트할 수 있다. 대회(

보기

)는 이날부터 오는 4월 16일까지 진행되며, 결과는 6월 1일 발표될 예정이다.

“AGI 논의, 개념에서 측정의 단계로”

이번 발표는 AGI를 둘러싼 논의를 개념적 수준에서 벗어나, 측정과 검증이 가능한 과학적 영역으로 확장했다는 점에서 의미가 크다. 특히 인간 인지 능력을 기준으로 AI를 평가하는 접근은 향후 기술 개발 방향뿐 아니라 정책·규제, 신뢰성 검증 체계에도 영향을 미칠 것으로 보인다.

업계에서는 이번 프레임워크가 단순 성능 경쟁을 넘어, AI가 실제로 얼마나 인간과 유사한 사고 능력을 갖추고 있는지를 평가하는 핵심 기준으로 자리 잡을 가능성이 크다고 보고 있다. 동시에 AGI 도달 여부를 둘러싼 논쟁 역시 보다 객관적인 데이터 기반으로 전환될 전망이다.

결국 이번 연구는 AGI 경쟁의 초점이 ‘모델 규모’에서 ‘인지 능력의 질적 수준’으로 이동하고 있음을 보여주는 신호로 해석된다.

전미준 기자

다른기사 보기

저작권자 © 인공지능신문