오사카대 등 공동 연구 발표
뇌 활동과 AI 유사성 규명
데이터량 따라 3단계 변화
정렬·분리·재정렬 과정 밝혀
일본 연구진이 AI의 ‘창발적 행동’ 원인을 뇌과학적으로 규명했다. LLM은 학습량에 따라 인간 뇌와 동기화되는 1단계, 스스로 지식을 정리하며 정체되는 2단계, 뇌와 재정렬되며 능력이 폭발하는 3단계를 거친다. AI가 인간의 뇌와 유사한 숙성 과정을 통해 비약적인 지능 발달을 이룬다는 분석이다. /게티이미지뱅크
# 인공지능(AI)이 공부를 하다가 갑자기 똑똑해지는 이유는 우리 뇌가 지식을 익히는 과정과 매우 비슷하기 때문이다. 처음에는 사람의 뇌를 흉내 내며 기초적인 지시를 배우고, 중간에는 배운 내용을 스스로 정리하느라 잠시 성적이 멈춘 것처럼 보이는 '정체기'를 겪는다. 하지만 이 시기가 지나면 마치 '득도'를 하듯 지식이 머릿속에 완전히 뿌리를 내리며 폭발적인 문제 해결 능력을 갖추게 된다는 원리다. 즉, AI도 뇌와 유사한 단계를 거쳐 지식을 자기 것으로 만드는 숙성 과정이 필요하다는 사실이 과학적으로 증명됐다.
거대언어모델(LLM)이 새로운 능력을 급격히 습득하는 이른바 '창발적 행동(Emergent Behavior)'의 비밀이 뇌과학적 관점에서 규명됐다. 인공지능(AI)이 인간의 뇌 활동과 유사한 형태를 띠며 특정 위상 변화를 거친다는 사실이 밝혀진 것이다.
18일 일본 오사카대학교·정보통신연구기구(NICT)·국립정보학연구소(NII) 소속 타카기 유 교수 연구진에 따르면 아키텍처와 데이터가 각기 다른 다양한 LLM을 분석한 결과 공통적으로 명확한 3단계 위상 변화가 관찰됐다. 이 변화는 LLM 후반부 레이어에서 데이터 학습량(토큰 수)에 따라 뚜렷하게 구분됐다.
기존 연구들은 LLM이 모델 크기나 데이터가 확장됨에 따라 성능이 도약하는 현상을 개별 지표로만 평가해 왔다. 그러나 이번 연구는 △뇌 인코딩(인간 뇌 활동과의 정렬) △프로빙(내부 표현 변화) △벤치마크(태스크 성능)라는 세 가지 지표를 융합해 학습 과정 전반의 역학을 분석했다는 점에서 차별점을 갖는다.
△1단계 뇌 정렬 및 지시 이행은 토큰이 10억~100억개에 도달하는 시점이다. 이 구간에서 모델은 사용자의 지시를 따르기 시작하며 벤치마크 정확도가 상승한다. 동시에 LLM의 내부 구조가 인간의 전체 뇌 활동 패턴과 강하게 정렬되는 현상이 급증한다.
△2단계 뇌 분리 및 정체는 토큰이 100억~3000억개에 이르는 구간이다. 모델의 벤치마크 정확도 상승이 일시적으로 정체된다. 특기할 만한 점은 이 시기에 LLM과 인간 뇌 사이의 정렬도가 오히려 감소하며 서로 분리되는 양상을 보인다는 것이다.
△3단계 뇌 재정렬 및 공고화는 토큰이 3000억개를 초과하면서 나타나는 단계다. 정체기를 벗어난 모델의 벤치마크 및 프로빙 정확도가 다시 급격히 상승하며 문제 해결 능력을 확립한다. 감소했던 인간 뇌와의 정렬도 역시 다시 상승세로 돌아서며 공고화된다.
연구진은 이러한 3단계 역학 구조가 영어·일본어 등 모델이 '충분히 학습한 언어'를 처리할 때만 발현된다는 사실도 확인했다. 언어의 통계적 패턴이 내부화되는 임계점을 넘어야만 성능의 도약과 뇌 정렬의 급격한 변화가 일어난다는 의미다.
이번 연구는 복잡한 언어를 처리하는 인간의 뇌를 벤치마크 삼아 LLM의 역학을 종합적으로 해석한 첫 시도로 평가받는다. 연구진은 "해당 발견은 LLM이 특정 능력을 획득하기 위해 거쳐야 하는 필수적인 내부 변환 과정을 보여준다"며 "향후 안전하고 투명하며 인간에게 정렬된 언어 모델을 개발하는 데 있어 인간의 뇌 활동이 핵심적인 평가 기준이 될 수 있을 것"이라고 밝혔다.
☞위상 변화(Phase Transition)=물리학에서 물질의 상태가 온도나 압력 등에 의해 고체에서 액체로 변하듯 완전히 다른 상태로 바뀌는 현상을 말한다. AI 에서도 데이터량이 특정 임계치를 넘으면 모델의 성능이나 작동 방식이 질적으로 도약하고 급변하는 현상을 빗대어 쓰인다.
여성경제신문 김현우 기자
댓글
0