트라이브 v2 접근 방식. (A)건강한 참가자들이 영화, 팟캐스트와 같은 자연적 환경과, 빠르게 제시되는 이미지나 개별 단어와 같은 실험적 조건에 노출되는 동안 기능적 자기공명영상(fMRI)을 통해 뇌 활동을 기록했다. (B)트라이브 v2는 사전 학습된 AI 모델에서 추출한 임베딩을 활용해, 오디오·영상·텍스트 자극으로부터 고해상도 fMRI 신호를 예측하도록 학습된다. (C)영화 클립에 대한 평균 뇌 반응(176명 참가자의 평균)과 이에 대응하는 트라이브 v2의 제로샷 예측 결과. (사진=메타)
메타가 시각·청각·언어를 동시에 이해하는 통합 인지 모델 ‘트라이브 v2(TRIBE v2)’를 선보였다. 단순한 데이터 분석을 넘어, 인간 뇌의 작동 방식을 디지털로 재현하는 ‘디지털 뇌’ 구축 단계에 진입했다는 평가가 나온다.
메타는 26일(현지시간) 인간의 시각과 청각, 언어 처리 과정을 예측하는 삼중 모달(tri-modal) 파운데이션 모델 ‘
트라이브 v2
’를 공개했다.
기존 신경과학 연구가 특정 실험이나 기능에 특화된 단일 목적 모델 중심으로 발전해 온 것과 달리, 트라이브 v2는 다양한 감각 자극과 현실 환경을 통합적으로 반영하는 범용 모델이라는 점에서 차별화된다.
트라이브 v2는 AI가 받아들이는 정보를 인간의 뇌 활동처럼 표현한다. 즉, AI가 텍스트를 보거나 음악을 들을 때, 인간의 뇌에서는 어떤 부분이 활성화될지를 예측하는 방식이다. 이를 고해상도 fMRI(기능적 자기공명영상) 신호로 표현한다.
트라이브 v2 아키텍처 (사진=메타)
구조적으로도 기존 모델과 차별화된다. 트라이브 v2는 텍스트, 영상, 음성을 각각 처리하는 세 가지 인코더에 더해, 시간 흐름을 반영하는 트랜스포머와 개인별 뇌 반응을 반영하는 ‘서브젝트 블록’으로 구성된다.
텍스트는 'LLaMA 3.2-3B'를 활용해 이전 최대 1024개의 문맥을 반영하며 의미를 파악하고, 영상은 'V-JEPA2-Giant'로 수초 단위 장면을 분석해 시각 정보를 압축한다. 오디오는 'Wav2Vec-BERT 2.0'을 통해 음성 데이터를 동일한 시간 기준으로 정렬해 처리한다. 이렇게 만들어진 다양한 정보는 하나의 흐름으로 통합된 뒤, 최종적으로 뇌 활동 예측에 활용된다.
데이터 활용 방식도 주목할 만하다. 연구진은 소수의 참가자를 오랜 시간 관찰한 ‘딥 데이터’로 모델을 학습하고, 수백명 규모의 ‘와이드 데이터’로 성능을 검증하는 전략을 사용했다.
실제로 25명에게서 450시간 이상의 데이터를 학습에 활용하고, 720명·1100시간 이상의 데이터로 평가를 진행했다. 그 결과, 데이터가 많아질수록 모델의 예측 정확도가 꾸준히 높아지는 ‘스케일링 법칙’도 확인됐다.
예측 정확도 평가 (사진=메타)
성능 면에서도 기존 방식을 크게 앞섰다. 트라이브 v2는 오랫동안 표준으로 사용돼 온 FIR(Finite Impulse Response) 기반 모델보다 훨씬 높은 예측 정확도를 기록했다.
특히 눈에 띄는 점은 ‘제로샷 일반화’ 능력이다. 새로운 피험자의 데이터를 따로 학습하지 않아도 집단 평균 뇌 반응을 정확하게 예측할 수 있으며, 일부 경우에는 실제 개별 측정값보다 더 나은 결과를 보이기도 했다. 고해상도 뇌 데이터로 알려진 HCP(Human Connectome Project) 기준에서도 기존보다 약 두배 수준의 성능 향상이 확인됐다.
적은 데이터만으로도 빠르게 개인 맞춤형 모델로 적응할 수 있다는 점도 강점이다. 약 1시간 분량의 데이터와 한번의 학습만으로도 기존 선형 모델보다 2~4배 높은 성능을 보였다. 이는 앞으로 개인별 뇌 분석이나 의료 분야 활용 가능성을 크게 높일 수 있는 요소로 평가된다.
실제 사람을 대상으로 실험하지 않아도 다양한 인지 실험을 컴퓨터상에서 인간 뇌의 반응으로 재현할 수 있으며, 이를 통해 기존 신경과학의 주요 발견들도 다시 확인했다. 예를 들어 얼굴을 인식하는 영역(FFA), 장소를 인식하는 영역(PPA), 감정 처리와 관련된 TPJ, 문법 처리의 핵심인 브로카 영역 등을 정확하게 찾아냈다.
여기에 모델 표현을 분석한 결과, 청각·언어·운동·시각·디폴트 모드 네트워크 등 인간 뇌의 주요 기능 네트워크를 스스로 학습한 것으로 나타났다. 이는 단순히 뇌 반응을 예측하는 수준을 넘어, 뇌가 어떻게 작동하는지 구조적으로 이해할 수 있는 도구로 발전할 가능성을 보여준다.
메타는 이번 연구와 함께 트라이브 V2의 모델 가중치와 소스 코드를
허깅페이스
와
깃허브
에 공개했다.
이에 따라 앞으로 AI 설계뿐 아니라 신경 질환 연구, 뇌-컴퓨터 인터페이스 등 다양한 분야에 파급 효과가 확산할 것으로 기대된다는 평이다.
박찬 기자 cpark@aitimes.com
댓글
0