동일한 매개변수 수와 동일한 학습 데이터 조건에서도 기존 트랜스포머를 능가하는 새로운 아키텍처가 주목받고 있다.
UC 샌디에고와 투게더 AI 연구진은 14일(현지시간) 루프형(looped) 구조를 적용한 트랜스포머 ‘
파르카에(Parcae)
’를 온라인 아카이브를 통해 공개했다.
대형언어모델(LLM)의 성능을 높이는 전통적인 방법은 더 많은 연산(FLOPS), 더 많은 매개변수, 더 많은 학습 데이터를 투입하는 것이었다. 그러나 최근에는 모델이 클라우드뿐 아니라 엣지 디바이스로 확장되고, 추론(inference) 비용이 급증하면서 새로운 질문이 제기되고 있다. 메모리 사용량을 늘리지 않고도 성능을 향상시킬 수 있는가라는 문제다.
기존 트랜스포머는 여러 층(layer)을 한번씩 통과하는 고정 구조를 갖는다. 반면 파르카에는 동일한 블록을 여러 번 반복하는 ‘루프’ 구조를 채택한다. 즉 모델의 깊이를 늘리지 않고도 동일한 연산 블록을 반복 실행해 더 많은 계산을 수행하는 방식이다.
이를 통해 메모리 사용량은 유지하면서 계산량만 증가시키는 것이 가능해진다.
특히 추론 시 상황에 맞춰 반복 횟수를 유연하게 조절할 수 있다는 점이 강점이다. 높은 정확도가 필요할 때는 반복 횟수를 늘리고, 배터리 절약이나 빠른 응답이 우선일 때는 횟수를 줄이는 식으로 성능과 속도 사이의 균형을 가변적으로 선택할 수 있기 때문이다.
이러한 가변적 효율성 덕분에 메모리 제약이 큰 모바일·온디바이스 AI 환경에서 파르카에와 같은 접근법은 중요한 대안으로 떠오를 가능성이 크다.
파르카에는 ‘프렐류드(Prelude)-리커런트(Recurrent)-코다(Coda)’로 이어지는 3단 구조를 갖는다. 입력은 프렐류드 단계에서 잠재 표현으로 변환되고, 이후 리커런트 블록에서 여러번 반복 갱신된다. 마지막으로 코다 단계에서 최종 출력이 생성된다. 이 과정에서 입력 정보는 매 반복마다 다시 주입돼 정보 손실을 방지한다.
과거에도 유사한 루프형 구조는 존재했다. 예를 들어 RDM(Recurrent Depth Models) 등이 있었지만, 학습 과정에서 불안정성이 큰 문제가 됐다. 반복이 진행될수록 내부 상태가 폭발적으로 증가하거나 손실 값이 급등하는 현상이 빈번했기 때문이다.
연구진은 이 문제를 ‘비선형 시간 불변(Nonlinear Time-Invariant) 동적 시스템’이라는 방식으로 새롭게 이해하고 해결 방법을 찾았다. 반복 구조가 안정적으로 작동하도록 하는 조건을 음수 대각 파라미터화(Negative Diagonal Parameterization)와 이산화(Discretization) 기법을 통해 모델 설계에 반영한 것이다.
그 결과 학습 과정에서 값이 갑자기 커지거나 불안정해지는 현상을 막을 수 있게 됐다고 설명했다.
RDM 설정과의 벤치마크 결과 (사진=arXiv)
실험 결과, 파르카에는 기존 모델 대비 뚜렷한 성능 향상을 보였다.
동일 조건에서 '검증 퍼플렉서티(validation perplexity)'를 최대 6.3% 낮췄으며, '위키텍스트(WikiText)' 데이터셋에서는 최대 9.1% 개선을 기록했다. 또 다양한 제로샷 벤치마크에서도 최대 1.8포인트의 성능 향상이 확인됐다.
특히 주목할 점은 매개변수 효율성이다. 7억7000만 매개변수 규모의 파르카에 모델이 13억 매개변수 트랜스포머와 유사한 성능을 달성하며, 더 작은 모델로 동일한 수준의 결과를 낼 수 있음을 입증했다. 연구진은 파르카에가 "약 2배 더 큰 모델과 대등한 성능"이라고 강조했다.
또 연구진은 루프 구조에 특화된 최초의 3변수 스케일링 법칙을 제시했다. 기존 모델이 데이터 양과 매개변수만 고려했다면, 파르카에는 연산 자원이 늘어남에 따라 '최적의 반복 횟수'와 '학습 데이터 양'이 정교한 비율로 동반 상승해야 함을 수식으로 입증했다. 이는 효율적인 소형 고성능 모델 설계의 중요한 이정표가 될 전망이다
다만 테스트 단계에서 반복 횟수를 무한히 늘린다고 성능이 계속 향상되는 것은 아니다. 학습 시 사용된 평균 반복 횟수를 기준으로 성능 향상이 점차 둔화되는 경향이 확인됐다. 즉 학습 단계에서 설정된 깊이가 성능의 상한선을 결정한다는 의미다.
파르카에의 학습 코드와 모델은
깃허브
와
허깅페이스
에서 다운로드할 수 있다.
박찬 기자 cpark@aitimes.com
댓글
0