지난 몇년간 전 세계 인공지능(AI) 업계를 지배한 절대적 신념은 역시나 스케일링 법칙(Scaling Law)이었다. 더 많은 데이터, 더 거대한 파라미터, 압도적인 연산량을 투입하면 AI의 지능은 무조건 상승한다는 규모의 경제는 확실히 작동했다.
하지만 이 무식한 덩치 키우기는 결국 물리 법칙과 자원의 한계라는 거대한 암초에 부딪히고 있다. 단일 데이터센터 구축에 수조 원이 투입되고, 도시 하나가 쓸 전력을 삼키는 현 상황은 과거 방식의 물리적 스케일링이 더 이상 지속 가능하지 않음을 시사한다. 때문에 우주 데이터센터까지 등장하기 시작한 것이다.
우리는 1940년대 에니악(ENIAC)의 시대를 반추해봐야야 한다. 1만8000개의 진공관이 뿜어내는 열기 속에서 인류가 진공관의 개수만 늘리는 데 집착했다면 결코 스마트폰의 시대는 오지 않았을 것이다. 인류는 거대한 진공관을 버리고 작고 효율적인 ‘트랜지스터’를 발명함으로써 한계를 돌파했다. 현재의 AI 생태계 역시 이 ‘트랜지스터 모먼트’를 지나고 있다고 본다. 스케일링을 포기하는 것이 아니라 스케일링을 지속 가능하게 만들기 위한 '초정밀 집적'의 시대로 진입하고 있는 것이다.
아키텍처의 입체적 진화: 가로(MoE)와 세로(AttnRes)의 희소성 결합
초기 대형언어모델(LLM)을 지배한 밀집(Dense) 구조는 단어 하나를 생성할 때마다 모든 파라미터에 전기를 공급하는 끔찍한 에너지 낭비였다. 이를 해결하기 위해 등장한 것이 인간의 뇌를 모방한 전문가 혼합(MoE) 아키텍처다. 딥시크(DeepSeek) 등이 보여준 현대적 MoE는 고도의 전문 지식을 수천 개의 초미세 전문가로 쪼개어 필요한 10% 미만의 파라미터만 활성화한다. 이는 지능의 확장성을 옆으로, 그러니까 가로 차원에서 희소하게 관리하는 혁신이었다.
여기에 더해, 2026년 3월 16일 문샷 AI가 발표한 문샷 AI의 키미(Kimi)가 발표한 ‘Attention Residuals’ 논문은 세로(Depth) 차원에서의 마지막 병목까지 해결하고 있다. 기존 LLM의 표준이었던 잔차 연결(Residual Connection) 방식은 레이어가 깊어질수록 과거 정보를 단순히 똑같은 비중으로 더해나갔다. 이로 인해서 초기 정보가 뒤섞이고 희석되는 문제가 발생했고, 학습의 불안정성과 추론 성능의 저하로 이어졌다.
키미는 레이어 사이의 연결에 어텐션 메커니즘을 도입하는 파격적인 해법을 제시했다. 이전의 모든 레이어 기록을 훑어보고, 현재 층의 연산에 가장 필요한 정보만을 선택적 발췌하는 방식이다. 특히 효율성을 위해 여러 층을 블록으로 묶는 블록 구조를 채택해 메모리 사용량은 줄이면서도 복합 추론과 코드 생성 능력을 획기적으로 높였다.
정리해보면, 가로에서는 MoE가 전문가를 골라 쓰고, 세로에서는 AttnRes가 필요한 과거 정보를 골라 쓰는 구조가 완성된 것이다. 이 두 기술의 결합은 불필요한 연산을 입체적으로 배제해 기존 대비 1.25배 적은 자원으로도 현존 최고 수준(SOTA)급 성능을 내는 '극단적 효율의 지능'을 가능케 한다.
기억 장치의 다층화: 무한 컨텍스트 병목의 해결
AI가 방대한 문서를 분석하기 위해 컨텍스트 윈도우를 무작정 늘리는 방식은 컴퓨팅 자원의 고갈을 초래했다. 그래서 지난번 기고한 ‘연산의 시대에서 메모리의 시대로’에서 언급한 것처럼 인간의 뇌가 단기·중기·장기 기억을 처리하는 방식을 차용해 메모리 레이어를 다층화하기 시작한 것이다.
단기 기억(Working Memory)은 최신 대화 흐름을 초고속 메모리(KV Cache)에 올려 민첩하게 반응한다. 딥시크의 잉그램(Engram)과 같은 사례가 이에 해당한다.
중기 기억(Episodic Memory)은 구글이 도입한 중첩 학습(Nested Learning)과 CMS(Continuum Memory System)가 핵심이다. 정보를 원문 그대로 들고 있는 대신 '기억의 인상'만을 압축된 상태 벡터(State)로 치환해 메모리 점유율을 10분의 1 이하로 낮춘다.
장기 기억(Semantic Memory)은 모든 지식을 모델 내부에 구워 넣는 대신, 외부 벡터 DB나 지식 그래프를 활용하는 검색증강생성(RAG)과 에이전틱 AI(Agentic AI)로 진화했다. 특히 오픈클로(OpenClaw)와 같은 프로젝트는 장기 기억을 로컬 기기에 저장함으로써 개인의 맥락을 보존하고 서버 의존도를 낮추는 '기억 주권'을 실현하고 있다.
제어의 진화: 주입식 암기에서 잠재 공간(Latent Space)의 초정밀 조향으로
과거에는 특정 능력을 개선하기 위해 뇌 세포 전체를 갈아엎는 파인튜닝(SFT)에 막대한 그래픽처리장치(GPU)를 투입했다. 하지만 LLM은 이미 사전 학습을 통해 세상의 지식을 잠재 공간(Latent Space)이라는 다차원 우주에 매핑해 두었다는 사실이 밝혀졌다. AI는 몰라서 답을 못하는 것이 아니라 정답의 좌표를 찾지 못할 뿐이었다.
최근 메타가 발표한 연구(Learning to Reason in 13 Parameters)는 이를 제대로 보여준다. 수십억 개의 파라미터 대신 단 13개의 파라미터(26바이트)만을 강화학습으로 조정함으로써 복잡한 수학 추론 성능을 SOTA급으로 끌어올렸다. 그러니까, 뇌를 전부 무너뜨리고 다시 짓는 토목공사가 아니라 이미 내재된 천재성을 잠금 해제하는 정밀 조향(Steering)의 시대로 접어들었음을 의미한다.
알고리즘의 진화: 전기를 태우는 역전파에서 ‘순수 수학’으로
AI 학습의 최대 전력 소모 주범은 미분을 반복하며 오차를 수정하는 역전파(Backpropagation) 알고리즘이다. 최근 학계는 이 무거운 연산을 우회하는 '훈련 없는 학습(Learning Without Training)'에 주목하고 있다.
구글 리서치는 프롬프트의 예시만으로 모델 내부의 가중치가 업데이트되는 것과 수학적으로 동일한 효과가 실시간으로 일어남을 증명했다. 또한, 데이터의 기하학적 형태(다양체)와 함수 해석학을 이용해 반복 연산 없이 정답으로 가는 예측 수식을 즉각 구축하는 방법론도 제시되고 있다. 컴퓨팅 파워의 무식함을 우아한 수학 방정식으로 치환하는 이러한 시도들은 트랜지스터 모먼트의 정점이라 할 수 있다.
컴퓨팅 자원의 대이동: 공장에서 현장의 숙고(Test-time)로
패러다임의 변화를 알 수 있는 결정적 지점은 컴퓨팅 자원이 투입되는 '타이밍'의 이동이다. 과거에는 수만 개의 GPU를 동원해 데이터를 암기시키는 사전 학습(Train-time Compute)에 집중했다. 그 결과물은 질문에 즉각 반응하는 얕은 직관(시스템 1)에 머물렀던 것이다.
이제는 모델의 체급을 무작정 키우는 대신, 추론 단계에서 스스로 생각하고 검증할 시간(Test-time Compute)을 부여하는 '시스템 2' 사고방식으로 이동하고 있다. 작은 모델이라도 현장에서 더 깊이 숙고하게 만드는 것이 천문학적인 자본을 공장에 쏟아붓는 것보다 훨씬 경제적이며 강력한 논리력을 발휘하고 있다. 여기에 오픈클로와 같은 로컬 기반 에이전트의 가치가 극대화되면서 지능의 민주화는 가속화될 것이라고 본다.
결국 ‘트랜지스터 모먼트’는 AI를 거대 자본의 전유물에서 보편적인 효율의 도구로 전환시키고 있다. 이제 중요한 것은 “얼마나 큰 공장을 가졌는가”가 아니라 “누가 더 깊이 숙고하고(Test-time), 정밀하게 지능을 조향(Steering)하는가”라는 질적 도약의 영역이라고 본다.
과거 펄펄 끓는 진공관의 열기가 트랜지스터로 집적되었듯, 현재의 전력 장벽과 비관론은 역설적으로 지능의 르네상스를 불러오는 촉매제가 될 것이다. 스케일링은 유효하겠지만, 이제 우리는 그 위에 세워질 보다 더 효율적인 혁신의 기회들을 선점해야 한다. 지능의 주권이 빅테크를 넘어 개인과 각 기업의 로컬 환경으로 돌아오는 진정한 ‘지능의 민주화’ 시대가 열리고 있다.
※ 외부필자의 원고는 IT조선의 편집방향과 일치하지 않을 수 있습니다.
이승현 포티투마루 부사장은 스타트업 창업가 출신의 AI 전문가다. 디지털플랫폼정부위원회 인공지능플랫폼혁신국장으로서 재직하면서 대한민국 공공 AI의 초석을 닦았으며, 현재는 법무법인 린의 공공AX 고문을 겸하며 기술과 정책의 가교 역할을 하고 있다. 이론에 머물지 않는 현장형 전략가로서 국가 전반의 AI 네이티브 전환을 이끌고 있다.
기자의 전체기사
댓글
0