딥시크가 차세대 초거대 모델 ‘딥시크-V4’를 이르면 다음 주 공개할 것으로 알려지면서 글로벌 AI 업계가 긴장하고 있다. 특히 미국의 수출 규제 속에서도 화웨이 칩만으로 최고 수준의 성능을 구현했다는 점이 부각되며, AI 인프라 경쟁 구도에 중대한 변화를 예고하고 있다.
딥시크 소식에 정통한 장이판 프린스턴대학교 연구원은 19일(현지시간) 소셜미디어 X를 통해 이르면 이번 주에 딥시크-V4가 공개될 것이라고 밝혔다.
또 그는 이 모델이 1조6000억개에 달하는 매개변수를 기반으로 한 초대형 전문가 혼합(MoE) 아키텍처를 채택했다고 전했다.
여기에 ▲희소(Sparse) MQA ▲융합 MoE 메가 커널(Fused MoE Mega Kernel) ▲하이퍼 커넥션(Hyper-connection) 등 기술이 적용됐다고 밝혔다.
이는 연산 효율과 학습 안정성을 확보하기 위한 것이다. 희소 MQA는 여러 어텐션 헤드가 하나의 메모리를 공유하도록 설계돼 메모리 부담을 크게 줄이고, 메가 커널은 수백개 연산을 하나로 묶어 GPU 병목을 최소화한다.
Sparse MQA + Fused MoE Mega Kernel + Hyper-connections.
https://t.co/CC2Nof0OHy
— Yifan Zhang (@yifan_zhang_)
April 19, 2026
또 하나의 핵심은 딥시크가 지난 2월 논문으로 발표한 독자 구조 'mHC 아키텍처'와 '엔그램(Engram)' 메모리 모듈이다.
mHC는 바이트댄스가 2024년 제안한 하이퍼 커넥션 구조의 학습 불안정성을 해결하기 위해 고안됐다. 하이퍼 커넥션은 다수의 최신 딥러닝 모델의 기반인 '잔차 신경망(ResNet)'의 한계를 극복하기 위한 시도로, 정보 흐름을 단일 경로가 아닌 다중 경로로 확장한 것이 특징이다.
그러나 HC 구조는 경로가 늘어나는 만큼 학습이 불안정해지고, 극단적인 경우에는 학습이 붕괴는 문제가 있었다. mHC는 이 경로에 명확한 규칙을 부여해 정보 흐름이 무너지지 않도록 제어한다.
엔그램은 단순한 지식이나 과거의 맥락을 전용 메모리 공간인 임베딩 테이블에 저장해 두고 필요할 때 바로 찾아서 쓰게 함으로써, 모델이 모든 순간에 복잡한 추론 연산을 하지 않도록 만드는 것이다.
이는 과거의 'N-그램' 임베딩을 현대화한 모듈로, 단순히 과거 데이터를 저장하는 공간을 넘어 학습 과정에서 지식을 스스로 구조화하는 공간으로 바꿨다. 이를 통해 모델이 매번 같은 사실을 추론할 필요 없이 직접 조회(Direct Lookup)가 가능해졌다.
또 기존 메모리 역할을 담당하는 'KV 캐시'는 대화할 때마다 실시간으로 변하는 '동적' 메모리이지만, 엔그램은 정적 메모리로 학습된 지식을 고정된 형태로 저장해 검색 속도를 극대화했다.
이를 통해 추론 비용을 기존 모델 대비 획기적으로 낮추고, 대규모 모델에서 발생하는 메모리 한계를 효과적으로 해결했다는 평가다. 딥시크-V4는 'GPT-4'에 비해 70분의 1 수준의 비용으로 추론이 가능하다는 관측도 나왔다.
성능도 주목할 만하다. 업계에 떠도는 비공식 수치에 따르면, 수학(AIME 2026)에서 99.4%, 일반 지식(MMLU) 92.8%, 코딩(SWE-Bench) 83.7%를 기록한 것으로 알려졌다. 바이트댄스 내부 테스트에서는 기존 상용 모델을 대체할 수 있을 정도라는 평가도 제기됐다.
기술적 진보뿐 아니라 전략적 의미도 크다. 딥시크 V4는 화웨이 칩에서도 높은 성능을 낼 수 있도록 설계돼, 미국 중심의 AI 칩 생태계 의존을 줄이려는 ‘AI 자립’ 흐름의 대표 사례로 부각될 것으로 보인다.
현재까지는 루머와 일부 유출 정보가 중심이지만, 딥시크 웹 버전에 ‘전문가 모드’가 추가되는 등 출시 임박 신호도 감지되고 있다.
만약 실제 성능이 기대치를 충족할 경우, 비용 부담으로 AI 도입을 망설이던 기업 시장에도 큰 변화를 가져올 가능성이 높다는 평이다.
박찬 기자 cpark@aitimes.com
댓글
0