개인이 AI를 사용하는 방법은 크게 두 가지다. 하나는 스마트폰 등에서 경량화된 AI 모델을 사용하거나 클라우드 서버에 연결해 LLM을 이용하는 것이다. 캘리포니아공과대학(Caltech, 이하 칼텍) 출신 스타트업 프리즘ML(PrismML)은 이 전제를 정면으로 타파한다.
프리즘ML은 지난달 말 단 1비트의 LLM '본자이(Bonsai) 8B'를 공개했는데, 프리즘ML에 따르면 80억개(8B)의 파라미터를 갖춘 이 모델은 메모리 1.15GB만으로 구동된다. 8B와 함께 더 작은 모델인 4B(0.5GB)와 1.7B(0.24GB)도 함께 공개됐다.
프리즘ML은 동급 16비트 모델이 요구하는 16GB와 비교하면 14배 작고, 8배 빠르며, 에지 하드웨어에서 전력 소비는 5배 줄었다고 주장하고 있다. 기존에 아이폰 등에서는 구동될 수 없었던 80억개 파라미터 모델이 처음으로 스마트폰 안에 탑재 가능해졌다는 것이다.
프리즘ML에 따르면 본자이 8B는 아이폰 17 프로 맥스 초당 44토큰, M4 프로 탑재 맥에서는 초당 131토큰을 처리한다고 소개하고 있다. 또 RTX 4090에서는 초당 300~400토큰을 처리한다.
동급 파라미터 모델과 비교한 본자이 8B의 벤치마크 결과. (자료 출처=프리즘ML)
사용자의 체감 기준 초당 40토큰 이상이면 거의 실시간 응답으로 자연스럽다. 기존 8B 모델 LLM은 스마트폰에서 실행 불가능했으며 실행된다고 해도 초당 1~5토큰에 불과했는데, 본자이 모델은 자연스러운 실시간 대화가 가능한 수준을 구현한 것이다.
일반적인 AI 모델의 가중치(weight)는 뉴런 간 연결 강도를 나타내는 숫자로, 16비트 또는 32비트 부동소수점 형식으로 저장된다. 정밀도가 높을수록 성능은 좋지만 메모리와 전력 소비가 폭발적으로 늘어난다. 본자이는 모든 가중치를 단 하나의 이진값(Binary)으로 줄인다.
해외 매체 머신 헤럴드(The Machine Herald)의 설명에 따르면 본자이의 각 가중치는 양수 스케일(+) 또는 음수 스케일(-)에 매핑되고, 128개 가중치마다 하나의 FP16 스케일 팩터를 공유하는 방식이다. 이에 따라 실질적인 저장 용량은 가중치당 1.125비트에 불과하다.
핵심은 이 방식이 기존 '양자화(quantization)'와 근본적으로 다르다는 데 있다. 기존 양자화는 완성된 고정밀 모델을 나중에 압축하는 방식이라 성능 손실이 불가피했다. 본자이는 처음부터 1비트 아키텍처로 학습시킨 네이티브 1비트 모델이다.
다양한 하드웨어 플랫폼에서 본자이 8B 모델의 전력 소비(mWh/tok) 결과. 프리즘ML은 본자이의 전력 효율성이 동급 모델보다 5배 뛰어나다고 주장한다. (자료 출처=프리즘ML)
NYU 상하이 RITS(Research and Instructional Technology Services)에서는 "가중치를 ±1로만 표현하면 행렬 곱셈이 단순한 덧셈으로 대체돼 부동소수점 연산 장치가 필요 없어지는데 이것이 본자이의 저전력과 속도에 기여한다"고 설명하고 있다. NYU 상하이는 뉴욕대학교와 중국 화동사범대학교(ECNU)가 합작해 설립한 미·중 합작 연구 중심 대학이며, RITS는 교수진과 학생들의 연구에 필요한 첨단 기술 접목을 지원하는 기술지원센터다.
네이티브 1비트 LLM이 가능했던 것은 바박 하시비(Babak Hassibi) 프리즘ML CEO의 수년간 연구 성과다. 바박 하시비 프리즘ML CEO는 칼텍 전기공학과 교수이기도 하다. 프리즘ML은 하시비 CEO를 비롯해 사힌 랄레, 오메아드 풀라드잔디, 레자 사드리 등 칼텍 출신 박사들이 공동 창업한 회사다. 본사는 미 캘리포니아주 패서디나(Pasadena)에 있으며 샌프란시스코에도 사무실을 두고 있다.
프리즘ML은 바박 하시비 CEO(사진 왼쪽 두번째) 등 칼텍 과학자들이 모여 창업했다. (자료 출처=바박 하시비의 X)
저비트 양자화는 명령 수행 저하, 다단계 추론 오류, 툴 사용 불안정이라는 세 가지 문제를 안고 있는데 프리즘ML은 극단적인 압축을 가하면서도 추론 능력을 유지해야 하는 과제를 해결하기 위해 세 가지 방법을 사용했다.
첫째, 사후 양자화가 아닌 처음부터 1비트로 학습하는 네이티브 학습 방식이고 두 번째는 80억 파라미터라는 충분한 규모를 확보해 1비트 제약이 정확도에 미치는 영향을 최소화한 것이다. 세 번째 방법은 GGUF·MLX 같은 표준 배포 포맷 지원으로 기존 추론 인프라에 별도 커스터마이징 없이 바로 통합 가능하게 한 것이라고 NYU 상하이 RITS는 전했다. 학습에는 구글 TPU v4가 사용됐다.
◇ 프리즘ML, AI 모델의 새 척도 '지능 밀도' 제시
프리즘ML은 이번 발표와 함께 '지능 밀도(Intelligence Density)'라는 새로운 성능 측정 지표를 제안했다. 모델 크기 대비 오류율의 역수로 계산하는 이 지표는 단순 성능이 아닌, 단위 용량당 지능을 측정한다. 프리즘ML에 따르면 본자이 8B의 지능 밀도는 1.06/GB로, 근접한 경쟁 모델인 알리바바 큐웬(Qwen)3 8B의 0.10/GB와 비교해 10배 이상 높다.
프리즘ML은 AI 모델의 성능을 '지능 밀도(Intelligence density)'로 측정해야 한다고 주장한다. 자사 본자이 모델의 지능 밀도(GB당 지능) 결과. (자료 출처=프리즘ML)
본자이 모델은 이제 막 발표돼 아직 커뮤니티나 기업의 검증이 미미한 상태다. 프리즘ML의 주장대로 본자이 모델이 실행된다면 온디바이스 AI 에이전트, 실시간 로보틱스, 보안이 중요한 기업 시스템 등에서 클라우드 의존 없이 강력한 AI를 구동할 수 있게 된다. 구글의 KV 캐시 압축 기술인 터보퀀트보다 더 강력한 기법이 된다.
본자이는 아파치 2.0 라이선스의 오픈웨이트 모델이다. 프리즘ML은 현재 하드웨어가 1비트 추론에 최적화되어 있지 않아 메모리 절감 효과를 강조하고 있지만 향후 1비트 전용 하드웨어가 등장하면 효율성이 더 개선될 수 있다고 전한다.
아미르 살렉(Amir Salek) 서버러스 캐피털 매니지먼트(Cerberus Capital Management) 수석 매니징 디렉터는 "전력이 AI 데이터센터 확장의 궁극적 병목이 됐다"며 "프리즘ML은 전력 대비 연산 방정식을 근본부터 바꾸고 있다"고 평가했다.
글로벌 사모 펀드 서버러스는 프리즘ML에 투자한 곳 중 하나이며, 아미르 살렉은 엔비디아를 거쳐 구글에 합류, 구글 TPU 개발을 주도했으며 현재는 서버러스에서 기술 투자를 담당하고 있다. 프리즘ML은 서버러스 외에 코슬라 벤처스(Khosla Ventures, 오픈AI 초기 투자사), 구글과 칼텍의 컴퓨팅 지원을 포함해 총 1625만달러의 초기 투자를 유치했다.
여러 크기의 AI 모델들과 비교한 본자이 모델의 성능 대비 크기 효율(로그 스케일). (자료 출처=프리즘ML)
레딧(Reddit) 커뮤니티에서는 본자이 모델의 효율과 속도에는 긍정적이지만 호환성 문제를 제기하고 있다.
우선 메모리 1GB에 8B 모델이면 클라우드 아닌 로컬 환경에서의 AI 시장이 새로 열린다는 점과, RTX 4060 환경에서 초당 100토큰 이상 속도를 보이는 것에 대한 긍정적 반응이 있다. 이는 기존 모델 대비 2배 속도다. 특히 문서 요약, 채팅 등에서는 결과물에 대한 만족도를 표했다.
부정적인 평가도 있다. CPU에서는 사실상 무용지물이라는 것이다. GPU 없으면 결과가 이상하게 나오며 추상적인 질문, 즉 논리와 추론에서 불안정한 결과를 보였는데 이는 AI의 환각(hallucination) 증가 가능성으로 이어진다.
또 llama.cpp가 기본 지원되지 않고 별도 fork가 필요하다고 지적됐다. llama.cpp는 LLM을 개인 PC나 소형 서버에서 실행할 수 있도록 해주는 경량 추론 엔진으로, 다양한 형식의 모델을 불러와 CPU나 GPU에서 구동할 수 있게 해준다. 그러나 본자이 모델은 가중치 구조와 연산 방식, 메모리 처리 방식이 일반 LLM과 다르기 때문에 llama.cpp이 지원하지 않는다. 따라서 다른 개발자가 코드를 복사해 수정한 버전(Fork)을 따로 사용해야 한다는 의미다.
이러한 이유로 본자이는 완성된 모델이 아닌, 방향성과 개념 증명(proof of concept)에 가깝다는 총평을 받고 있다. 그러나 기술 성숙도와 지원 생태계가 확장되면 향후 LLM의 방향성을 새롭게 제시할 가능성은 높다.
박현선 전문기자
댓글
0