[김희연 AI시대 인사이트 64]
터보퀀트와 제본스의 역설…기억을 향한 욕망 줄지 않아
MP3·카메라·클라우드…효율은 소비를 폭발시켰다
지난해 이맘때쯤 나는 AI도 치매에 걸린다는 글을 쓴 적이 있다. AI와 대화를 나누다 보면 어느 순간 맥락을 놓치고 뜬금없는 답을 내놓을 때가 있다. 마치 치매 환자처럼 당연히 기억하고 있어야 할 중요한 내용을 잊고 엉뚱한 이야기를 하는 것이다.
AI가 한 번의 대화에서 동시에 참고할 수 있는 기억의 크기에는 한계가 있기 때문이다. 이 한계를 '컨텍스트 윈도우(context window)'라고 부르며, 일반 GPT 모델은 약 128K 토큰, 한글로 환산하면 책 200~300쪽 분량에 해당한다. 이 용량이 차면 AI는 요약을 하는 과정에서 일부 정보가 제거되거나 맥락이 약해진다. 나는 이 현상을 'AI의 치매'라고 부른다.
장난감 레고 블록으로 만든 삼성전자 평택공장의 반도체 라인. (사진=연합뉴스)
왜 AI 서버는 그렇게 비싸야만 하는가의 질문
최근 이 치매를 늦출 수 있는 획기적인 기술적 처방전이 등장했다. 구글이 공개한 양자화/압축 기술 '터보퀀트(TurboQuant)'다. 메모리 사용량을 크게 줄일 수 있는 이 기술이 발표되자 시장은 즉각 반응했다. 메모리 효율이 높아지면 당연히 메모리 수요가 줄어들 것이라는 단순한 논리가 작동했고, 반도체 주가는 크게 흔들렸다. 그러나 나는 이 반응이 다소 과도하다고 생각한다. 기술의 수치만 보았을 뿐, 그 기술을 사용하는 인간의 욕망은 보지 못했다는 판단 때문이다.
AI와의 대화는 자연스러운 답변을 위해 극도로 짧은 시간 안에 대규모 연산을 처리해야 한다. 이를 위해서는 일반 메모리가 아니라 초고속 메모리인 HBM(High Bandwidth Memory)이 필수적이다. HBM은 일반 메모리보다 훨씬 넓은 대역폭을 가진 일종의 ‘고속도로’로, 이른바 10차선 고속도로를 뚫어 초고속으로 달리게 한 것이다. 성능이 탁월한 만큼 제조 난이도가 높고 수율 문제가 겹치며 가격이 비쌀 수 밖에 없으며 공급처 역시 삼성전자, SK 하이닉스, 마이크론 등으로 제한되어 있다.
트럭에 더 많은 짐을 싣자는 발상
구글은 여기서 발상의 전환을 했다. 고속도로를 넓히는 것만이 능사가 아니라고 본 것이다. 오히려 지금까지 데이터를 너무 비효율적으로 실어 나르고 있었던 것은 아닌가 하는 질문을 던졌다.
터보퀀트의 핵심은 데이터를 더 작게 압축해 같은 공간에 더 많이 담는 기술이다. 마치 하나의 트럭에 짐을 더 촘촘하게 쌓아, 이전보다 몇 배 많은 화물을 실어 나르는 것과 같다. 그 결과 도로는 그대로인데, 오가는 데이터양은 급증하는 효과가 발생한다. 고속도로를 새로 뚫는 막대한 비용없이도 기존 도로의 처리량을 비약적으로 끌어올린 것이다.
물론 압축에는 난제가 있다. AI의 데이터는 단순한 숫자가 아니라 단어 사이의 미묘한 관계를 담고 있기 때문에, 무리하게 압축하면 의미가 손상되거나 엉뚱한 결과를 낼 수 있다. 이는 긴 이야기를 짧은 문장으로 줄이는 과정과 비슷하다. 핵심만 남기면서 촌철살인의 글이 될 수도 있지만, 자칫 맥락이 무너질 위험도 있다. 터보퀀트는 이 양단의 가능성에서 수학적 설계를 통해 핵심 정보의 손실을 최소화하면서도 메모리 사용량은 획기적으로 낮추는데 성공한 것이다.
효율은 절약이 아니라 더 큰 '확장'과 소비를 부른다
시장은 이 기술을 ‘메모리를 6분의 1만 써도 된다’는 신호로 해석해 관련 반도체 주가가 급락했다. 하지만 앞으로 시장의 반응처럼 메모리를 정말 덜 사용하게 될까? 산술적으로는 맞지만, 실제는 그렇지 않을 것이라는 판단이다. 과거의 사례들이 방향을 보여주기 때문이다.
과거 초기 MP3 플레이어는 고작 몇 곡밖에 저장할 수 없었다. 당시 사람들은 그 정도면 충분하다고 만족했지만, 스티브 잡스는 "1,000곡을 주머니에"라는 슬로건과 함께 아이팟을 소개했고, 사람들은 기꺼이 비용을 지불하며 늘어난 저장 용량에 더 많은 음악을 담기 시작했다. 지금 스트리밍 시대는 수 곡 라이브러리를 통째로 소비하고 있다.
디지털 카메라도 마찬가지다. 초기에는 저장 장치의 용량이 작고 가격은 비쌌기 때문에, 한 번 외출에 수십 장 정도만 찍는 것이 일반적이었다. 그러나 메모리 가격이 낮아지고 효율이 좋아지자, 사람들은 더 이상 장수를 아끼지 않게 되었다. 스마트폰 카메라도 같은 흐름이다. 저장 효율이 높아지고 클라우드 비용까지 낮아지자, 우리는 일상의 모든 곳에서 사진을 남긴다. 동영상은 말할 것도 없다. 지금은 몇 분, 몇 시간짜리 영상도 거리낌 없이 기록한다.
저장 공간이 효율적으로 늘어나자 우리는 더 많은 음악을 담았고, 더 많은 사진을 찍었으며, 더 많은 콘텐츠를 소비하게 되었다. 자원 사용 효율성이 높아져 비용이 낮아지면, 결과적으로 사용량이 오히려 증가하는 현상을 제본스의 역설(Jevons Paradox)이라 한다. 효율은 절약으로 이어지기보다, 언제나 더 큰 확장과 소비를 불렀다.
AI 기업의 선택: 비용 절감보다 더 좋은 서비스
‘AI의 치매’ 현상은 기술적 한계도 있지만 특히 비용의 영향이 크다. 터보퀀트와 같은 기술이 비용 구조를 획기적으로 낮춘다면, AI 기업들이 선택할 방향은 분명해진다. 기억을 줄여 돈을 아끼는 것이 아니라, 더 오래 기억하고 더 정교하게 활용해 경쟁력을 높이는 쪽이다.
책의 일부만 참고하는 AI와, 방대한 문서 전체를 기억하는 AI는 전혀 다른 존재다. 특히 단순한 질의응답을 넘어 지속적으로 일을 수행하는 이른바 ‘AI 에이전트’로 진화할수록 그 차이는 더욱 커진다.
나의 업무 기록과 사소한 대화 맥락까지 모두 기억하고 심지어 내가 잊은 것까지 짚어주는 존재가 있다면, 사용자는 그 서비스를 떠날 수 없게 된다. 결국 메모리는 단순한 기술 사양이 아니라, 사용자를 붙잡는 저장소이자 관계의 기반이 되는 것이다.
글 내용에 맞춰 제미나이가 생성한 이미지 (자료 = 뉴스버스)
인간의 욕망은 기술보다 언제나 한 발 앞서 있다
인류의 역사는 언제나 기억의 확장 욕망으로 가득했다. 동굴 벽화는 인간이 경험을 기록하고 싶었던 가장 오래된 증거다. 문자가 생기자 더 많은 것을 기록했고, 인쇄술이 생기자 지식을 복제했다. 사진이 나오자 기억을 이미지로 저장했고, 스마트폰이 나오자 모든 순간을 사진과 영상으로 담고, 클라우드에 저장했다. 기술이 기억의 용량을 늘려줄 때마다 인간은 "이제 충분해"라고 말한 적이 없다. 항상 그 용량을 채우고, 더 많이 요구했다.
기술의 진보가 '덜 쓰는 방향'으로 흘러간다고 생각하는 것은 기술만 보는 시선이다. 인간을 보면 답은 명확해진다. 결국 기술의 방향은 언제나 같다. 더 적게 쓰기 위해 발전하는 것이 아니라, 더 많이 할 수 있는 방향으로 발전한다.
김희연
은 기업전략 컨설턴트다. 씨티은행과 유수 증권사의 IT애널리스트를 거쳐 LG디스플레이 최고전략책임자(CSO)에 올랐다. 금융·증권·IT·제조 분야를 아우르는 경험을 바탕으로 전략· MI·신사업 발굴·IR을 총괄했다. 퇴임 후엔 AI를 통해 현자·석학들과 대화하며 차별화 전략·리더십 해법을 탐색하는 <AI스토밍(AI-Storming) 방식> 을 창안, 관련 저작권을 갖고 있다. 현재는 이 독창적 AI활용 방법론을 기반으로 기업과 기관에 <전략 컨설팅> 및 <AI 강의> 등을 하고, 뉴스버스에 'AI시대 인(人)사이트'를 연재하고 있다. 저서로는 <공감지능시대>와 최근 출간된 <리더는 AI에게 질문하지 않는다>가 있다.
이 기사와 뉴스버스 취재를 자발적 구독료로 후원합니다.
후원하기
후원금 직접 계좌이체도 가능합니다.
신한은행 140-013-476780 [예금주: ㈜위더미디어 뉴스버스]
뉴스버스 기사 쉽게 보시려면 회원가입과 즐겨찾기를 해주세요.
회원가입
댓글
0