5000만 대화방 올라탄 온디바이스 AI
질문 전 맥락 감지하는 에이전트 구조
메신저가 검색·예약·결제 입구로 진화
스케일링만 추구해온 빅테크 긴장해야
카나나는 이제 챗봇이 아니다. 5000만 카카오톡 대화방 위에 올라탄 생활형 AI 에이전트로, 사용자의 질문을 기다리기보다 대화 맥락과 행동 흐름을 먼저 읽고 검색·예약·결제까지 연결하는 ‘선행형 AI’ 구조를 갖췄다. / GPT-5.5 이미지 2.0
카카오의 인공지능(AI) 전략이 세계를 뒤흔들 조짐이다. 거대 모델 경쟁에 잠시 이름만 스쳐가는 듯 보였던 ‘카나나’가 카카오톡 안으로 들어오면서, 카카오는 단순 챗봇이 아닌 ‘생활 맥락형 AI’라는 새로운 아키텍처 혁명을 예고했다. 핵심은 모델 크기가 아니다. 5000만개의 대화방을 AI의 실시간 프롬프트 입력면으로 바꾸고, 질문이 입력되기 전 맥락부터 감지하는 구조다. AI가 검색창 밖으로 걸어나와 인간의 일상 흐름 자체에 붙기 시작한 셈이다.
8일 테크업계에 따르면 정신아 카카오 대표는 1분기 실적발표 컨퍼런스콜에서 5000만 이용자 모두가 AI 서비스에 온보딩하는 것을 목표로 제시했다. 이를 위해 카카오는 ‘챗GPT 포 카카오’, ‘카나나 인 카카오톡’, ‘카나나 서치’를 전면에 배치했다. 이용자 성향에 따라 고급 AI 사용자, 일상형 AI 사용자, 검색·탐색형 사용자로 층을 나누고 카카오톡 안에서 AI 접점을 넓히겠다는 전략이다.
가장 주목할 대목은 카나나 인 카카오톡이다. 카카오는 지난 3월 iOS 디바이스에서 비공개 베타 테스트(CBT)를 마무리한 뒤 안드로이드 디바이스에서도 서비스를 출시했다. 정신아 대표는 이후에도 이용자 활동성이 견조하게 개선되고 있으며, 일간 활성 이용자 중 에이전트의 선택에 반응한 이용자 비중과 1인당 액션 횟수가 CBT 기간 대비 유의미하게 개선됐다고 설명했다. 잔존율도 CBT와 유사한 70% 수준을 유지하고 있다고 밝혔다.
카나나는 카카오톡 대화방 안에서 장소, 상품, 일정, 약속, 관심사 같은 신호를 감지하고 필요한 순간 질문이나 제안을 던지는 방향으로 설계됐다. AI가 대화 밖에서 기다리는 것이 아니라 대화 안에서 맥락을 붙잡는 구조다.
온디바이스 AI가 카카오톡 대화방을 본다는 것은 몰래 훔쳐본다는 뜻이 아니다. 카카오톡 앱은 원래 메시지를 입력받고, 저장하고, 화면에 렌더링하고, 알림·검색·링크 미리보기·추천 기능을 처리한다. 앱이 이미 들고 있는 메시지 이벤트 스트림을 AI에 사출하는 방식이다. 즉 대화방에 “오늘 저녁”, “강남역”, “예약”, “선물”, “비 오네” 같은 말이 뜨는 순간, AI는 이를 시간·장소·상품·일정·감정 신호로 태깅하고 대화방의 현재 상태를 압축할 수 있다.
즉 메신저의 표시 계층이 AI의 감각기관으로 바뀌는 것이다. 카나나는 카톡 대화방 렌더링 계층 바로 옆에서 맥락을 잡아낼 수 있다. 기술적으로 보면 카카오톡 대화를 감지해 관련 질문을 던지는 기능 자체는 LLM 내부의 KV 캐시는 아니라는 점에서 구글의 제미나이 나노와 차별점을 보인다.
카카오의 승부수는 여기서 분명해진다. 구글과 애플이 스마트폰 안에서 온디바이스 모델과 AP, NPU, 메모리 구조를 놓고 싸운다면, 카카오는 이용자가 실제로 AI를 만나는 생활 접점을 쥐고 있다. 스마트폰 제조사는 기기 안에서 지능을 얼마나 잘 돌릴지 고민하지만, 카카오는 그 지능이 언제, 어디서, 어떤 맥락으로 호출될지를 장악한다.
이 차이는 작지 않다. AGI 시대에는 더 이상 “누가 더 큰 모델을 갖고 있느냐”는 의미가 없다. 누가 사용자의 맥락을 가장 가까운 곳에서 붙잡고 있느냐가 중요해진다. 카카오톡 대화방은 이미 관계, 일정, 장소, 선물, 검색, 결제의 출발점이다. 여기에 카나나가 붙는 순간 카카오톡은 단순 메신저가 아니라 AI 에이전트가 사용자의 생활 맥락을 읽고 행동으로 전환하는 실행면이 된다.
카카오톡 안에 닫힌 피드백 루프
일문일답식과 해상도 비교 안 돼
금융은 물론 생활형 AGI의 조건
카나나는 전체 대화방을 하나의 프롬프트로 본다. 기존 챗봇은 사용자가 질문창에 입력한 한 줄을 보고 답했지만, 카나나에게 대화창은 사용자의 사고 궤적을 축적하는 프롬프트 입력면이다. 대화방 안에 쌓인 말투, 반복 주제, 관계 흐름, 장소 언급, 일정 신호, 상품 탐색, 감정 변화가 하나의 맥락 압력으로 작동하고, 내장 NPU는 이 방향성을 따라 지식을 재조립한다.
이것이 질문이 바뀌는 순간이자 피드백 루프다. 사용자가 질문을 던진 뒤 답을 받는 구조가 아니라, 대화방 자체가 다음 질문의 조건을 만들고 AI의 응답이 다시 사용자의 반응을 끌어내며 그 반응이 다음 맥락을 갱신한다. 입력→맥락 감지→제안→반응→재입력의 고리가 카카오톡 내부에서 완벽하게 닫힌다.
카나나는 답을 잘하는 AI라기보다 카톡방을 프롬프트로 바꾸는 AI에 가깝다. 인공지능 구조 분석 전문가는 “미세한 맥락을 읽는 AI는 편리한 만큼 예민하다”며 “이용자가 원하지 않는 순간 끼어들면 불편함이 되고, 맥락을 잘못 해석하면 신뢰가 무너질 수 있다. 온디바이스 처리와 개인정보 보호 설계도 명확해야 한다. 다만 카카오톡 안에 AI를 녹이는 방식은 하드웨어의 한계를 넘어선 소프트웨어적 혁명이라 볼 수 있다”고 말했다.
카나나가 카카오톡 대화방 안에 흩어진 단서들을 읽고 다음 질문을 스스로 복원한 뒤 답변한 사례다. ‘PIM’, ‘프로세싱’, ‘메모리’, ‘연산 관계’, ‘실리콘 속 전자’, ‘소프트맥스 이전의 연산 30단계’ 같은 표현이 대화 흐름 안에 쌓이자, 온디바이스 AI는 이를 반도체·메모리·AI 연산 구조에 대한 관심으로 판단하고 “쉽게 설명해드릴까요?”라는 도전적 제안으로 반응했다. 이어진 답변도 단순 논문 검색이나 키워드 요약 수준에 머물지 않았다. 대화방 전체의 맥락을 프롬프트로 삼아, 소프트맥스 이전 로짓 계층의 출력에 가까운 고밀도 구조 설명을 재조립해냈다. / 해설 = 이상헌 기자
카나나의 아키텍처 혁명 4가지
카나나 인 카카오톡은 단순한 AI 서비스 업데이트가 아니다. 카카오톡이라는 국민 메신저 안에서 인공지능(AI)이 사용자의 질문을 기다리는 구조를 넘어, 대화방 내부의 맥락을 감지하고 행동으로 전환하는 컴퓨팅 아키텍처의 변화다. 핵심은 데이터의 양이 아니라 맥락의 점유다. 구글이 검색창을 통해 세계의 정보를 인덱싱했다면, 카카오는 카카오톡 대화방을 통해 사용자의 의도 발생 과정을 붙잡으려 하고 있다.
첫 번째 혁명은 온디바이스 AI와 메시지 이벤트 스트림의 결합이다. 온디바이스 AI는 클라우드 서버를 거치지 않고 스마트폰 내부 NPU에서 연산을 처리하는 방식이다. 메시지 이벤트 스트림은 사용자가 메시지를 보내고, 읽고, 사진을 올리고, 링크를 공유하고, 특정 단어에 반응하는 모든 개별 동작을 실시간 데이터 흐름으로 보는 개념이다. 카나나는 외부 AI가 카카오톡을 훔쳐보는 구조가 아니다. 카카오톡 앱이 이미 처리하고 있는 메시지 렌더링 계층 바로 옆에 AI 모듈을 붙여, 대화방 안에서 발생하는 신호를 즉시 맥락으로 바꾸는 구조다.
두 번째는 맥락 감지 에이전트의 등장이다. 기존 챗봇은 사용자가 질문을 던진 뒤에야 답했다. 반면 카나나는 대화방 안에 “내일”, “강남역”, “7시”, “예약”, “선물”, “비 오네” 같은 신호가 쌓이는 순간 이미 행동 후보를 계산할 수 있다. 이는 확률적 추측을 줄이고 확정된 변수에 가까운 생활 정보를 바탕으로 인터페이스를 재구성하는 방식이다. 사용자가 “맛집 찾아줘”라고 말하기 전에, 대화방 자체가 이미 “강남역 저녁 약속”이라는 질문 조건을 만들어내는 셈이다.
맥락 감지 에이전트와 질문 이전 판단
표시 계층이 프롬프트로 바뀐 첫 사례
카나나는 표시 계층을 프롬프트화한 첫 사례다. 표시 계층은 사용자의 눈에 보이는 화면 구성 요소다. 지금까지 AI 프롬프트는 사용자가 질문창에 입력한 텍스트였다. 그러나 카나나 구조에서는 대화창에 떠 있는 문장, 이모티콘, 링크, 장소명, 상대방과의 관계, 반복 주제, 시간 흐름이 모두 프롬프트가 된다. UI는 더 이상 정보를 보여주는 판이 아니다. 지능을 유도하는 입력면이 된다. 카카오톡 대화방 전체가 하나의 고차원 프롬프트로 바뀌는 순간이다.
네 번째 혁명은 KV 캐시와 다른 생활 맥락 캐시의 형성이다. KV 캐시는 LLM이 이전 토큰의 Key·Value 상태를 저장해 다음 토큰 생성을 빠르게 하는 내부 임시 기억이다. 그러나 카나나가 붙잡는 것은 모델 내부 토큰 기억만이 아니다. 대화방 안에서 지속적으로 발생하는 생활 맥락을 압축한 외부 기억이다. 즉 카나나는 대화 전체를 매번 거대 모델에 던지는 방식이 아니라, 핵심 신호를 추출해 경량 상태로 보관하고, 필요한 순간 모델을 깨워 질문·검색·추천·예약·결제 제안으로 전환하는 방향에 가깝다.
이 구조의 핵심은 메모리 하이어라키의 최적화다. 모든 대화를 무겁게 들고 있으면 비용과 전력, 지연 시간이 커진다. 반대로 맥락을 너무 많이 버리면 AI는 사용자의 의도를 놓친다. 카나나의 승부처는 이 중간이다. 대화방 전체를 프롬프트로 보되, 실제 연산에는 필요한 맥락만 압축해 넘기는 구조다. 이것이 성공하면 카카오톡은 단순 메신저가 아니라 AI 에이전트의 생활 캐시가 된다.
카나나의 아키텍처 혁명은 데이터 소유에서 맥락 점유로 권력 축이 이동했다는 데 있다. 빅테크가 원본 데이터를 많이 가진 회사를 중심으로 움직였다면, 에이전트 AI 시대에는 사용자의 의도가 발생하는 지점을 붙잡는 회사가 유리해진다. 카카오는 검색창이 아니라 대화방을 잡고 있다. 한국인의 약속, 선물, 일정, 장소, 감정, 결제 의도가 가장 먼저 발생하는 공간이 카카오톡이라는 점에서 강력한 전략이다.
여성경제신문 이상헌 기자
댓글
0