소울메이트 시연 사진/사진=KAIST
| 스마트비즈 = 이서윤 기자 | 한국과학기술원(KAIST) 연구진이 사용자에 맞춰 스스로 학습하고 진화하는 개인 맞춤형 인공지능(AI) 반도체를 개발했다.
KAIST는 17일 인공지능반도체대학원 유회준 교수 연구팀이 온디바이스 기반 거대 언어 모델(LLM) 가속기 반도체 ‘소울메이트’를 개발했다고 밝혔다.
이번 기술의 핵심은 클라우드를 거치지 않고 기기 자체에서 데이터를 처리하는 온디바이스 AI 구조다. 이를 통해 개인정보 유출 우려를 줄이면서도 빠른 응답 속도를 구현한 것이 특징이다.
연구팀은 기존 대화 내용을 기반으로 맞춤형 답변을 생성하는 검색증강생성(RAG)과 사용자 피드백을 즉각 반영해 모델을 학습시키는 로우 랭크 미세조정(LoRA) 기술을 반도체 내부에 직접 구현했다.
이로써 ‘소울메이트’는 약 0.2초(216.4ms) 내 응답과 동시에 학습이 가능한 실시간 개인화 AI 시스템을 구현했다.
전력 효율성도 크게 개선됐다. 정보 중요도에 따라 처리 방식을 최적화해 약 9.8밀리와트(mW)의 초저전력으로 구동되며, 이는 일반 스마트폰 대비 약 500분의 1 수준이다.
모바일 환경에서도 배터리 부담 없이 사용할 수 있는 수준이라는 설명이다.
연구팀은 이번 기술이 향후 스마트폰과 웨어러블 기기 등 다양한 플랫폼에 적용될 경우, 사용자 맞춤형 AI 서비스의 본격적인 확산을 이끌 것으로 기대하고 있다.
유회준 교수는 “이번 연구는 AI가 단순한 도구를 넘어 사용자의 특성을 이해하고 함께 성장하는 ‘동반자’로 발전할 수 있는 기반을 마련한 것”이라며 “미래에는 언제 어디서나 사용자를 가장 잘 아는 친구 같은 AI가 구현될 것”이라고 말했다.
이서윤 기자
다른기사
키워드
#한국과학기술원
#반도체
#소울메이트
#클라우드
관련기사
한수원·UNIST 컨소시엄, 100억 투입 '에너지·AI' 공동연구 착수
KAIST AI 단과대학 신설···내년 학부 100명·석박 200명 모집
뉴욕증시, 유가 진정·AI 기대에 동반 상승···엔비디아 “고맙다 삼성”
저작권자 © 스마트비즈
댓글
0