사용자 특성에 맞춰 스스로 학습·진화하는 개인 맞춤형 LLM 가속기 ‘소울메이트’ 시연하는 모습(사진 제공=KAIST)
| 이코노미사이언스 신지원 기자 |
거대 언어 모델(LLM)은 다양한 질문에 답할 수 있지만, 사용자의 말투나 취향, 이전 대화 맥락을 반영하는 데는 한계가 있다. 이로 인해 인공지능이 일상에 깊이 들어왔음에도 여전히 개인화 수준은 제한적이라는 지적이 이어져 왔다.
KAIST는 인공지능반도체대학원 유회준 교수 연구팀이 사용자 특성에 맞춰 스스로 학습·진화하는 개인 맞춤형 LLM 가속기 ‘소울메이트(SoulMate)’를 개발했다고 17일 밝혔다. 해당 기술은 ‘초개인화 AI’를 구현하기 위한 반도체 기반 솔루션이다.
‘소울메이트’는 클라우드를 거치지 않고 기기 내에서 데이터를 처리하는 온디바이스(On-device) 구조를 채택한 것이 특징이다. 연구팀은 검색증강생성(RAG)과 로우 랭크 미세조정(LoRA) 기술을 반도체에 직접 구현해, 사용자 대화 이력을 반영한 맞춤형 응답 생성과 실시간 학습을 동시에 가능하게 했다.
이를 통해 약 0.2초(216.4ms) 수준의 응답 속도를 구현했으며, 학습과 추론을 동시에 수행하는 실시간 개인화 AI 환경을 구축했다. 또한 정보 중요도에 따라 연산을 최적화하는 혼합 랭크(Mixed-Rank) 구조를 적용해 전력 효율을 높였다. 해당 반도체는 약 9.8mW의 초저전력으로 동작해 모바일 기기에서도 활용이 가능하다.
특히 모든 데이터를 기기 내부에서 처리하는 ‘보안 완결형 AI’ 구조를 통해 개인정보 유출 우려를 최소화했다. 연구팀은 이 기술이 스마트폰과 웨어러블, 개인형 AI 디바이스 등 다양한 분야에서 활용될 것으로 보고 있다.
유회준 교수,홍성연 박사과정(사진 제공=KAIST)
유회준 교수는 “AI가 사용자와의 상호작용을 통해 관계를 형성하는 방향으로 발전할 수 있는 기반을 마련했다”며 “향후 개인의 특성을 반영하는 인공지능 서비스로 확장될 것”이라고 밝혔다.
한편, 이번 연구는 국제고체회로설계학회(ISSCC)에서 하이라이트 논문으로 선정됐다.
아주쉽다
0
쉽다
0
보통이다
0
조금 어렵다
0
많이 어렵다
0
신지원 기자
저작권자 © 이코노미사이언스
관련기사
KAIST·연세대, '전자 오비탈’로 자성 제어… 차세대 반도체 가능성 제시
"섬유·나뭇잎 위에 그리면 작동한다" …KAIST, ‘액체금속 파우더’ 개발
키워드
#KAIST
댓글
0