구글 선호출처 추가
왼쪽부터 한승열 교수, 황예찬 연구원, 배상준 연구원.UNIST 제공
다른 AI의 말을 액면 그대로 믿지 않고 행동도 함께 살펴 숨은 '관계'까지 판단하도록 AI를 가르치는 학습 기술이 나왔다. 이 기술을 적용한 AI는 마피아 게임에서 기존 학습법보다 평균 승률이 24%포인트 높았다.
UNIST 인공지능대학원 한승열 교수팀은 상대의 역할과 의도를 직접 추론하고, 그 판단에 맞춰 말하고 행동하도록 대형언어모델 AI를 훈련하는 기술 '마르보(MARBO, Multi-Agent Relational Belief Optimization)'를 개발했다고 1일 밝혔다.
여러 AI 에이전트가 협력하거나 경쟁할 때는 소통이 원활하지 않아 정보가 부족하거나, 상대가 일부러 속일 수도 있다. 마르보는 상대의 숨은 역할과 의도를 파악하고, 자신의 목표에 맞게 행동하고 말하도록 AI를 가르치는 학습법이다.
먼저 축적된 대화와 행동을 바탕으로 상대가 어떤 역할이며 누구와 같은 편인지 추리하도록 가르친다. 또 상대의 정체를 정확히 판단하고 목표에 유리한 행동을 선택한 경우에만 좋은 평가를 줘 비슷한 상황에서도 그런 판단과 행동을 하도록 학습시킨다. 기존 학습법은 잘못 추리했어도 우연히 유리한 결과를 얻으면 좋은 평가를 줘 그 선택을 반복하게 했지만, 마르보는 이런 경우를 걸러낼 수 있는 것이다.
발언할 때는 상대가 자신을 어떻게 생각하는지도 고려하도록 가르친다. 상황에 맞는 말인지만을 판단하는 것이 아니라 말을 들은 상대의 판단이 자신에게 유리하게 바뀌었는지까지 확인하게 된다.
연구팀은 마피아 게임의 일종인 '웨어울프'와 '어몽어스'에서 AI끼리 게임을 하도록 해 학습법의 성능을 검증했다. 매개변수가 70억 개인 언어모델을 마르보로 훈련한 뒤 웨어울프 게임을 시켰을 때 다섯 종류의 상대 AI와 겨룬 평균 승률은 65.6%를 기록했다. 이는 기존 학습법으로 훈련했을 때의 41.6%보다 24%p 높은 수치이며, 매개변수가 2배인 모델을 기존 학습법으로 훈련해 기록한 승률(64.0%)보다도 높다. 어몽어스 게임의 경우에는 유효매개변수가 약 20억 개인 모델은 승률이 36.4%에서 49.0%로, 약 40억 개인 모델은 승률이 40.0%에서 59.0%로 올랐다.
제1저자인 황예찬 UNIST 인공지능대학원 석사과정 연구원은 "상대의 역할과 관계에 대한 추론인 '관계적 믿음'을 바탕으로 전체적인 맥락을 이해하고 이를 학습에 반영하도록 하는 새로운 접근"이라고 설명했다.
한승열 교수는 "향후 다중 로봇, 자율 드론, 인간-AI 협업 등 여러 에이전트가 서로의 상태와 의도를 이해하며 협력해야 하는 시스템의 신뢰성과 적응성을 높이는 기반 기술로 확장될 수 있을 것"이라고 기대했다.
연구는 자연어 처리 분야 최고 권위 국제학술대회인 'EMNLP(Empirical Methods in Natural Language Processing)'에 채택됐다. 김미영기자 lalala4090@
댓글
0