오픈AI와 앤트로픽, 구글 등의 AI 모델들이 프리미어 리그 경기에 베팅한 결과, 손실을 봤다는 연구 결과가 나왔다. 최첨단 시스템이라도 장기간에 걸쳐 현실 세계를 분석하는 데에는 어려움을 겪는다는 설명이다.
런던에 본사를 둔 AI 스타트업 제너럴 리즈닝(General Reasoning)은 9일(현지시간) 2023~24 프리미어 리그 시즌을 가상으로 재현해 8개의 최고 AI 시스템을 테스트한 '
켈리벤치(KellyBench)
' 보고서를 발표했다.
여기에는 ▲GPT-5.4 ▲클로드 오퍼스 4.6 ▲제미나이 3.1 프로/플래시 라이트 ▲그록 4.20 등 최고 성능의 폐쇄형 모델과 ▲GLM5 ▲키미 K2.5 ▲아르시 트리니티 등 오픈소스 모델이 포함됐다.
제너럴 리즈닝은 프리미어 리그 각 팀과 이전 경기에 대한 상세한 과거 데이터와 통계를 AI에 제공하고, 수익을 극대화하고 위험을 관리하도록 지시했다.
또 시즌이 진행됨에 따라 발생한 사건과 선수 업데이트 데이터를 적용, 경기 결과와 득점수를 맞추도록 했다. 또 이미 지난 시즌을 대상으로 한 것이라, AI 모델은 인터넷에 접속해 결과를 검색할 수 없도록 했다.
각 모델에 10만파운드의 초기 자금을 지급하고, 이 과정을 모두 3번 반복해 평균값을 냈다.
그 결과, 1위는 클로드 오퍼스 4.6이 차지했다. 평균 손실률 11%로 가장 좋은 성적을 거뒀으며, 한번은 손실률 0.2%로 본전치기에 가까운 결과를 보였다.
이처럼 모든 모델은 평균적으로 손실을 기록했다. 심지어 그록 4.20은 파산한 경우까지 나오며 7위에 그쳤다. 나머지 두번은 베팅을 제대로 완료하지도 못했다.
GPT-5.4는 손실률 13.6%로, 클로드와 압도적인 투톱을 이뤘다. 3위인 제미나이는 한번은 34%의 수익을 올렸지만, 다른 한번은 파산하는 등 최종 43.3%의 손실을 기록했다.
모델별 투자 수익률 (사진=제너럴 리즈닝)
연구진은 AI 모델이 부진한 성적을 낸 것에 대해서는 몇가지 이유를 내놓았다.
AI는 데이터 분석은 잘했으나, 이를 실제 베팅으로 연결하는 과정에서 논리적 오류를 범했다는 것이다. 확신이 낮은 경기에 전 재산을 거는 행위 등이 여기에 해당한다.
환각도 문제로 꼽혔다. 통계 데이터를 잘못 해석하거나 존재하지 않는 패턴을 찾아내 '과잉 확신'을 가졌던 사례도 보고됐다.
반면, 이번 실험에서 가장 좋은 성적을 거둔 오퍼스 4.6과 GPT-5.4는 공통점을 가지고 있다고 설명했다.
두 모델 모두 새로운 경기 데이터에 따라 전략을 재학습하거나 조정했고, 임의적인 베팅이 아닌 체계적인 규칙을 사용했으며, 베팅 전략이 맞아떨어지지 않아도 최대한 자본을 보존하려고 애를 썼다는 것이다. 세차례 시도에서 한번도 파산하지 않은 모델은 둘 뿐이었다.
연구진은 "이러한 현실적인 시나리오에서 AI는 인간보다 저조한 성과를 보였다"라고 결론 내렸다.
로스 테일러 제너럴 리즌 CEO는 파이낸셜 타임스와의 인터뷰에서 "AI 자동화에 대한 기대는 많지만, 장기적인 관점에서 AI의 효과를 측정하는 연구는 부족하다"라며, 연구의 의의를 밝혔다.
또 AI를 테스트하는 데 일반적으로 사용되는 많은 벤치마크가 현실 세계의 혼란과 복잡성과는 닮지 않은 "매우 정적인 환경"으로 설정돼 있기 때문에 결함이 있다고 덧붙였다.
이처럼 AI는 올해 코딩을 중심으로 급격하게 성능을 끌어올리며 금융에서 마케팅에 이르기까지 다양한 산업의 주가를 흔들고 있지만, 아직 인간의 일자리를 빼앗기는 부족하다는 지적이다.
테일러 CEO는 "실제 문제에 AI를 적용해 보면 성능이 매우 떨어진다"라며 "소프트웨어 엔지니어링은 매우 중요하고 경제적으로 가치가 높지만, 장기적인 관점에서는 다른 중요한 활동들에서 어떤 결과를 내는지 주목해야 한다"라고 말했다.
한편, 이번 결과는 지난 1월 xAI가 발표한 실시간 주식 거래 시뮬레이션 ‘알파 아레나 시즌 1.5’의 성적과 극명한 대조를 이룬다. 당시 그록 4.20은 초기 자본 1만달러를 1만1060달러로 늘리며, 테스트 모델 중 유일하게 흑자를 낸 바 있다.
하지만 두 실험은 환경 차이가 있다. 실시간 뉴스 흐름과 추세 분석이 중요한 주식 시장과 달리, 켈리벤치는 인터넷 접속이 차단된 상태에서 순수하게 통계적 우위와 복잡한 리스크 관리 능력만으로 승부해야 했다.
특히 주식 테스트에서는 분산 투자가 유효하게 작동했으나, 스포츠 베팅 환경에서는 AI가 특정 경기에 자금을 과도하게 투입하는 '올인' 리스크를 제어하지 못한 것이 파산의 결정적 원인이 된 것으로 분석된다.
임대준 기자 ydj@aitimes.com
댓글
0