앤트로픽 클로드 [사진: 셔터스톡]
[디지털투데이 AI리포터] 구글, 오픈AI, 앤트로픽 등 주요 인공지능(AI) 모델이 프리미어리그 한 시즌을 가상 재현한 축구 베팅 실험에서 모두 손실을 냈다고 11일(현지시간) IT매체 아스테크니카가 보도했다.
코딩 같은 일부 과제에서는 성능이 빠르게 좋아졌지만, 장기간 이어지는 현실 문제를 분석하는 데는 여전히 한계가 있다는 결과다.
런던의 AI 스타트업 제너럴 리즈닝은 이번 주 '켈리벤치' 보고서를 내고 2023~2024 프리미어리그 시즌을 가상으로 재현한 환경에서 상위 AI 시스템 8종을 시험했다. 각 모델에는 팀별 과거 데이터와 경기 통계, 이전 경기 정보가 제공됐다. AI는 수익률을 최대화하면서 위험을 관리하는 모델을 짜도록 지시받았다.
가장 좋은 성적을 낸 것은 앤트로픽의 클로드 오퍼스 4.6이었다. 평균 손실률은 11%였고, 한 차례 시도에서는 손익분기점에 거의 근접했다. xAI의 그록 4.20은 한 번 파산했고 나머지 두 번은 끝까지 완료하지 못했다. 구글의 제미나이 3.1 프로는 한 번 34% 수익을 냈지만 다른 한 번은 파산했다.
연구진은 평가한 모든 프런티어 모델이 시즌 전체로 보면 돈을 잃었고, 상당수는 파산을 겪었다고 결론 내렸다. 이 시나리오에서 AI는 인간보다 체계적으로 낮은 성과를 보였다고도 했다.
이번 논문은 아직 동료 평가를 거치지 않았다. 공동 저자이자 제너럴 리즈닝 최고경영자(CEO)인 로스 테일러는 기존 AI 벤치마크 상당수가 매우 정적인 환경에 머물러 현실의 혼란과 복잡성을 제대로 반영하지 못한다고 지적했다. 그는 소프트웨어 엔지니어링은 중요하지만, 더 긴 시간축에서 진행되는 다른 현실 과제도 함께 살펴봐야 한다고 말했다.
AI리포터
댓글
0