[4월21일] AI 붐을 대표하는 METR 차트…"가장 많이 오해된 지표"

최근 등장한 각종 지표 중 가장 눈길을 끄는 것 중 하나로

METR(Model Evaluation & Threat Research)

의 '시간 지평 차트(Time-horizon chart)'라는 것을 꼽을 수 있습니다.

이는 AI 전문가나 월스트리트의 투자자, 업계 관계자들이 즐겨 인용하는 것인데, 한마디로 AI의 폭발적인 성장세를 극적으로 보여주기 때문입니다. 또 단순 성능이 아니라, AI가 얼마나 오래 자율적으로 일할 수 있는가를 처음으로 정량화했습니다.

오픈AI도 지난해 11월 '

GPT‑5.1-코덱스-맥스

'를 출시하며, 이 모델의 에이전틱 성능을 비약적으로 향상됐다는 것을 보여주기 인용했습니다. 당시 METR 테스트에 따르면, 이 모델의 평균 작업 지속 시간은 2시간42분으로, 'GPT-5'보다 25분 더 늘어났습니다.

METR은 미국의 비영리 연구 단체로, 지난해 3월 '

AI의 장시간 소요 소프트웨어 작업 완료 능력 측정

'이라는 논문을 공개하고 공식 활동을 시작했습니다. 이는 말 그대로 AI 모델이 50% 성공률로 완료할 수 있는 작업을 인간이 일반적으로 완료하는 데 걸리는 시간을 말합니다. 여기에는 코딩을 중심으로 사이버 보안, 일반 추론, 머신러닝 등 분야에서 170여개의 실제 작업이 포함됩니다.

이 테스트가 눈길을 끌게 된 것은 지난해 말부터입니다. 지난해 3월 차트 공개 당시에는 2019년부터 출시된 주요 모델 13개의 작업 완료 시간 범위 측정 결과, AI 모델의 성능은 약 7개월마다 두배로 시간이 늘어났습니다. 그러나 에이전트 개념이 도입되기 시작한 2024년부터는 최신 모델의 작업 시간이 3개월마다 두배로 빠르게 늘어났습니다.

특히 앤트로픽의 '클로드 오퍼스 4.5' 출시 이후 지난해 12월 공개된 METR 수치는 실리콘 밸리에 이른바 '엄마, 나 무서워' 신드롬을 일으켰습니다. 이 모델이 일정 조건에서 50% 확률로 해결 가능한 임무가 5시간까지 늘어났다는 것이 알려지자, 앤트로픽의 한 안전 연구원이 "엄마, 나 좀 데리러 와 줘. 무서워(mom come pick me up i’m scared)"라는 글을 남긴 것입니다. 다른 연구원은 연구 방향을 바꾸겠다고 트윗했습니다.

사실 METR도 이런 결과가 나올 것으로 예상하지는 못했다고 합니다. 베스 반스 METR의 공동 창립자 겸 CEO는

뉴욕타임스와의 인터뷰

에서 "이렇게 명확한 추세가 나타나고 직선적으로 이어질 거라고는 전혀 예상하지 못했다"라고 밝혔습니다. 크리스 페인터 METR 사장도 "올해는 모든 것이 자동화될 것 같은 느낌이 드는 첫 해"라고 말했습니다.

그리고 주요 AI 개발사들이 에이전트와 코딩 능력 강화에 집중하는 흐름이 뚜렷해졌습니다. 이 가운데 METR 측정치는 무려 14시간30분(클로드 오퍼스 4.6)까지 늘어났습니다. 'GPT-5.3-Codex'도 6시간30분으로 증가했습니다

더욱 무서운 것은 AI의 성능이 두배가 되는 데 걸렸던 이전의 7개월에서 이제는 3~4개월로 짧아졌다는 점입니다. 사실, 이 그래프보다 더 AI의 발전을 가시적으로 보여주는 지표는 드뭅니다.

이 때문에 일부 전문가 사이에서는 "METR의 차트가 세계 증시를 지탱하고 있다"라는 과장까지 나올 정도로 영향력이 커졌습니다. 리시 봄마사니 스탠포드 인간중심 AI 연구소의 연구원은 "METR의 평가 결과는 실리콘 밸리의 AI 커뮤니티에 국한되지 않고 더 넓은 대중에게 알려지면서 엄청난 영향력을 발휘했다"라고 말했습니다.

그러나 이에 대한 경계도 나왔습니다.

MIT 테크 리뷰

는 최근 이를 "AI 분야에서 가장 오해받는 그래프"라고 소개했습니다. 또 AI 연구원

네이선 위트킨

은 "방법론적으로 심각한 문제점을 안고 있어 완전히 쓸모없는 수준에 가깝다"라며 문제를 지적한 바 있습니다.

가장 흔한 오해는 다음과 같습니다. 우선 METR 데이터는 'AI가 5시간 내내 집중력을 유지하며 작동해 완벽한 결과를 낸다'라는 뜻이 아닙니다. 반대로, AI가 50%의 성공률을 기록한 작업을 인간이 대신할 때 걸리는 시간을 말합니다.

METR의 수치에는 상당한 오차도 존재합니다. 클로드 오퍼스 4.5가 평균 5시간이라는 결과를 냈다고 해도, 사람이 2시간 정도 걸리는 작업을 완료하지 못하는 경우도 있고 대신 20시간이 걸리는 작업을 성공적으로 수행할 수도 있습니다. 또 일부 전문가는 "시간이 더 오래 걸린다고 해서 반드시 더 어려운 작업이라고 단정할 수는 없다"라고 지적합니다.

여기에 METR은 이 그래프가 근본적으로 AI의 능력을 포괄적으로 측정하는 것이 아니라고 밝혔습니다. 대부분 작업은 코딩 위주이며, 클로드 오퍼스 4.5가 일부 작업을 완료할 수 있다고 해서 인간을 대체할 수 있다는 말은 아니라는 것입니다.

현실은 훨씬 복잡하기 때문입니다. AI가 더 긴 작업을 수행할 수 있다는 것과 실제로 인간의 생산성을 대체하거나 향상하는 것은 전혀 다른 문제입니다.

다니엘 강 일리노이대학교 어바나-샴페인 캠퍼스의 컴퓨터 과학 조교수는 "모델의 코딩 실력은 빠르게 향상할 수 있지만, 다른 모든 작업도 마법처럼 좋아지지는 않을 것"이라고 말했습니다. 즉, 단일 지표를 기반으로 경제 변화를 예측하려는 시도는 과도한 일반화로 이어질 수 있다는 지적입니다.

시드니 폰 아르크스 기술 담당 직원도 "사람들은 그래프를 너무 과대해석하는 경우가 많다"라고 지적했습니다. 이 때문에 METR은 직접

해명 블로그

를 열고 FAQ를 공개했습니다. 블로그 글을 작성한 토마스 콰는 "AI 과대광고 열풍은 우리가 무엇을 하든 간에 모든 주의 사항을 무시해 버릴 것"이라고 경계했습니다.

METR은 첨단 AI가 제기하는 위험을 평가하기 위해 설립됐습니다. 현재는 그래프로 잘 알려졌지만, 2025년 7월에는 AI 코딩 도우미가 오히려

소프트웨어 엔지니어의 작업 속도를 늦출 수 있다는 연구

를 발표해 화제가 되기도 했습니다.

또 오픈AI와 앤트로픽과 협력해 시스템 평가를 지원합니다. 물론 이들로부터 현금을 지원받는 것은 아니며, 테스트를 위한 컴퓨팅을 지원받습니다.

물론, 이 그래프가 AI 발전 궤적에 대해 의미 있는 시사점을 제공한다고 생각하는 사람은 많습니다. 강 교수는 "METR 연구는 이 분야에서 가장 세심하게 설계된 연구 중 하나"라고 말했으며, 심지어 AI 비평가로 유명한 게리 마커스 뉴욕대학교 교수도 연구 계획 수립에 투입된 많은 노력을 "훌륭하다"라고 평했습니다.

METR도 테스트 분야를 확장하고 있습니다. 최근에는 '은밀한 능력(covert capabilities)'이라고 부르는 새로운 연구 분야에 착수했습니다. 이 실험에서 AI 모델은 일반적인 작업을 수행하지만, 동시에 작업 중인 코드 블록에 미묘한 버그를 몰래 심는 것과 같은 교묘한 작업을 하도록 지시받습니다. 즉, AI가 사람 모르게 어떤 일을 할 수 있게 될지 알아내는 것이라고 말했습니다.

이처럼 대부분 기술 혁명 뒤에는 기하급수적 증가 곡선이 따르기 마련입니다. 인텔의 공동 창립자인 고든 무어가 1965년 발표한 '2년마다 반도체 회로 집적도가 2배씩 증가한다'라는 법칙은 40여년간 반도체 업계의 성장을 주도했습니다.

'인터넷의 여왕'이라고 불린 유명 투자자 겸 분석가인 메리 미커는 매년 '인터넷 트렌드 보고서'를 통해 전자상거래와 온라인 광고, 휴대폰 등의 폭발적인 성장을 보여주는 그래프를 공개했습니다.

그리고 이제는 METR의 그래프가 대중의 관심을 사로잡았다는 분석입니다. 사람들은 자신이 믿고 있던 현상을 확인해줄 지표가 필요하기 때문입니다.

폰 아르크스 기술 담당은 "하지만, 절대 이 그래프에 목숨을 걸 필요는 없다"라고 말했습니다.

또 "이 그래프는 여러 제약 조건 속에서 최선을 다해 측정 기준을 만들려는 사람들의 결과물"이라며 "여러 면에서 심각한 결함이 있지만, 저는 이것이 동종 분야에서 가장 훌륭한 것 중 하나라고 생각한다"라고 덧붙였습니다.

즉 숫자가 더 가파르게 올라가고 언젠가 AI가 인간이 수일, 수개월에 걸쳐 할 일을 처리해도, AI 유토피아나 종말이 찾아온다고 볼 수 없다는 것입니다.

또 이 그래프가 보여주는 핵심은 단순한 성능 향상이 아니라, AI가 단순 응답 시스템에서 ‘지속적으로 작업을 수행하는 시스템’으로 전환되고 있다는 점입니다. 즉, 에이전트 시대의 본격적인 시작을 포착한 지표라고 볼 수 있습니다.

그리고 이 지표는 AI의 능력을 측정할 뿐, 실제 업무 환경에서의 성과를 직접적으로 반영하지는 않습니다.

이어 20일 주요 뉴스입니다.

"딥시크-V4, 이번 주 출시" 예측 등장...하드웨어 한계 돌파 가능성

딥시크 전문가로 알려진 연구원이 이르면 이번 주 'V4'가 등장할 것으로 예측했습니다. 핵심은 이제까지 등장한 논문 등을 통해 새로운 모델이 어떤 모습일지를 예측한 것입니다. 이번에도 효율성에 초점이 맞춰진 것으로 보입니다.

'클로드 미소스'를 파이토치로 재현한 오픈소스 프로젝트 '오픈미소스' 등장

클로드 미소소의 원리를 추정, 이를 오픈소스로 공개한 프로젝트가 나왔습니다. 이는 모델을 재현한다기보다, 여기에 투입된 첨단 기술 요소를 파악하는 데 의의가 있습니다. 최근 주목되는 '파르카에 구조'도 도입됐습니다.

화제의 이미지 모델 '덕트 테이프'...'GPT-이미지-2' 출시 임박?

커뮤니티에서 GPT-이미지-2로 알려진 모델이 화제를 일으키고 있습니다. 특히 다양한 외국어까지 제대로 표현하는 타이포그래피가 강점으로 꼽힙니다. 이는 모델의 상업적인 활용을 가능하게 합니다. 이미지 모델도 B2B를 지향하고 있습니다.

AI타임스 news@aitimes.com