[3월23일] 엔비디아가 '에이전트'를 로봇 AI의 미래라고 강조한 이유

엔비디아가 지난주 'GTC'에서 쏟아낸 굵직한 소식에 가려, 별로 주목받지 못했던 부분이 많습니다. 그중 하나가 바로 로봇과 에이전트의 연계입니다.

행사장에서는 젠슨 황 CEO가 '겨울 왕국'의 올라프 로봇과 이야기를 나눈 이벤트가 돋보였지만, 이날 그는 에이전트가 피지컬 AI와 로봇 AI의 핵심 역할을 할 것이라고 강조했습니다. 그는 별도의 기자회견에서도 "몇년 안에 로봇 내부에서 오픈클로가 실행될 것이라는 점은 꽤 확실하다"라고 말했습니다.

디푸 탈라 엔비디아 로봇 및 엣지 AI 담당 부사장

은 디 인포메이션과의 인터뷰를 통해 이에 대해 상세한 설명을 내놓았습니다.

탈라 부사장은 황 CEO가 오픈클로를 강조한 것은 당연한 일이라고 밝혔습니다. "에이전트는 처음에는 디지털 AI에서 시작하겠지만, 앞으로는 피지컬 AI에도 동일하게 적용될 것"이라고 말했습니다.

현재 로봇 AI는 비전 모델(VLM)이 주변을 인식해 이를 대형언어모델(LLM)에 전달하고, LLM은 이를 분석해 로봇의 액션으로 출력하는 식입니다.

그러나 탈라 부사장이 밝힌 에이전트형 로봇 AI에서 이런 단일 모델의 역할은 로봇 프로세스의 일부에 불과합니다.

차세대 로봇용 시스템에서는 우선 에이전트가 목표를 세분화하고 이를 달성하기 위해 추론합니다. 예를 들어, "컵의 표면이 젖어 있으니까 좀 더 꽉 쥐어야겠다"라거나 "팔 각도가 안 나오니 몸을 먼저 틀어야지" 같은 추론을 생성하는 것을 말합니다. 이번 GTC에서 발표된 'GR00T N2' 같은 모델은 이런 '생각하며 움직이기'를 통해 기존 단일 비전-언어-액션(VLA) 모델보다 동작 성공률을 2배 이상 높였습니다.

이어 이를 실행에 옮기기 전에 월드 모델에서 수만번 시뮬레이션 후 최적의 경로를 찾아냅니다. 이때 상황에 따라 다른 에이전트를 부르거나, 도구를 호출해 문제를 해결합니다.

그리고 로봇의 액션이 이뤄지면 기존 모델처럼 성공과 실패만을 따지는 것이 아니라, 과정을 분석해 이에 수정하고 다음에 적용하는 방식입니다. 이전에 추론했던 내용들이 그 근거가 됩니다.

이처럼 로봇을 가동하기 위해서 단일 모델이 아니라 에이전트 시스템이 여러 모델을 오케스트레이션하고, 그 결과를 종합해서 수정하는 방식이 필요하다는 것입니다. 기존의 AI 모델이 로봇의 지능이었다면, 오픈클로 같은 에이전트는 손발을 움직이는 운영체제(OS)로 볼 수 있습니다.

또, 기존 방식이 인식(비전 모델)→분석 및 결정(LLM)→출력(액션 모델)의 단방향 명령 수행에 집중했다면, 에이전트 방식은 '결과를 만들어내기 위해 어떤 도구와 추론이 필요한가'를 먼저 고민하는 것은 물론 결과를 통해 배우는 '목적형 폐쇄 루프 구조'를 가지는 것으로 볼 수 있습니다.

그리고 로봇의 액션을 생성하는 것이 언어가 아닌 코드라는 점도 강조했습니다. 코딩 에이전트가 '오스모(Osmo)'라는 플랫폼을 통해 로봇에 지시를 내리는 구조로, 모호한 명령을 정밀한 수치로 변환해 실행할 수 있다는 것이 장점입니다.

이 때문에 이번 GTC에서는 '피지컬 AI 데이터 팩토리 블루프린트(Physical AI Data Factory Blueprint)'라는 종합 로봇용 플랫폼 안에 네모클로는 물론, 에이전트 관리자인 오스모와 월드 모델 '코스모스(Cosmos)'가 포함돼 있었습니다.

이를 통해 로봇을 정확하게 움직이기 위해 단일 모델의 기본 성능에만 기대는 것이 아니라, 여러 모델의 협업 체제를 구동하고 가상 세계에서 예습하고 실제 결과를 통해 복습하는 시스템을 구축하겠다는 것입니다.

엔비디아가 이번에 공개한 차세대 '베라(Vera)' CPU는 바로 이런 점을 처리하기 위한 장치로 볼 수 있습니다. GPU가 모델 학습에 특화됐다면, CPU는 에이전트를 효과적으로 구동할 전용 칩입니다. 타랄 부사장은 "물리 세계는 디지털과 달리 '원자'가 움직이기 때문에 훨씬 정교한 계산이 필요하다"라며 고성능 하드웨어의 중요성을 강조했습니다.

나아가 에이전트는 단일 로봇을 넘어 로봇 집단(Fleet)을 움직이는 핵심이 될 것으로 봤습니다. 대규모 공장과 같은 곳에서는 로봇별로 임무를 세분해서 나눠주고 결과에 따라 전체를 조율하는 오케스트레이터가 된다는 말입니다.

물론 그는 "너무 멀리 비약해서는 안 된다"라고 선을 그었습니다. "아직은 우수한 로봇 범용 두뇌가 존재하지 않으며, 이를 구축하는 데 필요한 데이터도 부족하다"라고 지적했습니다. 하지만 "모델이 충분히 정교해지고 로봇이 실제로 배치되면, 데이터는 기하급수적으로 증가할 것"이라고 말했습니다.

이처럼 로봇에 LLM을 적용한다는 아이디어는 등장한 지 3년여에 불과하지만, 이제 에이전트 시대를 맞아 빠르게 개념이 확장하고 정교해지는 것으로 볼 수 있습니다.

탈라 부사장은 "챗GPT가 성공을 거둔 데에는 두가지 근본적인 이유가 있다"라며 "첫째는 범용 모델로 어떤 질문이든 처리할 수 있으고, 두번째는 사용법을 따로 익히지 않아도 바로 쓸 수 있었던 점"이라고 말했습니다.

엔비디아는 이를 위해 단순 모델을 넘어, 에이전트 시스템과 월드 모델, 관리자 등이 결합한 로봇 소프트웨어 풀스택을 구축하고 있습니다. 이를 통해 어떤 기업이든 큰 노력을 기울이지 않고도, 챗봇처럼 쉽게 로봇을 사용하라는 것입니다.

이는 로봇이 많이 움직일수록 엔비디아의 칩과 클라우드 수요도 기하급수적으로 늘어나기 때문입니다. 이런 점은 이 회사가 피지컬 AI, 그중에서도 핵심으로 꼽히는 로봇 AI를 왜 이렇게 중요하게 생각하는지를 잘 보여 줍니다.

이어 주말 주요 뉴스입니다.

'기업 시장 올인' 선언한 오픈AI, 연내 인력 8000명으로 2배 확대

오픈AI가 사업 방향을 확실히 B2B로 전환한 것으로 보입니다. 이를 위해 연말까지 인원을 거의 두배로 늘리겠다고 합니다. 또 전날에는 챗GPT와 코덱스, 웹브라우저 등을 통합한 슈퍼 앱을 내놓을 것으로 전해졌는데, 이는 사용자 경험을 통합하고 업무용 OS로서의 기능을 강화하는 것으로 볼 수 있습니다.

'천재 소녀' 영입해 세계 8위 모델 내놓은 샤오미, 3년간 AI에 13조 투자 예고

그동안 AI 업계에서 거의 비중이 없었던 샤오미가 플래그십 모델 출시 하나로 중국을 대표하는 AI 기업으로 올라서는 분위기입니다. 개발자들이 20대 중반은 젊은 피라는 점도 강조했습니다. 이에 맞춰 투자도 크게 늘리겠다고 합니다.

앤트로픽, 오픈클로에 대응하는 ‘클로드 코드 채널’ 출시

디스코드나 텔레그램 계정으로 클로드 코드를 원격 연결하는 기능이 추가됐습니다. 이는 오픈클로의 방식과 흡사하며, 그중 코드 작성만 따로 떼어낸 것입니다. 특히 웹 채팅처럼 세션이 종료되지 않고, 이동 중에도 작업을 이어갈 수 있다는 점이 특징입니다.

AI타임스 news@aitimes.com

AI타임스