제프 딘 구글 수석 과학자가 "세상에 데이터가 부족하다는 주장에 동의하지 않는다"라며, 스케일링 법칙이 계속될 것이라고 예고했다. 그 이유로 아직 손대지 않은 방대한 양의 영상 데이터와 AI가 만들어 낼 합성 데이터를 지목했다.
딘 수석 과학자는 지난 23일(현지시간) 열린 GTC의 대담에 출연, 빌 달리 엔비디아 수석 과학자와 1시간여에 걸쳐 AI와 하드웨어에 대한 이야기를 나눴다.
이 가운데 가장 눈길을 끈 것은 딘 수석이 데이터 고갈론에 대해 정면 반박한 것이다. 상당수 전문가는 이미 AI 학습에 사용할 새로운 인터넷 데이터가 바닥났다고 입을 모으고 있지만, 그는 반대 의견을 내놓았다.
그는 "데이터가 고갈되고 있다는 주장에 나는 동의하지 않는다. 모델을 학습하는 데 아직 사용되지 않은 엄청난 양의 데이터가 세상에 존재한다"라고 말했다. 이어 "우리는 현재 일부 영상 데이터를 학습에 사용하고 있지만, 아직 학습에 쓰이지 않은 훨씬 더 많은 영상 데이터와 그에 결합한 오디오 데이터가 있다"라고 밝혔다.
이는 유튜브 데이터를 말하는 것으로 보인다. 구글은 지난해 '제미나이 3'를 학습하면서 텍스트와 이미지, 오디오, 비디오를 하나의 네이티브 멀티모달 체계로 통합해 학습한 것으로 알려졌다. 그리고 이런 데이터로 사전 학습한 제미나이 3는 예상을 뛰어넘는 성능 향상을 이뤄냈다.
특히 영상에는 AI의 물리적인 이해를 높일 수 있는 맥락이 포함돼 있다. 가령, 유리잔이 딱딱한 바닥에 떨어지면 소리를 내며 깨진다는 사실은 텍스트로는 배울 수 없는 내용이다. 이처럼 비디오를 보고 학습한 물리적 이해가 텍스트 추론 능력까지 동반 상승하는 현상을 '교차 모달 전이(Cross-modal transfer)'라고 부른다.
이어 그는 "로보틱스나 자율주행 차량에서 발생하는 실제 세계 데이터는 상당히 풍부할 것"이라고 덧붙였다.
'합성 데이터'에 기대를 건다는 점도 주목됐다. 달리 수석은 "기존 데이터로 학습한 모델이 다시 합성 데이터를 만들면, 그건 결국 똑같은 내용의 또 다른 버전에 불과하지 않는가"라며 모델 붕괴 우려를 지적했다.
그러자, 딘 수석은 "그렇지만 모델에 도움이 되는 것으로 보인다. 만약 합성 데이터를 생성하는 모델 자체가 매우 강력하다면, 그것은 실제로 모델 개선에 꽤 큰 도움이 된다"라고 답했다.
나아가 데이터의 패러다임이 정적인 상태를 넘어, 동적인 '상호작용'으로 진화하고 있다고 설명했다.
"우리는 모델이 세상을 그저 관찰만 하던 시대, 즉 타인이 만든 텍스트나 이미지를 들여다보던 시대에서 모델이 실제로 행동을 취하고 그 행동의 결과를 확인하는 시대로 이동하고 있다"라고 말했다.
이어 "그것이 시뮬레이션이든 실제 물리 세계든 그러한 궤적(Trajectories), 즉 일련의 행동과 그에 따른 피드백은 학습을 위한 믿을 수 없을 만큼 풍부한 데이터가 된다. 이는 본질적으로 상호작용을 통해 스스로 데이터를 생성하는 방식"이라고 설명했다.
이는 인터넷의 글은 언젠가 바닥나겠지만, AI가 시뮬레이션이나 사용자와의 대화를 통해 그 결과를 데이터로 바꾸면 데이터 고갈 문제를 근본적으로 해결할 수 있다는 것을 말한다.
그는 "우리는 컴퓨터 비전 분야에서 오랫동안 이런 현상을 봐왔다. 데이터 증강과 증류는 매우 강력한 기법"이라며 "아주 큰 모델을 사용해서 데이터를 라벨링하거나, 필터링하거나, 혹은 고품질의 합성 데이터를 생성함으로써 더 작은 모델이나 심지어 같은 크기의 모델이 이를 통해 학습하도록 만들 수 있다"라고 덧붙였다.
이번 발언은 그동안 제미나이 3의 성능 향상에 대한 추측을 구글의 수석 과학자가 직접 확인했다는 점에 의미가 있다. 그리고 다른 곳보다 앞선 구글의 멀티모달 능력이 바탕이 된 것으로 볼 수 있다.
나아가 그는 제미나이 3 이후 모델이 스스로 데이터를 생성하고 이를 통해 발전할 수 있다는 점에 확신을 가진 듯한 모습을 보였다. 이는 AI의 '자기 개선(Self-Improvement)'으로 볼 수 있다.
임대준 기자 ydj@aitimes.com
댓글
0