[박형주의 세나수 | 세상에 나쁜 수학은 없다]AI 시대, 인간은 무엇으로 빛나는가

미국 프린스턴 고등연구소(IAS)의 설립자인 에이브러햄 플렉스너는 “인류에게 궁극적으로 기여한 위대한 발견의 대부분은 유용해지려는 욕망이 아니라 순수한 호기심에 이끌린 이들에 의해 이루어졌다”고 말했다. 강화학습의 주요 기제인 보상체계만으로 인공지능(AI)이 호기심 기반의 탐색을 하도록 하는 게 어렵다면, 호기심을 통해 정해진 좌표 밖으로 도약하는 능력은 아직은 인간의 영역인 것 같다.

더 분명해진 수학의 가치

반면에 상이한 분야의 기존 성취를 연결해 난제를 해결하는 능력에서는 AI가 강력한 가능성을 보여준다. 최근 오픈AI가 미해결 수학 난제들을 해결한 무려 722개의 논문을 공개하면서 전 세계 수학계가 대혼란에 빠졌다. 새로운 논문의 진위를 점검하는 전통적인 방식인 동료평가(피어 리뷰)의 진행 속도보다 AI가 새로운 결과를 내는 속도가 더 빠를 거라는 추측은 현실이 됐고, 학자들은 앞으로 속속 발표될 방대한 논문들을 누가 심사할 것인가라는 난관에 봉착했다. 일단 개별 수학자 수준의 검토에서 일부 오류가 지적돼, 3개의 논문이 철회됐고 13개는 수정 버전으로 대체됐다. 어떤 이유인지 분명하진 않지만, AI의 판단을 전적으로 신뢰할 수 없음은 다시 확인됐다.

이 중에서 필즈상급의 난제로 여겨지는 준리만 가설 증명을 검토한 옥스퍼드대학의 제임스 메이너드 교수는 AI가 리만 가설과 무관해 보이던 분야의 연구 성과들을 활용했다고 전했다. 인간 전문가는 자신의 연구 분야와 먼 분야의 결과는 알기 힘들지만, 인공지능은 관련 없어 보이는 분야들의 결과를 이해하고 연결하는 능력이 탁월하다는 뜻이다. 그의 말처럼, 상이한 분야의 연결을 통해 “우리가 이미 가진 도구만으로도 예상보다 훨씬 더 멀리 나아갈 수 있다”는 것을 확인했다는 게 중요한 성과다.

AI 시대에 기초과학의 중요성은 새로운 의미를 갖는다. 미래 인공지능의 지향점인 범용인공지능(AGI)으로 향하는 길목에서 가장 큰 장벽이 물리적 세계에 대한 총체적 이해와 암묵지(Tacit Knowledge)의 형식화이기 때문이다. 즉, 자연의 원리를 탐구하고 이를 형식적 지식과 데이터로 전환해 내는 기초과학의 토대 없이는 AGI의 도래 또한 요원하다.

수학 연구의 가치는 더 분명해지고 있다. 생성형 인공지능의 후발주자이자 상대적으로 낮은 컴퓨팅 하드웨어의 한계를 가졌던 중국 딥시크나 문샷AI의 키미 약진이 이를 증명한다. 이들은 통상적으로 쓰이던 최적화 알고리즘(SGD, ADAM)의 틀을 깨고, ‘뮤온(Muon)’이라는 새로운 수학적 최적화 기법을 도입해 데이터 처리와 예측 능력을 비약적으로 끌어올렸다. 강력한 수학 연구의 진보로 계산 자원의 한계를 돌파한 결과에 최고의 GPU와 개발 인력을 보유한 미국 기업들은 ‘멘붕’에 빠졌고 전 세계 주식시장의 폭락 사태로 이어졌다. 데이터센터, 저장장치, GPU 등의 하드웨어에 끝도 없는 투자가 계속될 것이라는 투자자들의 믿음이 흔들렸기 때문이다.

편견으로부터 자유는 아직 인간 몫

얼마 전 신진서 9단이 AI와의 대국에서 승리를 거둔 사례는 시사하는 바가 크다. 강화학습이 제한된 정보 속에서도 최적화를 찾아내지만, 학습 과정에서 배제된 시나리오 앞에서는 큰 편향을 드러내며 무너진 것으로 보이기 때문이다. 인공지능은 학습 데이터에 포함되지 않은 미지의 영역에는 취약하지만, 정해진 좌표 밖으로 나아가는 도약은 여전히 인간의 몫이고, ‘편견으로부터의 자유’는 아직 인간의 영역이라고 해석할 수 있다.

‘나의 신념이 틀릴 수도 있음’을 강조했던 버트런드 러셀의 말처럼, 맹목적인 믿음과 확증 편향이 범람하는 정보 과잉의 시대에 끊임없이 의심하고 데이터로 교차 검증하는 태도는 ‘편견으로부터의 자유’의 필수 요소다. 게다가 AI는 사실 확인과 검증에 드는 ‘의심의 비용(Cost of Doubt)’을 비약적으로 낮춰주지 않는가. 인간의 직관과 통찰은 인류 문명이 오랜 세월 축적해 유전자에 각인해둔 일종의 ‘압축 데이터’일지 모른다. 그러나 이 직관 역시 AI가 열어젖힌 새로운 데이터와 가능성에 발맞추어 공진화(Co-evolution)하지 않는다면, 또 다른 편견과 인지적 왜곡에 갇히고 만다.

인공지능이 인간의 지능을 모사하고 능가하는 시대, 전인미답의 영역으로 발을 내딛게 하는 순수한 호기심과 기존 신념, 편견으로부터의 자유함은 여전히 인간을 더욱 빛나게 한다.

박형주 아주대 수학과 석좌교수

영문번역(English Translation)