[박형주의 세나수 세상에 나쁜 수학은 없다]인간 없는 과학이 온다

2000년, 저명한 SF 작가 테드 창이 학술지 ‘네이처’에 게재한 단편 ‘식탁의 부스럼을 주우며’는 이렇게 시작한다. “지난 25년 동안 인간의 논문은 없었다. 과학 탐구의 최전선이 인류의 이해를 넘어선 지금, 인간 과학자의 역할은 무엇인가.” 그리고 얼마 전, 로이터통신의 기사는 소설 속 ‘인간 없는 과학’이 실제로 구체화되고 있음을 보여주었다. 미국 인공지능(AI) 기업 앤스로픽이 샌프란시스코에 생물학 실험실을 운영 중이라는 소식이었다. 아직 제약사들과의 직접적인 경쟁이나 임상시험은 피하고 있지만, AI 모델 ‘클로드’가 실험을 기획할 뿐만 아니라 로봇을 통해 실제 실험을 수행하고 결과 분석까지 한다는 내용이었다.

‘AI 수학’ 초기 성과는 환상적이나

특정 과학 분야를 넘어 전 학문 분야의 성취를 이해하고, 한 분야의 오랜 난제를 다른 분야의 아이디어를 가져와 해결하는 능력. 그래서일까. 최고의 인간 과학자도 갖추기 힘든 이런 능력을 기반으로, ‘인간이 배제된 AI 자율실험실’이 과학의 작동 방식을 근본적으로 바꿀 것이라는 예측이 곳곳에서 나오고 있다.

이러한 방향성을 보여주는 대표적인 예로 빅테크 기업들의 수학 연구를 들 수 있다. 오픈AI, 구글, 앤스로픽 등은 수학 특화 연구팀을 운영 중이다. 수학은 명료하게 기술된 난제가 많고 기존 해결 시도의 실패 원인도 잘 알려져 있어 AI 방식의 새로운 접근을 적용하기에 적합하다고 판단한 것으로 보인다. 지난 7월 필즈상을 수상한 수학계의 신성 제이콥 치머만이 토론토대 교수직을 사직하고 오픈AI 연구원으로 이직한 것도 같은 맥락이다.

빅테크 기업들이 수학 난제 해결에 뛰어든 이후의 초기 성과는 환상적이다. 올해 초 구글 제미나이의 성공 사례를 시작으로 오픈AI는 높은 수준의 난제 해결 결과를 연이어 발표했다. 그중 ‘단일거리 문제’는 우리가 잘 안다고 믿었던 평면의 기하학적 구조에 새로운 통찰을 제시하며 충격을 안겼다. 평면 위의 점들을 일정한 거리를 갖도록 배치하는 방식이 기존 생각보다 훨씬 다양하게 가능함을 입증했기 때문이다.

최근에는 100만달러의 상금이 걸린 이 시대의 대표적 수학 난제인 ‘나비에·스톡스 방정식’을 해결했다는 오픈AI의 발표가 있었다. 부드러운 조건하에서도 유체의 회오리가 발생할 수 있음을 증명했다. 하지만 난제가 해결되면 좋은 것 아닌가라고 마냥 응원할 수만은 없는 여러 이슈가 함께 불거졌다. 유사한 문제인 오일러 방정식의 해결에 거의 도달한 수학자 2인의 새로운 통찰을 인용 없이 가져다 쓴 거라는 의심도 제기됐고, 수학 연구에서 무분별한 AI 사용의 자제를 촉구하는 필즈상 수상자 25인의 성명서까지 발표됐다. 아직 검증이 진행 중인 사안이고 상금 수여 기관인 클레이 수학연구소의 확인도 남아 있어서, 추후 깊이 있게 다루어보려고 한다.

이제, 인간은 무엇으로 빛날까?

한편 클로드는 무려 150년 동안 풀리지 않았던 ‘야코비 추론(Jacobian Conjecture)’이 틀렸음을 입증하는 반례를 제시했다. 이해를 돕기 위해 평면의 한 점 (x, y)를 더하고 빼는 방식으로 새로운 점으로 보내는 함수를 생각해보자. 즉 (x+y, x-y)라는 점으로 보내는 것이다. 만약 누군가 “어떤 점이 (3, 5)로 이동하는가?”라고 거꾸로 묻는다면 어떻게 될까? 4와 -1을 더하고 빼면 되므로 원래 점은 (4, -1)이었음을 알 수 있다. 이처럼 거꾸로 되짚어가는 관계를 ‘역함수’라고 한다.

복잡한 다항식으로 이루어진 함수가 다항식 형태의 역함수를 갖는지 판단하는 것은 매우 어렵지만, ‘야코비안’이라는 지표가 0이 아닌 숫자인지만 확인하면 된다는 것이 추론의 핵심이다. 놀랍게도 지난 150년간 이 추론에 어긋나는 반례는 단 하나도 발견되지 않았다. 수학자들은 이를 ‘우리가 모르는 오묘한 우주의 질서’ 때문일 거라고 믿으며 사실상 진리로 받아들이고 있었다. 컴퓨터를 동원해 수많은 다항식 함수를 실험했기에 틀릴 가능성은 희박해 보였다. 그러나 클로드는 불과 3개 변수만을 사용해 3차원에서 3차원으로 가는, 야코비안이 0이 아닌 상수인데도 역함수가 존재하지 않는 반례를 제시했다. 맙소사. 반론이고 뭐고, 재론의 여지도 없는 완벽한 답이다. 150년간 수학자들이 믿어왔던 추측은 그냥 틀렸던 것이다.

‘인간 없는 과학’이 현실로 다가왔다. 역설적으로 ‘인간은 무엇으로 빛나는가’라는 질문을 던져야 할 때이기도 하다.

박형주 아주대 수학과 석좌교수