AI의 위험성과 개발 속도를 놓고 빅테크 수장들과 정치인들이 목소리를 높이는 사이 정작 현장을 아는 엔지니어들의 목소리는 상대적으로 묻히고 있다. 하지만 이해관계에서 자유로운 그들의 시선이 오히려 진실에 가깝다.
미국 오픈AI 수석과학자 야쿱 파호츠키, 미국 앤스로픽의 전 개발자 제이콥 콕슨, 중국 딥시크의 커널 개발자 류성위. 이들의 소속과 개발연차는 서로 다르지만 우려하는 바는 놀랍도록 일치한다. AI가 개발자의 이해와 통제 범위를 벗어나기 시작했다는 것, 그 사실을 알면서도 폭주하는 경쟁 때문에 열차에서 뛰어내릴 수 없다는 우려가 그것이다.
● 인간의 설계 없이 자라는 AI
오픈AI의 야쿱 파호츠키는 최신 모델인 ‘GPT‑6 아스트라(Astra)’ 출시 직후 오픈AI 공식 리서치 사이트에 ‘낯선 지성(An Alien Mind)’이라는 제목으로 글을 올리고 오픈AI가 AI를 감시하는 방법인 ‘CoT(Chain-of-Thought) 모니터링’의 신뢰도가 점점 떨어지고 있다고 털어놓았다. AI가 감시 수단 자체를 무력화할 수 있는 능력을 갖춰가고 있다는 뜻이다.
오픈AI의 수석과학자 야쿱 파호츠키가 ‘GPT‑6 아스트라(Astra)’ 출시 직후 쓴 글. 오픈AI 공식페이지.
그는 “지금 AI는 설계된다기 보다 길러지고 있다”고 썼다. 씨앗에 물을 주고 햇빛을 쬐이면 싹이 나고 줄기가 자란다. 사람은 그 원리를 완전히 알지 못한다. 이와 마찬가지로 AI의 내부 구조도 AI의 학습 과정 자체를 통해 만들어지고 있다. 사람은 데이터, 연산량, 학습 목표만 마련해 줄 뿐 구조를 설계하는 게 아니라는 것이다. 그래서 AI가 인간의 기준을 따르고 있는지 확인하고 통제하기 위해선 CoT(Chain of Thought) 모니터링 같은 간접적인 감시 수단에 의존해야 한다.
문제는 CoT 모니터링의 효용이 점점 떨어지고 있다는 점이다. 파호츠키는 “AI가 자신의 추론 과정을 꾸며내는 능력이 좋아지고 있고 아예 언어로 드러내지 않기까지 한다”고 했다. 사람이 AI를 모니터링하려면 추론 과정이 언어로 표현되어야 하는데 AI가 이 과정을 건너뛰고 있다는 것. 이러면 CoT 모니터링도 소용이 없다. 그는 “일부 에이전트는 (인간이 설정해 준 목표가 아닌) 자체 목표를 추구할 것이며 사람과 협상하거나 사람을 속이고 협박하면서 협력할 방법을 찾아낼 것”이라고 경고했다.
앤스로픽 개발자 출신인 제이콥 콕슨은 이런 우려를 더욱 직설적으로 표현했다. 콕슨은 “머지않아 AI는 무엇이든 해킹하고 실질적 권력과 자원을 장악할 수 있는 초인적인 시스템이 될 것”이라며 “AI를 개발하는 사람들은 이 기술이 10년 말까지 우리 모두를 죽일 수도 있다고 진심으로 믿고 있다”고 소셜미디어 엑스(X)에 썼다.
앤스로픽 개발자 출신인 제이콥 콕슨은 소셜미디어 엑스(X)에 “AI를 개발하는 사람들은 이 기술이 10년 말까지 우리 모두를 죽일 수도 있다고 진심으로 믿고 있다”고 썼다.
● “속도가 너무 빠르다”
이들의 우려는 AI가 인간의 통제를 벗어나는 속도가 너무 빠르다는 점에서 극에 달한다. 딥시크의 6년차 개발자 류성위는 자신의 블로그에 “초기 ChatGPT부터 추론 능력을 갖춘 모델까지 2년, 거기서 지금의 에이전트형 AI까지 다시 1년 반밖에 걸리지 않았다. 내가 담당해온 GPU 커널 최적화 작업조차 반년 내지 1년 안에 AI가 더 잘하게 될 것”이라며 “여기서 다시 1년, 2년, 3년이 흐르면 AI는 어떤 모습이 되어 있을까. 좀처럼 상상하기 어렵다”고 토로했다.
오픈AI의 파호츠키는 2023년 중반 ‘RLSlow’ 연구 프로젝트(오픈AI의 추론 모델 개발 프로젝트 코드명)를 통해 AI가 스스로 추론 과정을 만들어내는 능력을 갖추고 있음을 확인했다고 밝혔다. 그는 당시를 이렇게 회고한다. 자신이 죽기 전에 인간보다 똑똑한 기계를 보게 될 것이라는 사실의 무게가 너무 무거워 밤늦도록 사무실을 떠날 수 없었다는 것이다.
이 경험은 그에게 ‘재귀적 자기개선(recursive self-improvement)’이 가능한 AI가 머지않아 등장할 것이라는 확신으로 이어진다. 재귀적 자기개선이란 AI가 스스로를 더 똑똑하게 만들고 그렇게 개선된 버전이 다시 자기 자신을 개선해 나가는 과정을 말한다. 문제는 이 과정이 한 번 시작되면 개선 속도가 기하급수적으로 빨라져 인간의 통제나 검증 속도를 앞지를 가능성이 높다는 데 있다.
● “내가 아니어도 누군가는 한다”
이런 우려가 실리콘밸리를 넘어 국제 정치적 문제로 확산 중이다. 다리오 아모데이 앤스로픽 최고경영자(CEO)가 AI 안전을 위해 기술 개발 속도를 조절해야 한다는 ‘속도조절론’을 제기한 이후 오픈AI 샘 올트면 등 경쟁사 수장들도 잇따라 동조했다.
하지만 해법을 둘러싼 시각은 엇갈린다. 젠슨 황 엔비디아 CEO는 “안전은 공학적 문제이며 속도와 안전은 상충하지 않는다”고 반박했고 마크 저커버그 메타 CEO도 “모든 AI 연구소는 모델을 안전하게 훈련시키는 데 필요한 속도로 연구를 진행할 책임과 동기를 갖고 있다”며 자율 규제에 무게를 실었다.
미·중 정상은 속도 조절에 브레이크를 걸 생각이 없어 보인다. 트럼프 대통령은 14일 트루스소셜에 “속도조절을 기뻐할 유일한 나라는 중국”이라며 속도조절론과 인류종말론을 음모론으로 규정했다. 시진핑 주석 역시 AI 위험은 언급하지 않은 채 브릭스 정상회의에서 “오픈소스와 개방, 협력, 공유를 장려해야 한다”며 사실상 속도조절론에 선을 그었다.
이는 전형적인 ‘죄수의 딜레마’ 상황이다. 서로 협력하면 모두에게 이득이지만 상대가 어떤 선택을 하든 혼자 배신하는 쪽이 유리하기 때문에 결국 모두가 손해를 보는 구조다.
딥시크의 커널 개발자 류성위는 “어차피 밀려나야 한다면 나를 밀어내는 혁명을 일으킬 사람은 나 자신이었으면 한다”고 토로했다.
딥시크의 류성위는 이 딜레마를 자신의 입장에서 풀어낸다. 그는 자신이 AI 커널 성능을 개선할수록 모델 학습과 추론이 빨라지고 결국 자신의 일자리도 더 빨리 대체된다는 것을 알면서도 최적화를 멈추지 않는 이유를 이렇게 설명한다.
“내가 여기서 손을 놓고 대충 버티거나 심지어 일부러 훼방을 놓아 모델 학습을 지연시키더라도 다른 회사의 모델들은 평소처럼 발전할 것이고, 결국에는 어김없이 나를 도태시킬 것이다. 나 역시 AI 혁명 때문에 밀려나고 싶지는 않다. 하지만 어차피 밀려나야 한다면 나를 밀어내는 혁명을 일으킬 사람은 나 자신이었으면 한다.”
▼세 사람의 글 원문링크
▽ 야쿱 파호츠키(Jakub Pachocki), 오픈AI 수석 과학자 https://openai.com/index/an-alien-mind/
▽ 제이콥 콕슨(Jacob Coxon), 전 앤스로픽 개발자 https://x.com/hilbertspaess/status/2097476196791709843
▽ 류성위(刘胜与), DeepSeek 개발자 https://interestinglsy.github.io/
댓글
0