AI 열차의 질주, 자본도 ‘안전’을 책임져야 한다[류영재의 제3의 자본주의]

달리는 인공지능(AI) 열차 안에서 경고음이 울린다. 이번엔 기관석에서다. 딥러닝의 토대를 놓은 요슈아 벤지오 교수는 발전 속도가 너무 빨라 인류가 통제력을 잃어가고 있다고 경고했다. AI 연구로 노벨 물리학상을 수상한 제프리 힌턴 교수는 그 확률을 10% 안팎으로 짚었다. 최근 앤트로픽을 떠난 연구원은 AI 기업들이 인류 전체를 놓고 도박을 벌이고 있다고 했고, 구글 딥마인드 출신 연구자는 앞으로 몇년 안에 인간이 통제할 수 없는 초지능이 등장할 수 있다고 내다봤다. 모두 AI 개발 현장 한복판에 있던 이들의 말이다. 공포 마케팅으로 치부하기엔 그 무게가 결코 가볍지 않다. 그렇다면 지금 되물어야 한다. 이 재앙적 위험은 누가 검증하고, 누가 실효적으로 통제할 수 있는가.

관련 기업들의 목소리는 각자 이해관계에 따라 갈린다. 앤트로픽의 다리오 아모데이는 공동의 안전 기준과 속도 조절을 말하고, 엔비디아의 젠슨 황은 규제보다 기업 각자의 판단을 앞세운다. 진심과 계산은 여기서 공존한다. 엄격한 기준은 후발 주자의 진입장벽이 되고, 방임은 메모리·HBM 같은 후방산업까지 키운다. 누구 말이 진심인지 가리는 일은 부질없다. 핵심은 기업의 이해관계 때문에 인류 생존이 저당 잡히지 않게 하는 일이다.

벤지오 교수는 핵무기 통제에 준하는 국제 안전장치를 촉구했다. 방향성은 옳지만 현실성은 떨어진다. 주도권을 다투는 미·중 사이엔 죄수의 딜레마가 작동해 내가 늦추면 상대가 앞선다는 계산 앞에 합의는 힘을 잃는다. 핵 통제조차 수십년이 걸렸는데, AI엔 그럴 시간조차 없다. 정부와 국제기구의 노력은 필요조건일 뿐 충분조건이 아니다. 그 질주에 실효적 제동을 걸려면 또 다른 힘이 보태져야 한다.

이 열차에 돈을 태워 이익을 거두는 자본은 지금 무엇을 하는가. 미래 생존을 위협하는 기후위험 앞에서 글로벌 투자자들은 책임투자원칙에 서명했고, ISSB 공시 기준으로 기업을 압박했으며, 기후행동100+ 같은 연합체로 최대 배출 기업에 관여해왔다. 값싼 화석연료가 다음 세대의 생존 조건을 무너뜨릴 수 있다는 판단에서다. 하지만 더 근본적일 수 있는 AI 위험 앞에서 투자기관의 태도는 안이하다. 뉴욕주 연기금 등이 개별 기업에 AI 감독 주주제안을 냈고, 노르웨이 국부펀드가 투자기업 이사회에 AI 책임경영을 요구한 정도가 눈에 띌 뿐, 기후 이슈에서와 같은 국제적 움직임은 아직 없다.

AI는 최소한 기후위기와 같은 선상에서 다뤄야 할 문제다. 공적 연기금은 특정 기업 수익만이 아니라 경제 전반의 체계적 위험까지 떠안는 유니버설 오너이며, 책임은 다음 세대에까지 닿는다. AI가 안길 생산성 과실이 통제권 밖으로 밀려나면, 힌턴 교수 말대로 인류 존속이 흔들릴 수 있다. 대규모 해킹, 전력 수요 폭증에 따른 탄소 배출, 고용 구조의 격변 같은 시스템 리스크는 분산투자로도 피하기 어렵다. 한 기업의 이익이 다른 기업의 손실로, 다음 세대의 경제 터전으로 전가될 수 있다. 장기투자자인 연기금은 장부 밖 비용까지, 태어나지 않은 가입자 몫까지 계산해야 한다. 탄소 비용을 따지는 것과 같은 이치다. 공적 연기금이 할 일은 구체적이어야 한다. 이사회에 AI 안전을 감독할 독립이사를 두고 경영진을 평가하게 하라. 중대 사고와 위험성 평가 결과를 보고하게 하라. 어떤 기준에서 개발과 출시 속도를 조절할지 투명하게 공시하게 하라. 기술 유출은 막되 외부 검증이 가능한 절차를 세우게 하라. 선언만 있고 실행이 없다면 관여에서 주주 제안으로, 나아가 이사 선임 압박으로 수위를 높이라.

여기에 우리 역할이 있다. 국민연금은 세계 3대 연기금이자 책임투자를 표방한 공적 기관이다. 기후 의제에서는 글로벌 연기금을 뒤따랐지만, 아직 리더십이 없는 AI 안전 의제에서는 먼저 주도권을 쥘 수 있다. 뜻을 같이하는 해외 연기금·국부펀드와 ‘AI판 기후행동100+’를 공동 발의하고 수탁자 책임 기준을 만들어 선도할 일이다. 먼저 국민연금 스스로 원칙을 세우고, 국내외 관련 투자기업에 무엇을 요구했고 의결권을 위시한 주주권을 어떻게 행사했는지 공개해야 한다.

AI의 브레이크는 멈추기 위한 장치가 아니라 더 멀리 달리기 위한 조건이다. 정부는 규칙을 세우고, 기업은 안전을 입증해야 한다. 자본도 그 책임 밖에 있지 않다. 가입자의 미래를 맡은 돈이라면 미래를 위협하는 위험부터 물어야 한다. 정말 무서운 것은 속도가 빠른 열차 그 자체가 아니다. 그 속도로부터 막대한 이익을 향유하면서도 안전은 전혀 묻지 않는 자본이다.

류영재 서스틴베스트 대표