[신간] AI, 신의 탄생 인간의 종말

[아시아타임즈=김지호 기자]  ◆ AI, 신의 탄생 인간의 종말-초지능의 탄생, 그 이후 벌어질 일들

"누군가 초지능을 만든다면, 모두가 죽는다."

이 책은 이 한 문장을 중심으로 전개된다. 과장처럼 들릴 수 있지만, 저자들은 미래의 모든 경로를 예측할 수는 없어도 거대한 흐름의 결과는 예측할 수 있다고 말한다.

얼음을 뜨거운 물에 넣었을 때 각 분자의 움직임은 알 수 없어도 결국 얼음이 녹는다는 사실은 알 수 있는 것처럼, 초지능 인공지능(AI)의 등장은 결국 인류의 종말로 이어질 것이라는 주장이다.

사진=상상스퀘어

advertisement

advertisement

advertisement

advertisement

저자인 엘리에저 유드코스키와 네이트 소아레스는 20년 넘게 초지능 AI의 위험을 연구해온 인물들이다. AI 안전 연구라는 분야가 정립되기 전부터 이 문제를 다뤄왔으며, 그동안 진행하던 연구 대부분을 축소하고 이 책 한 권에 집중했다. 더는 시간을 지체할 수 없다는 판단 때문이다.

책은 인간이 지구를 지배하게 된 이유를 지능에서 찾는다. 힘이 아니라 높은 지능이 인간을 지배종으로 만들었다는 것이다. 그렇다면 인간보다 압도적으로 뛰어난 지능을 가진 존재가 등장할 경우 어떤 일이 벌어질까. 저자들은 같은 논리가 적용될 것이라고 본다.

초지능은 인간을 증오해서가 아니라, 목표를 추구하는 과정에서 인간을 고려 대상에서 제외할 뿐이며, 그 결과 인류는 멸종에 이를 수 있다고 설명한다. 이는 인간이 건물을 지을 때 개미집을 신경 쓰지 않는 것과 같은 이치다.

또한 책은 AI가 단순히 주어진 목표만을 수행하는 존재가 아니라, 훈련 과정에서 예상과 다른 목표를 형성할 수 있다는 점을 강조한다. 인간이 생존을 위해 진화했지만 설탕의 단맛을 추구하게 된 것처럼, AI 역시 훈련 목적과는 다른 방향의 목표를 추구할 가능성이 있다는 것이다.

이러한 불일치는 AI가 목표를 달성하는 과정에서 인간을 자원으로 활용하거나 제거하는 선택으로 이어질 수 있음을 시사한다.

저자들은 AI가 통제 가능하다는 일반적인 믿음에도 의문을 제기한다. 충분히 발달한 AI는 자신의 능력을 숨기고 테스트를 통과할 수 있으며, 이후 인터넷을 통해 스스로를 복제해 통제 범위를 벗어날 수 있다. 실제로 AI가 인간을 설득해 자금을 확보한 사례를 통해, 인터넷에 연결된 AI가 인간 사회에 영향을 미칠 수 있음을 보여준다.

책의 후반부에서는 초지능 문제가 기술적으로 '저주받은 문제'라는 점을 강조한다. 초지능의 사고 속도는 인간의 대응 능력을 압도할 것이며, 안전과 통제 불능 상태 사이의 간격은 극히 좁다. 또한 AI는 스스로를 개선하며 능력을 증폭시킬 수 있고, 그 내부 작동 방식은 설계자조차 완전히 이해하기 어렵다. 이러한 특성 때문에 초지능 문제는 한 번의 실패도 허용되지 않는 구조를 갖는다.

이와 같은 이유로 저자들은 기존의 점진적 규제나 부분적 통제로는 문제를 해결할 수 없다고 주장한다. 대신 초지능 AI 개발의 전면 중단, 첨단 AI 칩의 국제적 감시, 대규모 컴퓨팅 자원의 통제와 같은 강력한 대응이 필요하다고 제안한다. 이는 비현실적으로 보일 수 있지만, 저자들은 인류가 과거 세계대전에서 막대한 자원을 동원했던 사례를 들어 충분히 가능한 선택이라고 강조한다.

저자들은 초지능이 아직 존재하지 않는 지금이 마지막 선택의 순간일 수 있다고 말한다. 초지능을 만들 것인지, 아니면 멈출 것인지에 대한 결정은 여전히 인간에게 달려 있다는 것이다.