[이진우의 거리두기]AI 종말론과 정치의 실종

AI 시대의 가장 위험한 주체는 책임지지 않으려는 인간 자신일 수 있다.

지금 필요한 건 더 많은 종말론이 아니라 더 많은 정치다

인공지능 시대의 진짜 위기는 기계가 인간보다 더 똑똑해지고

더 강해지는 순간에 발생하는 것이 아니다

인간이 기술의 방향을 공동으로 결정할 정치적인 능력을

잃어버리는 순간, 통제의 위기는 이미 시작된다

인공지능(AI)이 인간을 멸망시킬 것이라는 이야기는 이제 공상과학 영화의 소재만은 아니다. 최근 오픈AI와 앤트로픽에서 최전선 인공지능 모델의 사전학습 연구에 참여했던 제이컵 콕슨이 회사를 떠나면서 던진 경고는 충격적이었다. 그는 AI를 만드는 사람들이 진심으로 이 기술이 인류 전체를 죽일 수도 있다고 생각한다고 말했다. 앤트로픽의 정렬 연구 책임자 에번 후빙어는 한술 더 떠서 향후 10년 안에 AI가 인류를 전멸시킬 확률을 10% 이상으로 본다고 말한다. 물론 AI의 위험을 경고한 것은 어제오늘의 문제가 아니다. AI의 대부로 불리는 제프리 힌턴 교수는 AI가 통제되지 않는다면 인류 생존까지 위협할 수 있다며 그 가능성을 10~20% 정도로 언급해왔다. 이러한 문제가 이제 더 이상 몇몇 외부 비평가의 상상이 아니라 세계에서 가장 강력한 AI를 만드는 사람들 내부의 우려가 됐다는 점에서 충격적이다.

우리는 그들의 경고를 가볍게 넘겨서는 안 된다. 동시에 이런 생각도 해볼 필요가 있다. 우리는 혹시 <터미네이터>를 너무 많이 본 것은 아닐까? ‘터미네이터’가 만들어낸 미래의 이미지는 강렬하다. 인간이 만든 기계가 지능을 획득하고, 인간의 통제를 벗어나며, 마침내 창조자인 인간을 제거한다. 이 이야기는 AI 위험을 설명하기에 더없이 편리하다. 문제는 영화가 미래를 너무 생생하게 보여주는 바람에 오히려 현재를 보지 못하게 만들 수 있다는 것이다. 2030년에 세상이 끝날 확률은 오히려 0%에 가까운데도 사람들은 왜 끊임없이 AI 종말론을 퍼뜨리는 것일까?

오늘날 AI의 가장 현실적인 위험은 로봇 군단이 거리에서 인간을 추격하는 모습으로 나타나지 않는다. 채용 알고리즘이 누군가를 조용히 탈락시키고, 보험 알고리즘이 위험등급을 매기며, 추천 알고리즘이 사람들이 무엇을 보고 무엇을 생각할지를 결정한다. AI 에이전트가 인간을 대신해 컴퓨터를 조작하고, 사이버 공격의 취약점을 찾으며, 연구와 코딩을 자동화하기 시작한다. 인간은 점점 AI가 내린 결론을 검토하는 사람이 아니라 승인하는 사람이 돼간다. 우리는 어쩌면 이제까지 해왔던 일들을 인공지능에 위탁함으로써 인간 역량을 스스로 위축시키는지도 모른다. 이러한 위험들은 ‘인류 멸망’보다 훨씬 덜 극적이다. 그래서 오히려 잘 보이지 않는다.

미래 위험 연출한 종말론의 역설

현재 잘 보이지 않는 위험을 보여주기 위해 우리는 종종 미래의 위험을 연출한다. 우리가 지금 하지 않는다면 미래의 어느 시점에 발생한 위험을 통상 ‘리스크’라고 한다. 종말론은 현재의 위험에 대한 경각심을 높이기 위해 연출된 미래의 위험에 관한 서사이다. 종말론에는 독특한 힘이 있다. 잘 보이지 않는 희미하고 복잡한 위험을 하나의 장면으로 압축한다. “AI가 인간보다 똑똑해진다면 어떻게 되는가?”라는 추상적인 질문을 “AI가 인간을 제거한다”는 강렬한 이미지로 바꾸어 놓는다. 만약 우리가 AI를 통제하지 못한다면, 기계가 인간을 통제할 것이다. 이런 의미에서 종말론은 미래 위험의 연출이다.

그러나 바로 여기에 역설이 있다. 위험을 지나치게 극적으로 연출하면 사람들은 위험을 더 잘 인식하는 것이 아니라 오히려 무감각해질 수 있다. “AI가 인류를 멸망시킬 확률이 10퍼센트다.” “몇년 안에 통제할 수 없는 초지능이 등장할 수 있다.” 이런 말은 처음에는 충격적이다. 하지만 선정적이고 자극적인 이런 말이 반복되면 두 가지 반응이 나타난다. 하나는 공포이고, 다른 하나는 냉소다. 사람들은 AI를 악마적인 존재로 여기거나, 아니면 “또 실리콘밸리 엘리트들이 세상의 종말을 이야기한다”고 무시한다. 두 가지 반응 모두 좋지 않다. 공포는 판단을 마비시키고, 냉소는 위험을 지워버린다. 미래에 대한 지나친 두려움은 현재 우리가 할 수 있는 일을 보지 못하게 만들고, 어차피 우리가 할 수 있는 일은 없다는 기술 숙명론은 현실의 문제를 무시한다. 이처럼 종말론은 우리의 시선을 먼 미래의 거대한 위험에 고정함으로써 현재 진행되는 작은 통제 상실들을 은폐할 수 있다.

AI가 인류를 멸망시킬 것인가를 논쟁하는 사이에 우리는 더 현실적인 질문을 놓친다. AI와 자동화가 우리에게서 많은 일자리를 빼앗아간다면, 우리 인간은 무엇을 해야 하는가? AI가 사람을 채용하고 해고하는 기준은 누가 정하는가? AI 기반 자율 주행 자동차가 사고를 냈을 경우 누가 책임지는가? AI가 만들어낸 허위정보와 가짜뉴스가 민주적 의사 형성을 왜곡하면 어떻게 할 것인가? 인공지능 자율 에이전트가 허가받은 범위를 넘어 행동했을 때 누가 그것을 중단시킬 것인가? 그리고 AI가 자기 개선을 통해 스스로 다음 세대 AI를 개발한다면, 어느 지점에서 인간은 ‘여기까지’라고 말할 것인가?

“누군가 할 것”으로 책임 의식 박탈

이러한 질문들은 모두 기술에 대한 통제로 압축된다. AI 시대의 가장 이상한 풍경은 인류의 미래를 바꿀 수 있는 기술을 몇몇 기업이 개발하면서도 그 기술을 어디까지 발전시킬 것인지 결정하는 ‘정치적 주체’가 거의 보이지 않는다는 것이다. 이번에 논의를 촉발한 사람도 인공지능 과학자였듯이 앤트로픽, 오픈AI, 구글과 같은 기업의 연구자와 경영자들은 놀라울 정도로 거대한 질문을 스스로 던지고 있다. 어떤 능력을 위험하다고 규정해야 하는가? 어느 정도 위험하면 개발을 중단해야 하는가? 그들은 이런 질문을 제기하면서 스스로 AI 능력의 향상 속도를 늦춰야 한다고 공개적으로 선언한다.

이러한 선언이 윤리적으로 들리지만, 뭔가 이상하지 않은가? 이것은 원래 기업의 경영 판단만으로 결정할 문제가 아니다. 핵무기의 사용 여부를 핵무기 제조업체가 결정하지 않고, 신약의 안전성을 제약회사의 선의에만 맡기지도 않는다. 항공사는 자신의 비행기가 안전하다고 스스로 선언하는 것만으로 운항 허가를 받지 않는다. 위험이 사회 전체에 미치는 기술일수록 우리는 기업의 판단 밖에 별도의 정치적·법적 판단체계를 만들어왔다. 그런데 AI와 관련해서는 정반대의 일이 벌어지고 있다. 기업들이 기술을 만들고, 위험을 정의하고, 안전기준을 만들고, 스스로 평가하고, 어느 정도의 위험을 감수할지도 결정한다. 그리고 문제가 커지자 이제 기업들이 서로 모여 공동의 안전기준을 만들겠다고 한다.

안전의 문제가 어느 순간 정당성의 문제가 되는 이유가 여기에 있다. 문제는 “AI가 인간의 가치에 정렬돼 있는가”만이 아니다. AI를 만드는 기업들은 누구의 가치에 정렬돼 있는가? 정치가 사라진 자리에는 경쟁이 들어온다. 정치가 사라지면 공백이 생긴다. 그 자리를 채우는 것은 시장과 국가 간 경쟁이다. 그래서 AI 기업에서 반복적으로 등장하는 문장이 있다. “우리가 하지 않으면 다른 사람이 한다.” 조금 더 현실적으로 표현하면 이렇게 말할 수 있다. 우리가 개발을 늦추면 경쟁사가 먼저 초지능을 만든다. 더 무책임한 회사가 먼저 만드는 것보다 안전을 중시하는 우리가 먼저 만드는 편이 낫다. 미국이 멈추면 중국이 만든다. 민주주의 국가가 먼저 만들지 않으면 권위주의 국가가 초지능을 장악할 수도 있다.

모두가 이 논리를 따르면 아무도 멈출 수 없다. A사는 B사가 할 것이라고 말하고, B사는 A사가 할 것이라고 말한다. 미국은 중국을 이야기하고, 중국은 미국을 이야기한다. 연구자는 “내가 그만둬도 다른 연구자가 할 것”이라고 생각한다. 투자자는 경쟁에서 뒤처질 수 없다고 말한다. 결국 모든 행위자가 합리적으로 행동하지만, 그 결과는 아무도 원하지 않았던 것이 되는 종말론적 상황이 발생한다. 이것은 AI의 통제 실패보다 먼저 발생한 인간 사회의 통제 실패다.

“어차피 누군가는 할 것”이라는 말은 결국 행위자에게서 책임 의식을 박탈한다. 내가 선택한 것이 아니다. 경쟁이 그렇게 만들었다. 중국 때문에 어쩔 수 없었다. 그 순간 책임지는 사람은 사라진다. AI 시대의 가장 위험한 주체는 어쩌면 초지능이 아니라 책임지지 않으려는 인간 자신일 수 있다. 따라서 우리에게 필요한 것은 더 많은 종말론이 아니라 더 많은 정치다. 인공지능 시대의 진짜 위기는 기계가 인간보다 더 똑똑해지고 더 강해지는 순간에 발생하는 것이 아니다. 인간이 자신이 만든 기술의 방향을 공동으로 결정할 정치적 능력을 잃어버리는 순간, 통제의 위기는 이미 시작된다.

이진우 포스텍 명예교수