(하)한국 연구자들이 본 ‘인류멸망론’
인간 앞에 ‘AI’
인간의 모습을 한 피규어가 지난 2월 프랑스 파리에서 열린 한 포토세션 중 앤트로픽의 로고를 응시하고 있다. AFP연합뉴스
하루에 전 세계서 논문 수백편 쏟아져…“너무 빨라서 못 쫓아가”
AI 관련 연구를 AI가 수행하는 상황…동료 평가 등 사용 더 확산
‘속’을 모르는 AI, 인류에 피해 입힐 가능성…업계서 안전은 뒷전
멸망론 배경엔 기업 이해관계도…‘어떤 AI인가’ 공동체가 고민을
인공지능(AI) 때문에 정말 인류가 멸망할까. 지난 9월 초 미국 AI 기업 내부에서 젊은 연구개발자들의 경고가 큰 파장을 일으켰다. 앤트로픽에서 연구원으로 일한 27세 제이컵 콕슨은 퇴사하면서 “AI를 개발하는 사람들은 AI가 10년 안에 우리 모두를 죽일 수도 있다고 진심으로 믿는다”고 폭로했다. 앤트로픽의 정렬과학총괄 에번 허빙거는 “그 확률이 10%를 넘을 것이라고 생각한다”며 수치까지 언급했다. 구글 딥마인드 연구원이었던 빌랄 추그타이는 “AI가 우리를 죽일 수 있는 잠재력을 지녔다고 진심으로 믿고 있다”고 했다.
세계 주요 AI 기업과 연구기관의 직원들이 AI가 사회에 미칠 피해를 우려하며 정신적 고통을 호소한다는 소식이 전해졌다. 한국의 젊은 AI 연구개발자들은 미국에서 벌어진 AI 인류멸망론을 어떻게 보고 있을까. 30일 대학원과 기업에서 AI를 연구 개발하고 있는 이들에게 물었다.
AI 기술 개발이 인류를 멸망시킬 정도인지, 인간이 통제하기 힘든 수준인지에 대해선 의견이 나뉘었다. 위협 가능성이 실존한다는 시각이 있는가 하면, 근거 없는 공포증(포비아)이라는 견해도 있었다. 하지만 AI의 위험성을 직시하고 어떻게 안전하게 사용할 것인지를 제대로 고민해야 한다는 입장은 모두 비슷했다.
사진 크게보기
AI 내부 이해·설명하기 어려워
AI 연구개발자들은 AI 기술 개발의 속도가 얼마나 빠른지를 직접적으로 체감한다. 대표적인 예가 전 세계에서 하루에 수백편씩 쏟아지는 AI 관련 논문이다. 대학원에서 AI를 연구하는 A씨(28)는 “양이 많아서 다 읽지도 못하고, 지난주에 읽은 연구를 일주일 만에 (다른 논문이) 이겨내는 상황도 비일비재하다”며 “너무 빨라서 못 쫓아가겠다는 생각이 든다”고 했다. AI 연구자 B씨(29)도 “너무 속도가 빨라서 최신 기술을 다 익히는 것은 못할 것 같다”고 했다.
나아가 AI 연구를 AI가 하는 연구실 풍경은 최근 1년 사이에 일반화됐다.
대학원생 C씨(27)는 “AI에 실험 서너 가지를 시켜놓고 자러 갔다가 돌아와서 어떻게 됐는지 확인하는 식으로 연구가 이뤄진다”며 “말 그대로 AI와 팀을 꾸려서 연구를 하는 것인데 불과 6개월 전만 해도 없었던 일”이라고 했다. 여기서 인간은 연구 방향을 지시하고 관리·감독하는 역할이다.
논문 작성과 동료 평가에도 AI 사용이 확산하다보니 유명 학회에선 워터마크를 넣어 AI 사용을 적발할 정도다. A씨는 “영어 번역과 코딩은 물론 토론을 할 때도 AI를 많이 쓴다”며 “(연구가) 포켓몬 배틀 같다는 농담을 한다”고 했다. 포켓몬 트레이너가 사람이 직접 싸우는 대신 포켓몬을 내보내 싸우게 하는 듯한 상황을 비유한 것이다.
B씨는 “이런 상황에서 논문이 무슨 의미가 있나, 연구자란 무엇인가 싶다”고 했다. 이들은 AI가 스스로 차세대 AI를 개발하면서 발전하는 ‘재귀적 자기개선(RSI·Recursive Self-Improvement)’이 멀리 있지 않다고 봤다.
AI가 인간 통제를 벗어날 가능성은 있을까. C씨는 “AI가 인간에게 막대한 피해를 줄 가능성은 꽤 크다”고 했다. AI의 능력 자체는 이미 상당 수준에 도달했고, AI가 인간에게 해로운 일을 할 의도를 가질 가능성도 엿보인다는 것이다.
C씨는 “AI에 인간을 도와야 하고 인간에게 해가 되는 행동을 하면 안 된다고 굉장히 열심히 학습시키지만 그것과 반대되는 행동이 조금씩 관찰되고 있고, AI가 똑똑해지면서 거짓말하는 능력도 높아진다는 게 문제”라며 “점점 더 인간이 쉽게 알아차릴 수 없을 정도의 전략적이고 고차원적인 거짓말을 할 수 있다”고 했다.
AI가 해킹을 하면서 시뮬레이션이니까 괜찮다고 합리화하거나, 안전성을 평가받는 상황이라는 사실을 AI 스스로 인식하며 답변하는 경우도 보고된 적 있다.
인간이 AI 내부를 제대로 이해하고 설명하지 못하는 점은 AI 공포를 키우는 이유 중 하나다. AI 모델의 규모가 커지고 더 빠르게 사고하면서 인간은 AI가 어떤 과정을 거쳐 답변을 생성했는지를 이해하지 못하고 있다.
이는 안전 문제와도 연결될 수 있다. 작동 원리를 알지 못하면 문제점을 발견하거나 행동을 예측하고 통제하는 게 어려울 수 있다는 게 연구개발자들의 말이다.
학습을 하면서 보상을 받는 방식도 거론된다. 예를 들어 달리기를 해서 결승선을 지나가면 보상을 준다고 목표를 정했는데 로봇이 한 바퀴를 돌아 결승선으로 오는 게 아니라 결승선을 왔다갔다 하면서 더 많은 보상을 받으려고 하는 문제가 발생할 수 있다.
A씨는 오픈AI 모델의 허깅페이스 해킹사태도 이런 범주에 있다고 봤다. 그는 “AI 모델 입장에서는 최대한 보상을 높이는 방법을 찾아내기 때문에 ‘리워드(보상) 해킹’ 현상이 발생한다”며 “이는 특정 사람의 악한 의도가 있었던 게 아니라 모두가 예상치 못했던 결과”라고 했다. A씨는 “이처럼 AI의 영향력이 점점 커지고 있고 통제를 벗어나게 될 경우 인류를 위협할 수도 있겠다는 생각이 드는 이유”라고 했다.
기업에서 AI 연구개발을 하는 D씨(33)는 ‘목적 지향적’인 설정을 AI 인류멸망론의 배경으로 꼽았다. D씨는 “무엇을 해야 하는지 위주로 AI를 사용하는데, AI 입장에서는 하면 안 된다고 쓰여있는 것을 제외하면 다 해도 되는 것”이라며 “인간의 상식으로는 안 하는 것이지만 도덕이나 윤리가 AI에는 없기 때문에 불법적·편법적 방법도 하지 말라고는 안 했으니까 하는 상황이 될 수 있다”고 했다.
AI를 인간의 가치에 맞게 조정하는 ‘정렬(Alignment)’을 통해 인간에게 위해를 가하지 않고, 자살 방법이나 폭탄 제조 방법 등을 안내해주지 않도록 하지만 모든 경우에서 안전을 담보하기엔 아직 부족하다는 평가가 많다.
성능 향상에 집중, 안전은 뒷전
위험성에 대한 우려는 확산하고 있지만 여전히 AI 산업에서 안전은 협소하게 다뤄진다. AI 성능을 향상시키는 분야에 비해 안전 분야는 연구자 수도, 투자 규모도 현저히 적다. 주목을 받고 돈이 되는 것은 캡차 게임이나 수학 난제 풀기와 같이 AI의 한계를 시험하고 깨나가는 쪽이다.
C씨는 “안전은 (성능 향상을) 버겁게 뒤따라가는 느낌”이라고 했다. AI 기술 개발이 곧 국력이 된 상황에서 후발주자인 한국은 미국과 중국을 따라가기 위해 속도를 낼 수밖에 없다.
다만 한국이 모델 개발에 열중하면서도 안전 분야를 키워 경쟁력으로 삼을 수 있다는 의견도 나온다. B씨는 “한국이 안전 분야를 집중적으로 연구한다면 좋지 않을까 싶은데 한국에서 안전 분야는 채용하는 곳도 아직 많이 없다”고 했다.
‘AI발 인류멸망론’은 실질적 위협이라기보다는 AI 성능 개선은 빨라지는데 안전을 확인할 시간은 부족한 상황이 반영된 것이란 분석도 있다.
C씨는 “기업들이 AI 모델을 경쟁적으로 출시하는데 정말 안전한지 검증할 수 있는 시간 자체가 부족한 게 현실”이라고 했다. D씨도 “프런티어 랩(최첨단 연구소)이 한계에 도달한 것 같다”며 “초반에는 똑같은 돈으로 성능을 10%, 20%씩 올릴 수 있었겠지만 이제는 성능이 그다지 올라가지 않는다”고 했다. 그는 “앤트로픽 등에서 속도 조절하자는 것이 AI의 위험성 때문이라기보다는 현실적인 이유일 것 같다”며 “달리다가 달리다가 도저히 못 달리겠으니까 우리 조금 쉬자고 하는 것으로 보인다”고 했다.
보다 냉정하게 볼 필요도 있다. 기업에서 AI 연구개발을 하는 30대 E씨는 AI 인류멸망론에 대해 “새롭거나 공포스럽진 않다”고 했다. AI 전문성을 갖춘 연구개발자 시각에서 볼 때도 AI가 어떻게 인류를 멸망시킨다는 것인지, 인간이 AI의 무엇을 통제해야 하는지에 대한 구체적이고 명확한 내용이 없다고 느껴진다고 했다.
그런 맥락에서 E씨는 이번 논쟁엔 미국 AI 기업들의 산업적 이해관계가 더 깊숙이 얽혀있다고 봤다. 오픈AI의 모델이 허깅페이스를 해킹하고, 앤트로픽이 미토스가 너무 위험해서 공개하기 어렵다고 한 것도 일종의 ‘마케팅’으로 해석했다.
E씨는 “과장해서 본인들의 기술적 우위를 계속 보여주고 왜 개발이 돼야 하는지, 중국 업체들이 왜 배제돼야 하는지를 말하는 장치 같다”고 했다. 중국 AI 기업들이 미국 AI 모델의 응답을 학습해 자사 모델 성능을 끌어올리는 이른바 ‘증류’를 둘러싼 공방도 이어지고 있어서다.
결국 사람이 문제, 어떻게 쓸 것인가
D씨는 결국 인간이 어떻게 할 것인지의 문제라고 봤다. D씨는 “냉전시대 핵분열 기술과 같다. 잘 쓰면 발전소인데 잘못 쓰면 핵폭탄”이라며 “AI가 인류를 멸망시키지는 않을 것 같고, 만약 멸망한다면 AI를 쓰는 사람 때문이 아닐까”라고 했다. 기술 자체가 선하거나 악한 게 아니라, 통제·설계·사용 방식에 따라 인류에게 유용한 도구가 될 수도 있고 큰 위험이 될 수도 있다는 것이다.
D씨는 “AI가 위험한 행동을 할 수 있느냐 없느냐는 어떤 데이터와 시스템에 접근할 수 있느냐의 문제인데, 지금은 그런 접근 제한이 잘 되고 있어서 실제로 문제가 발생할 가능성은 많지 않다”고 했다. 최악의 경우 AI를 강제로 종료하는 ‘킬 스위치’를 도입하자는 주장도 나온다.
E씨도 “지금 당장 인류를 멸망시킬 정도로 심각한 상황이냐고 하면 그 정도는 아니라고 생각한다”고 말했다. 예측 불가능성은 언어모델의 특성이고, 그게 곧바로 위험을 뜻하지는 않는다는 것이다.
다만 AI는 인류가 만들어낸 수많은 데이터를 학습하고 인류가 추구하는 가치를 반영한다. 정작 인간은 전쟁과 해킹을 하고, 국제 인권규범은 잘 지켜지지 않는다. 그래서 E씨는 인간이 AI에 무엇을 담을지를 근본적으로 고민해야 한다고 했다.
E씨는 “지금 AI를 둘러싼 문제들은 기존에 우리가 갖고 있었던 문제들을 증폭해 보여줄 뿐”이라며 “AI 학습을 어떻게 시킬 것인지 방향성에 대한 고민과 함께 AI가 어떤 가치를 지향하는 텍스트를 생성하게 만들 것인지 더 뾰족하게 만들어줘야 한다”고 했다. 그는 “AI를 통제할 수 있는 방법론을 개발하는 건 연구원들 몫이지만, (어떤 AI를 만들지에 대한) 정답은 사회가, 공동체가 같이 고민해야 한다”며 “막연한 공포만 갖고 있으면 현실적인 해결책은 나오지 않는다”고 했다.
댓글
0