[최태원의 AI 국회강연⑤] 네번째 AI 보틀넥...메모리

최태원 SK그룹 회장이 28일 국회에서 AI 특강을 했는데요. 김태년 의원실 주최 '미·중 AI기술 패권 경쟁 속 대한민국 성장전략' 초청 강연입니다. 1시간이 넘게 이어진 열정적인 강의였는데요. 최태원 회장은 강연을 마치고 방청석에 있던 국회의원들로부터 질문을 받고 즉답을 하기도 했습니다. 참석한 의원들은 "유익했다"며 좋은 반응을 보였는데요. 데일리브리프가 강연과 Q&A를 글로 풀어 전합니다.[편집자]

최태원 회장이 28일 국회의원회관에서 열린 '미·중 AI기술 패권 경쟁 속 대한민국 성장전략' 세미나에 참석해 특별강연을 하고 있다./사진=김태년TV

최태원 회장이 말하는 AI의 마지막 병목은 메모리입니다. 그는 메모리 부족 현상을 아주 쉽게 풀어서 설명했는데요.

사람과 마찬가지로 AI도 뭔가 연산, 계산을 하려면 머리에 저장해 놓은 이런저런 정보 가운데 지금 꼭 필요한 걸 찾아 꺼내서 쓰는 프로세스를 거친다는 겁니다.

이걸 '키 밸류 캐싱'이라고 하는데요. AI가 이걸 잘 하게 하려면 메모리가 많이 들어간다는 것입니다.

이런 AI 메카니즘 때문에 메모리가 부족하면 AI 경쟁에서 밀릴 수밖에 없는 건데요. 결국 돈이 많이 들더라도 빅테크들이 메모리를 계속 사들이는 이유가 여기에 있다는 겁니다.

이어 SK하이닉스를 세계적 반도체 기업으로 우뚝 서게 만든 HBM(High Bandwidth Memory, 고대역폭 메모리)의 기술적 프로세스도 상세하게 설명했는데요.

좀 거칠게 요약하면 AI가 GPU 칩에서 연산을 즉각즉각 할 수 있도록 그 옆에 여러 개의 메모리를 갖다놔야 하는데  그 게 바로 HBM이라는 것입니다.

최근에는 하나의 GPU 칩 옆에 HBM을 8개씩 붙여서 AI 시스템을 설계한다고 하는데요. 그러다 보니 전세계적으로 메모리 수요가 급증해 즐거운 비명을 지르고 있다고 했습니다.

메모리 생산 확충과 관련 삼성과도 긴밀하게 논의하고 있다고도 했는데요.

다음은 최태원 회장이 말하는 AI 네번째 보틀넥, 메모리에 대한 설명입니다.

네 번째 보틀넥이 메모리입니다. 메모리 칩이 왜 문제냐, 하면 기억을 많이 해야 된다, 이걸 AI에서는 '키 밸류 캐싱(key-value caching)'이라고 하는데, (좀 풀어서 설명하면 AI가) 계산을 해서, 뭔가 연산을 해서, 질문에 답을 해야 되는데, 그러면 저장돼 있는 메모리 중에서 내가 연산 프로세스에 필요한 것을 얼마나 (빨리) 끌어올 것인가? 하는 게 관건인데요.

즉 여러분이 어떤 문제를 하나 받으셨을 때 머릿 속에 들고 있는 기억과 지식을 어느 레벨에 있는 것을 어디서 끄집어 올 것이냐? 이게 관건이 되는 것과 마찬가지인데.

이 때 얼마나 잘 가져올 것인지, 하는 능력이 연산, 즉 각 모델의 지능 차이와 퍼포먼스의 차이가 되는 건데, 이 능력을 키우려면 그래서 (연산을) 제대로 하기 위해서는 메모리를 계속 늘릴 수밖에 도리가 없습니다.

결국 메모리가 부족하면 모델이 (경쟁에서) 지게 되니까, 돈이 많이 들더라도 (메모리 확충이) 중요합니다.

또 여기서 HBM에 대해 말씀드리고 싶은데, 왜 HBM이 이렇게 난리냐? 왜 이렇게 (지금 이슈가) 된 거냐? 하는데 이 연산 바로 옆에 붙이는 게 HBM이기 때문입니다.

즉, 내가 어떤 문제를 받았을 때 즉각적으로 내가 쓸 수 있는 기억을 바로 옆에 갖다 놓는 거죠. 그래야 속도도 높일 수 있고, 또 (기억을) 가져오는 코스트(cost, 비용)도 가장 좋으니까 바로 옆에 붙인 겁니다.

즉 GPU라는 칩 옆에 요새는 대략 8개의 HBM을 붙여서 아예 하나의 칩으로 만듭니다. 이렇게 안 하면 (연산) 속도가 떨어져서 모델 경쟁에서 질 수밖에 없는 상황이 되니까.

이렇게 만든 칩들을 AI 엑셀러레이터(Accelerator) 형태라고 생각하고, 그 AI 엑셀레이터 전반의 칩들을, 아주 커다란 칩들을 만들어서 이제 시장에 공급하는 상황입니다.

결국 내가 써야 되는 아주 중요한 메모리는 HBM이라는 걸 바로 옆에 붙여놨기 때문에, 이 HBM을 안쓰면 AI 성능이 떨어지기 때문에 할 수 없이 비싸도 HBM을 쓸 수밖에 없는 상황이 된 거고.  솔직히 이런 HBM을 만들어 공급할 수 있는 회사가 전 세계에 딱 3개밖에 없는 상황입니다. 물론 중국 빼고요.

그러다 보니 HBM이 AI에는 상당히 중요한 형태가 되는 겁니다. 근데 HBM만 중요하느냐? 꼭 그렇지도 않습니다.

요새는 이제 기억해야 될 것이 하도 많으니까, 기억 시켜야 되는 얘기가 하도 많다 보니까 HBM에 모든 기억을 다 집어넣을 수가 없습니다. (HBM은) 비싸기도 하고 리미트(limit)가 있기 때문에 기억에 대한 하이 밴드위스(High Bandwidth, 고대역폭)지만 어쨌든 그 안에 들어갈 수 있는 메모리 저장을 보다 더 많은 걸 기억하게 되면, 일부는 밖으로 빼서 다른 칩으로 옮겨 넣습니다.

그게 이제 보통의 D램에 이것들을 옮겨놓고요. 그 D램도 넘쳐나면 그 밑에 스토리지라고 부르는, 낸드죠? SSD라고 부르는 솔리드 스테이트 드라이브(SSD)에 이걸 집어넣습니다. 여러분 핸드폰에 들어 있는데.. 그 안에서 기억을 해주는, 그게 솔리스 스테이트 드라이브인데요.  이 (SSD) 안에 집어넣는데 이것도 모자라면 이제 아예 하드디스크에 집어넣습니다.

근데 문제다 뭐냐? 하면 기억을 꺼내오는데 돈도 들고, 스피드가 엄청 이 밑으로 내려갈수록 더 많이 듭니다. 그러니까 뭔가 질문을 했는데 기억을 끄집어내오는데 시간이 한참 걸리는 거죠.

쉽게 얘기하면 여러분이 뭔가 기억을 하고, 내가 알았던 것 같은데 기억이 안나는 경우가 있지 않습니까?

그걸 생각해 낸다고 끙끙거리다 보면, 한 30분 정도쯤 지나서 "아, 그래 뭐였어"하고 (기억을) 찾아내는 것과 비슷하게, 컴퓨터도 어딘가 감춰놨는데 그걸 끄집어 갖고 오려니까 시간도 걸리고 그게 어디 있는지를 찾아야 하는 문제가 항상 생깁니다.

그래서 그 기억을 갖고 오는, 그러니까 결국 이 메모리를 어떻게 효율적으로 쓰느냐에 따라서 AI의 경쟁력이 거의 결정된다, 이렇게 말씀드립니다.

그래서 메모리 보틀넥이 존재한다, 그래서 메모리를 내가 사고 싶어도 살 수 없는 상황이 지금 계속 벌어지고 있습니다.

현재 상황은 AI 쪽에서 쓰는 메모리들 (가격)이 폭증했기 때문에 원래 D램이란 저희 (SK하이닉스)의 메모리 칩들은 냉장고에도 들어가고, TV에도 들어가고, 스마트폰에도 들어가고, PC 컴퓨터에도 다 들어갔던 것들인데 (지금은) 솔직히 그쪽에 줄 수 있는 물량이 거의 없을 정도로 달라진 상황입니다.

그래서 현재로서는 이제 뭐랄까요? 이렇게 (메모리를 달라고) 저를 못 살게 구는 사람이 많아져서(웃음) 요새는 자동차에서부터 어디 누군가 만나기만 하면 "메모리를 달라" 그 얘기를 하게 되는데.(웃음)

예, 저희도 줄 수 있었으면 참 좋겠습니다. 근데 문제는 저희의 생산량은 정해져 있고, 원하는 곳 수요는 늘어나고 있기 때문에 현재로서는 상당히 공급 부족에 시달리고 있는 상황이고요. 그 공급 부족이 어찌 보면 저한테는 즐거운 얘기죠.

돈을 많이 버니까 좋지 않냐? 라는 얘기도 들리는데 (그러나) 이게 그렇게 영원히 갈 수 있는 상황은 아니기 때문에 저희도 가능하면 공급을 빨리 늘려야 하는 문제가 있습니다.

이게 (메모리가) 너무 비싸지고 (공급이) 없어지면, 이제 사람들은 메모리를 안 쓸 수 있는 모든 방법을 다 연구하기 시작하고, 그러다 보면 저희 메모리 칩이 이제 아무려면 필요없게 되기야 하겠습니까만 어쨌든 덜 쓰는 상황을 계속 만드는 거니까 (수요에 맞춰서) 필요한 만큼의 공급을 많이 해야 되는 상황에 있다, 근데 또 답답한 건 이 공급을 늘리는 게 쉽지가 않습니다.

이것도 전기도 들어가야 되고, 땅도 들어가야 되고, 물도 들어가야 되는 상당히 많은 리소스가 들어가야 공급량을 늘릴 수 있는데, 또 그런 걸 다 갖추더라도 장비 회사들이 장비는 제 때 주느냐? 또 이 문제도 있습니다.

그래서 이게 (메모리 생산량을) 늘려나가는 문제가 쉽지는 않습니다만 저희가 이제 최대한 공급량을 늘리려고 하고 있는 거죠, 저희뿐만 아니라 삼성에서도 많은 속도를 내서 공급량을 늘리도록 하는 투자에 대해 많은 얘기를 지속적으로 하고 있습니다.

여기까지가 제가 생각하는 AI에 대한 현재 상황입니다.

그럼 앞으로는 우리가 어떤 전략을 펴야 되느냐? 이것을 간단하게 정리하고 다음 문제로 넘어가겠습니다.

(다음 편으로 이어집니다)