[인터뷰] "복호화 없이 계산하는 '동형암호'…해킹 막고 활용도 높인다...

서울대학교 천정희 수리과학부 교수가 지난 8일 서울 양재동 타임스페이스에서 기자들을 만나 동형암호 기술에 관해 소개하고 있다. (사진=김호준 기자)

[아이티데일리] 수천 년 전 고대 그리스 때부터 누군가는 비밀을 숨기려 했고 또 다른 이는 비밀을 훔치려고 했다. 이러한 공방 속에서 수학적 난제를 활용한 ‘암호(Cryptography)’ 기술이 발전해 왔다. 암호화된 정보는 안전하지만 이를 활용하기 위해서는 풀어내는 ‘복호화’가 필요하다. 하지만 복호화해야 하는 데이터 규모가 클수록 더 많은 자원이 소모되는 불편에, 해독된 정보가 공격자에게 노출된 여지도 남아 있다.

암호화 상태에서 연산이 가능한 ‘동형암호(同型暗號)’가 차세대 기술로 떠오르는 이유다. 서울대학교 천정희 수리과학부 교수는 4세대 동형암호 알고리즘 ‘CKKS’를 개발한 세계적 석학으로, 스타트업 ‘크립토랩’을 이끌고 있다. 천 교수를 만나 동형암호의 원리와 AI 시대 사이버보안 기술로서 지닌 가치에 관해 들어봤다.

“암호화한 채 계산”…속도 문제 넘고 실사용 돌입

동형암호는 암호화된 상태에서 덧셈, 곱셈 등 연산으로 데이터를 처리하는 암호 기술이다. 여기서 동형(Homomorphism)이란 수학적 구조를 다른 형태로 바꿔도 계산 규칙이 유지되는 성질을 의미한다. 동형암호는 이 원리를 이용해 암호화되지 않은 평문(Plaintext)에서 계산하듯이 암호문 위에서 특정한 연산을 수행할 수 있도록 구현한다.

동형암호는 1978년 학계에 처음 소개됐지만 30년이 넘도록 이를 구현한 기술은 나오지 않았다. 2009년에 이르러서야 IBM 연구원이던 미국의 암호학자 ‘크레이그 젠트리(Graig Gentry)’가 동형암호의 실현 가능성을 제시했다. 젠트리는 암호화된 상태에서 임의의 연산을 반복할 수 있는 ‘부트스트래핑(Bootstrapping)’ 기법으로, 덧셈과 곱셈이 모두 가능한 1세대 완전동형암호를 만들었다. 하지만 당시 동형암호는 1비트(bit) 처리에 30분 이상이 소요될 정도로 비효율적이었다.

서울대 천정희 교수 연구팀은 2017년 4세대 동형암호 알고리즘 ‘CKKS’를 개발했다. 이전 세대 대비 CKKS가 지닌 차별점은 연산 속도다. 과거 알고리즘은 정확한 정수 값을 얻는 과정에서 연산량이 급증하는 문제가 있었는데 CKKS는 계산 결과 발생하는 미세한 오차를 허용하는 ‘근사 연산’을 도입, 실수 연산까지 지원해 처리 속도를 끌어올렸다.

지속된 연구와 알고리즘 개선에 힘입어 동형암호 기술은 발전하고 있다. 초당 킬로바이트(KB) 연산에 그친 2011년 2세대와 달리 2024년 공개된 4.5세대 동형암호 ‘CKKS플러스(+)’는 초당 기가바이트(GB) 수준까지 연산 속도가 빨라졌다.

천정희 교수는 “4세대 그리고 4.5세대에 접어들며 이론적으로 동형암호가 지닌 속도 문제는 해결됐다”며 “남은 과제는 어떻게 이를 실현하는가에 달렸다. 스타트업 ‘크립토랩’을 시작한 이유는 바로 이 때문”이라고 말했다. 천정희 교수는 2017년 크립토랩을 설립하고 CKKS 기술에 기반한 동형암호 라이브러리 ‘혜안(HEaaN)’을 선보였다.

LLM 보안으로 향하는 동형암호 기술

동형암호는 이미 서비스에 적용되고 있다. 우리나라에서는 코로나19가 유행하던 2021년 경기도청이 도입한 ‘코로나 동선 안심이(이하 코동이)’ 앱이 첫 사례다. 코동이 앱은 사용자 이동 경로를 위성항법시스템(GPS)으로 추적해 스마트폰에 암호화된 상태로 저장한다. 이 정보는 동형암호로 암호화돼 개인정보를 특정 서버에 보내지 않더라도 확진자 접촉 여부를 실시간으로 확인할 수 있었다. 코동이 앱은 천정희 교수가 이끄는 크립토랩이 개발했다.

천정희 교수가 주목하는 동형암호의 미래는 LLM 보안이다. 생성형 AI를 조직에 도입하고 내부 시스템과 연결하는 ‘AI 전환(AX)’이 활발한 가운데 이로 인한 데이터 유출 우려도 커지고 있다. 기업에서는 AI 모델에 기밀이나 민감 정보가 외부로 새어 나갈까 노심초사한다.

천 교수는 LLM을 동형암호 기반으로 암호화하는 방안을 제안했다. 검색증강생성(RAG) 암호화에서 시작해 에이전트의 메모리를 암호화하며, 종래에는 LLM 전체를 암호화함으로써 보안 위협을 최소화한다는 아이디어다.

천정희 교수는 “RAG를 사용하는 많은 곳에서 아직 데이터를 암호화하지 않고 있다. RAG는 데이터 검색이 자주 일어나는데 암호화하면 속도가 느려져 불편할 거란 걱정 때문”이라며 “RAG에 쓰이는 데이터를 동형암호 알고리즘으로 암호화하면 문서를 복호화하지 않은 채로 검색 작업이 가능하다”고 설명했다.

크립토랩에서는 현재 암호화된(Encrypted) LLM을 연구하고 있다. 2024년 10월 회사가 ‘라마(Llama) 2-7B’ 모델을 동형암호로 암호화한 결과, 질의응답을 위한 토큰 생성에 150초가 걸렸다. 1년 반이 지나 올해 3월 라마 3-8B 모델을 대상으로 진행한 연구에서는 16초 만에 첫 토큰을 생성하는 성과를 거뒀다. 천 교수는 현재 수준이면 실사용도 가능할 것으로 기대했다.

천 교수는 “LLM은 그래픽처리장치(GPU) 여러 개를 동시에 사용하는 구조”라며 “연구에는 엔비디아(NVIDIA)의 RTX5090 GPU 8대를 사용했다. 만약 GPU를 더 많이 쓰고 모델 크기를 키워도 첫 답변(토큰) 생성까지 16초 정도면 결과를 거둘 수 있을 것으로 내다본다”고 말했다.

동형암호는 메시지를 더한 값(1단계)이나 암호문을 더한 값을 해독했을 때의 값(3단계)이 같은 성질을 지녔다는 ‘동형(Homomorphism)’ 원리로 만든 암호 기술이다. 위 그림에서는 암호문의 원래 정보에 비밀키의 배수를 더한 값이므로, 비밀키 12345를 알면 암호문에 비밀키 12345의 배수를 빼서 원래 정보를 알 수 있다. (출처=크립토랩 홈페이지)

“동형암호 적용하면 훔쳐도 쓸 수 없다”

Q. 동형암호란 무엇인가.

“동형암호는 암호화된 상태에서 복호화 없이 연산할 수 있는 암호 기술이다. 암호화된 정보는 특정한 키로 복호화해야만 읽을 수 있다. 암호화는 데이터를 보호하는 단순하면서도 강력한 방법이다. 하지만 복호화 작업을 거쳐야 한다는 불편 때문에 암호화를 적용하지 않는 문제가 생기기도 한다. 동형암호를 쓴다면 복호화하지 않고도 데이터 연산이 가능해진다. ‘암호화 컴퓨팅’이라고도 말할 수 있다.”

“동형암호란 개념이 처음 나온 시점은 1978년이지만 수십 년간 이론으로만 제시됐을 뿐 실현되지 못했다. 2009년 크레이그 젠트리가 처음으로 완전동형암호를 구현하는 데 성공했으며 이후 2011년 2세대, 2016년 3세대로 발전해 나갔다. 서울대 연구실에서는 2017년 4세대 동형암호 알고리즘 ‘CKKS’를 개발했다. CKKS부터 실수 데이터를 처리할 수 있게 되며 동형암호의 연산 속도가 빨라지기 시작했다. 암호화된 데이터를 그대로 사용할 수 있는 길이 열렸다.”

Q. 동형암호로 거둘 수 있는 보안상 이점은.

“데이터 유출로 인한 피해를 최소화할 수 있다. 그간 사이버보안은 네트워크와 시스템에 집중했다. 다양한 보안 장비와 솔루션으로 성곽에 해자(垓子)를 만들고 성벽을 튼튼히 세워 외부에서 들어오지 못하도록 막았다. 내외부 경계에 성벽을 높이 쌓은 대신 보관한 데이터 암호화에는 그간 상대적으로 소홀했다. 암호화하면 데이터를 꺼낼 때마다 복호화해야 한다는 불편 때문에 소극적이었다. 동형암호는 불편은 줄이면서도 암호화가 가진 보안성을 제공하는 대안이다.”

“이제 그간 쌓아둔 방어 체계에 안심할 수 없다. 해커들은 성벽을 넘어 들어오고 있다. 공격으로 인한 피해를 상정한 채로 전략을 마련해야 한다. 여기서 암호화 기술은 해커가 공격으로 얻을 수 있는 이익을 줄이는 효과를 거둔다. 사이버 범죄는 기업화되고 있으며 해커들은 금전적 이익을 목표로 삼는다. 해킹도 경제 논리를 따른다. 데이터에 강력한 암호를 적용할 경우 공격자가 이를 풀고 현금화하기 위해서 큰 비용을 치르고 시간을 들여야 한다. 데이터에 동형암호가 적용돼 훔친 정보로 돈을 벌 수 없다면 해커가 공격을 벌일 동력을 점점 잃고 말 것이다.”

Q. 동형암호는 차세대 기술로 주목받지만 실사례는 보기 드물다.

“우리나라에서는 2021년 경기도청이 도입한 코동이 앱이 첫 사례다. 코동이 앱은 사용자 이동 동선을 동형암호로 저장해 외부 서버에 정보를 공개하지 않고도 확진자 동선과 겹쳤는지를 확인하는 서비스였다. 코동이 앱 사례처럼 위치 정보를 사용하는 서비스에 동형암호를 적용하면 개인정보를 보호하면서도 편의성을 제공할 수 있을 것으로 기대한다.”

“그럼에도 상용화는 아직 미진하다. 동형암호를 쓰기 위해서는 기존 암호화 체계를 바꿔야 한다. 하지만 사람들은 오랜 시간 익숙해진 체계를 바꾸는 데 저항을 느끼기 마련이다. 동형암호가 풀어야 할 과제는 느린 속도일 줄 알았으나 사실은 그렇지 않았다. 속도가 실사용에 문제없을 정도로 빨라졌음에도 사람들 안에 심리적 장벽을 넘어서지 못했다.”

“세계가 주목한 韓 동형암호…다음은 ‘암호화된 LLM’”

Q. 동형암호가 확산하기 위한 돌파구는 없을까.

“최근 앤트로픽이 공개한 ‘클로드 미토스(Claude Mythos)’가 일으킨 변화에 주목하고 있다. 미토스가 등장한 뒤 사람들은 시스템이 공격당할 수 있다는 위협을 실제로 느끼기 시작했다. 이전까지는 보안 담당자가 허점이 드러난 체계를 바꾸고 싶어도 피해가 발생하지 않고서는 경영진을 설득하기가 어려웠다. 기존 구조에서도 겉보기엔 아무런 문제가 없어 보였기 때문이다. ‘미토스 쇼크’가 일어나고 경영진에서 필요성을 되묻고 있다. 사람들이 보안의 필요성을 몸소 느낀 것이다.”

Q. 미토스 쇼크와 동형암호 사이에 어떤 연결고리가 있는지.

“미토스 같은 AI 모델이 사이버 공격에도 쓰인다면 소프트웨어 취약점을 탐지하고 대응할 시간이 없어진다. AI 성능이 너무 강력해진 나머지 수십 년 된 취약점까지 찾을 정도에 이르렀다. 공격 속도를 따라잡는 일은 불가능하다. 해커가 공격할 유인을 줄이고 정보가 유출되더라도 피해를 최소화하는 방법을 모색할 때다. 암호는 큰 비용을 들이지 않고도 AI 시대 위협에 대항할 수 있는 기술이다. 동형암호는 암호가 갖춘 보안성을 유지하면서도 복호화 없이 사용할 수 있기에 유용하다.”

Q. 향후 동형암호가 어느 분야에서 사용될 것으로 기대하는지.

“LLM 보안을 주목하고 있다. LLM은 수만 개의 계산을 동시에 처리하는 행렬 연산과 밀접한 관련이 있다. 4.5세대 동형암호 알고리즘인 ‘CKKS+’도 행렬 연산을 토대로 암호화된 데이터를 실시간 연산하는 데 성공했다. 두 기술 간 연관성을 보면서 LLM을 동형암호로 암호화한다면 답변 속도를 늦추지 않으면서도 보안성을 높일 수 있을 것으로 내다봤다.”

“2024년 말 암호화한 LLM이 첫 토큰을 생성하는 데 150초가 걸렸다. 1년이 넘게 연구를 이어온 결과 올해 3월 라마 3-8B 모델로 첫 토큰 생성까지 걸리는 시간을 16초로 단축했다. 지난해 12월 엔비디아가 같은 모델을 암호화한 후 토큰 생성에 134초가 소요된 점에 비교할 때 괄목할 만한 성과다. GPU가 부족해 더 큰 매개변수를 지닌 모델을 테스트하지는 못했다. 하지만 LLM이 병렬 컴퓨팅 구조인 점을 고려하면 GPU 개수를 늘리고 모델 크기를 키워도 비슷한 결과나 나타날 것으로 예상한다.”

Q. 암호학 연구만 30년 가까이 전념해 왔다. 앞으로의 바람은.

“동형암호가 전 세계에서 우리나라를 대표하는 기술이 됐으면 한다. 대학원 시절 우리나라 수학계에서도 세계적인 석학이 나오길 바랐다. 당시 물리학이나 화학은 몇몇 연구가 해외에서 인정받고 있었다. 반면 수학은 우리나라에서 내세울 만한 연구 성과가 없었다. 젊었을 때는 그게 참 서러웠다. 아쉬운 마음에 우리나라가 만든 기술을 배우러 사람들이 오는 꿈을 꿨다.”

“4세대 동형암호를 개발하며 그 꿈에 한 발짝 다가섰다. 내로라하는 외국 명문대에서 우리나라에 동형암호를 배우러 찾아오고 있다. 최근 5년간 톱티어(Top-Tier) 학술지에 실린 동형암호 이론 논문 75편 중 33편이 우리나라에서 나왔다. 서울대 연구실과 크립토랩이 출원한 동형암호 특허는 289건이다. 동형암호만큼은 세계가 우리나라를 주목하기 시작한 것이다.”

“동형암호와 LLM을 결합하면 또 다른 세계적 성과를 이룩할 수 있다. LLM 시장에서 미국이 가진 입지는 공고하다. 우리나라가 이를 넘어서기란 어려울 것이다. 대신 동형암호를 기반으로 ‘암호화된 LLM’ 구축에 먼저 나선다면 특정 영역에서는 대한민국이 다른 나라에 밀리지 않는 ‘소버린(Sovereign) AI’ 경쟁력을 갖출 수 있다. 동형암호를 비롯한 차세대 암호 기술이 정착할 수 있도록 법·제도를 정비한다면 이러한 변화에 우리나라가 먼저 움직일 수 있을 것이다.”