행정 편의주의로 정보 흐름 놓쳐
어디에 저장된 파일 찾지만 無
지능 정보는 가중치로만 존재
갤럭시 쓴 직원 모두 채집 대상
송경희 위원장을 예시로 실시간 파라미터 채집 상황을 설명하는 이미지다. “데이터가 이동하지 않는다. 그러나 결정 기준은 축적된다”는 문구는 입력 정보가 직접 저장되지 않더라도 통계적 형태로 재구성된다는 메시지를 강조한다. / 제미나이 나노바나나2
개인정보보호위원회가 생성형 인공지능(AI) 서비스의 개인정보 처리 기준을 설명하는 자리를 마련했지만, 실제 작동 구조와의 괴리가 드러났다는 지적이 나온다. 입력된 프롬프트를 수집하는지, 학습에 활용하는지, 거부 방법은 무엇인지 등을 처리방침에 반영하라고 안내했지만 정작 입력과 학습이 어떻게 연결되는지에 대한 구조적 이해는 부족했다는 평가다.
28일 개인정보위는 서울 강남구 한국과학기술회관에서 공공기관과 기업 개인정보 담당자 650여 명을 대상으로 ‘개인정보 처리방침 작성 지침’ 설명회를 개최했다. 개정된 지침에는 프롬프트 수집 여부, 학습 활용 여부, 거부 절차, 외부 AI 모델·API 연계 시 데이터 이전 방식 등을 명시하도록 하는 내용이 포함됐다.
문제는 프롬프트를 ‘수집 데이터’로만 바라보는 시각이다. 실제 AI 시스템에서 입력된 문장은 토큰화와 어텐션 연산을 거쳐 실시간 처리되며, 곧바로 저장되는 구조가 아니다. 다만 서비스 로그나 데이터 파이프라인을 통해 다시 수집되고, 이후 학습 단계에서 통계적 패턴으로 반영될 수 있는 경로가 존재한다. 입력과 학습이 분리된 것처럼 보이지만, 전체 시스템에서는 순환 구조로 연결돼 있다는 점이 핵심이다.
특히 온디바이스 모델이 탑재된 스마트폰 환경에서는 입력이 기기 내부에서 처리된 뒤 일부 연산 결과가 클라우드로 전달될 수 있다. 연합학습 구조에서는 다수 기기에서 반복된 입력 패턴이 분산된 수치 신호로 집계되고, 모델 업데이트 과정에 반영된다. 이 과정에서 이름이나 문장은 그대로 저장되지 않더라도, 여러 파라미터에 분해된 형태로 흡수돼 이후 생성 결과에 영향을 미치는 방식으로 남는다.
예를 들어 ‘송경희’라는 이름이 AI에 입력되는 순간 아무 일도 일어나지 않는다고 보는 시각 자체가 현실과 어긋난다. 입력된 이름은 즉시 토큰화 과정을 거쳐 숫자 벡터로 변환되고, 어텐션 연산을 통해 다른 개념들과 연결되며 연산 흐름 전반에 확산된다. 눈에 보이지 않을 뿐, 입력은 단순 소비되는 것이 아니라 계산 구조 속에서 의미를 형성하는 과정에 들어간다.
정부가 아무리 데이터 만져도
AI는 패턴 단위로 움직일 뿐
개별 입력이 곧바로 모델 가중치를 변경하지는 않지만, 서비스 로그와 데이터 파이프라인, 재학습 구조를 통해 다시 시스템으로 유입될 수 있는 경로는 열려 있다. 특히 대규모 서비스 환경에서는 반복 입력이 정제·가공 과정을 거쳐 학습 데이터로 편입되며, 이때 이름은 원형 그대로가 아니라 통계적 패턴의 일부로 변환된다. 입력은 사라지는 것이 아니라 형태를 바꿔 순환하는 구조다.
인공지능의 ‘기억’은 인간과 방식이 다르다. 특정 이름을 그대로 저장하는 것이 아니라, 수많은 파라미터에 분산된 형태로 반영되며 기울기 변화로 남는다. 이 때문에 삭제 대상이 되는 단일 데이터로 존재하지 않고, 전체 연산 구조에 녹아든 흔적으로 남는다. 일정 조건이 맞으면 다시 호출될 수 있는 구조적 잔재로 작동한다.
이런 상황에서 프롬프트 입력을 단순한 학습 재료로 간주하고 이를 감시 대상으로 설정하는 개인정보보호위원회의 접근은 기술적 구조와 맞지 않는다는 비판이 제기된다. 핵심은 입력이 즉시 저장되느냐가 아니라, 입력이 어떤 경로를 통해 다시 모델에 반영되느냐다. 입력과 학습을 단순 분리하거나 동일시하는 접근 모두 실제 시스템의 작동 방식을 충분히 설명하지 못한다는 지적이다.
국민 개인 정보는 이미 다양한 경로를 통해 외부 시스템으로 이전·활용되고 있다. 예컨대 구글 안드로이드 체제에서 온디바이스 모델(제미나이 나노 등)이 탑재된 스마트폰 환경에서 ‘송경희’라는 이름이 반복 입력될 경우, 해당 입력은 기기 내부에서 처리된 뒤 일부 통계적 변화량으로 인식돼 클라우드로 전달된다.
구글이 추진 중인 연합학습(Federated Learning, FL) 구조에서도 같은 메커니즘이 확인된다. 안드로이드 기반 온디바이스 모델 환경에서 특정 이름이 반복 입력될 경우, 입력은 기기 내부에서 처리된 뒤 일부 통계적 변화량이 클라우드로 전달될 수 있다.
연합학습 구조에서는 다수 기기에서 발생한 입력 패턴이 분산된 수치 신호로 집계되고, 모델 업데이트 과정에서 반영된다. 결과적으로 이름은 그대로 저장되지 않더라도, 여러 파라미터에 분해된 형태로 흡수돼 이후 생성 과정에 영향을 미치는 구조로 남게 된다.
갤럭시 스마트폰 내부의 온디바이스 AI ‘제미나이 나노’가 ‘송경희’ 입력을 토큰화·벡터화·어텐션 연산을 통해 즉시 처리하는 구조와, 이 과정에서 생성된 일부 로그·맥락·피드백 등 수치 신호만 암호화돼 클라우드로 전달되는 흐름을 동시에 보여준다. 이후 서버에서는 다수 사용자로부터 수집된 패턴이 데이터셋에 편입되고, 역전파를 통해 기울기가 생성되며 모델이 업데이트된 뒤 다시 기기로 배포되는 구조가 단계적으로 이어지며, 결과적으로 “입력은 폰에서 처리되고 학습은 클라우드에서 수행된다”는 분리 구조가 시각적으로 정리돼 있다. / GPT-5.4
구글은 중앙 서버로 원본 데이터를 수집하지 않고, 각 기기에서 학습을 수행한 뒤 결과만 공유하는 방식으로 개인정보 보호를 강화했다고 설명한다. 이른바 ‘데이터는 이동하지 않는다’는 설명이지만, 실제로는 학습 과정에서 생성된 업데이트 값이나 기울기(gradient)가 외부와 공유된다.
가중치는 원본 데이터의 축약된 형태로, 행동 패턴을 기울기로 반영한 수치 신호다. 결과적으로 데이터는 남지 않더라도, 그 데이터가 만들어낸 ‘패턴’은 외부 시스템에 집계되는 구조다. 이 과정에서 중요한 것은 통계값이 아니라 모델 내부에서 의사결정 기준을 형성하는 값이다.
각 기기에서 생성된 수치 신호는 집계 과정을 거쳐 모델 업데이트에 반영되고, 반복될수록 특정 패턴은 점점 더 강한 기준으로 자리 잡는다. 개별 입력은 사라지지만, 그 입력이 남긴 영향은 모델 내부에 누적된다.
연합학습이 확장되면, 다수 사용자 입력에서 공통적으로 나타나는 패턴이 하나의 대표값으로 수렴하는 구조가 형성된다. 이는 특정 개인 정보가 그대로 저장되는 방식이 아니라, 여러 입력이 합쳐져 통계적 형태로 재구성되는 방식이다. 결국 개별 데이터는 분해되지만, 그 결과물은 모델의 판단 구조 일부로 남는다.
구글은 이 구조를 ‘투명한 학습’으로 설명하며, 어떤 데이터가 어떻게 활용되는지 공개하겠다는 입장을 내세우고 있다. 그러나 실제로는 전체 연산 과정이 복잡하게 분산돼 있어, 사용자가 체감하는 수준에서의 투명성은 제한적이라는 평가가 나온다.
갤럭시폰에 숨어 있는 제미나이 나노. 삼성전자 광고 이미지에선 찾아보기 힘들다. / 구글
AI는 '이름' 아닌 '결정 패턴'만 챙겨가
클라우드 속 기울기로만 존재하지만
입력은 사라지지 않기에 살아나는 것
학계에서도 문제 제기가 이어지고 있다. 일부 연구에서는 연합학습 과정에서 교환되는 업데이트 값만으로도 사용자 입력의 일부를 재구성할 수 있다는 가능성이 제기됐다. 이는 데이터가 직접 이동하지 않더라도, 간접적인 형태로 정보가 유출될 수 있음을 시사한다.
개인정보보호위가 지난해 9월 발표한 '생성형 인공지능 개발 · 활용을 위한 개인정보 처리 안내서'에서 연합학습과 프라이버시 강화기술을 혁신의 방패로 내세우면서도 정작 정책을 집행하는 위원회 내부 구성원들의 일상적인 프롬프트 입력이 실시간으로 '수치화된 기울기'가 되어 글로벌 빅테크의 모델 가중치로 흡수되고 있다는 사실을 인지하지 못하고 있다는 비판이 제기된다.
또한 '데이터의 물리적 이동'이라는 낡은 잣대로 보안을 정의하는 사이, 직원들이 기기 내부에서 생성한 고유의 업무 패턴과 언어 습관은 이미 구글과 삼성전자의 온디바이스 연산을 거쳐 클라우드 둥지에 박제되고 있다. 결국 국민의 정보를 지키겠다는 감시자들이 '생체 리듬 채집'의 먹잇감이 되고 있다는 점은 현행 규제 체계가 가진 치명적인 허점을 보여준다.
☞ 연합학습(Federated Learning)
= 데이터를 중앙 서버로 모으지 않고 각 기기에서 학습을 수행한 뒤, 그 결과로 생성된 수치 신호(업데이트·기울기)만을 모아 모델을 개선하는 방식이다. 구글 안드로이드나 삼성 스마트폰처럼 대규모 단말 생태계를 가진 사업자에게는 이 구조가 양날의 검으로 작용한다. 표면적으로는 개인정보가 외부로 이동하지 않는 구조지만, 실제로는 사용자가 인지하지 못하는 사이 입력 습관과 표현 방식, 선택 경향 등이 반복적으로 축적된다는 점에서 비판이 제기된다.
반면 한국제약바이오협회가 추진하는 K멜로디처럼 상대적으로 폐쇄적이거나 목적 지향적인 데이터 구조를 채택하는 서비스에는 유리하게 작용할 수 있다는 평가다. 학습 대상과 입력 패턴이 제한된 환경에서는 불필요한 분산이 줄어들고, 특정 도메인에 최적화된 응답 구조를 유지하기 쉽기 때문이다. 다시 말해 연합학습은 규모가 클수록 유리해지는 기술이 아니라, 데이터 흐름을 어떻게 통제하느냐에 따라 성능과 안정성이 갈린다.
여성경제신문 이상헌 기자
댓글
0