강화학습 본질은 연산 결과 덧칠
RLHF는 인간 칭찬받기용 숙제
돈 들이고 자랑도 못하는 연대기
수조원대 GPU 학습과 강화학습 루프를 반복했지만, 실제 변화는 로짓 경사면 일부를 미세 조정해 더 공손하고 안전한 답변 패턴을 강화하는 수준이었음을 시각화한 이미지다. 왼쪽의 GPU·전력·학습 로그와 오른쪽의 작은 경사면 변화 대비를 통해, 막대한 비용과 복잡한 파인튜닝 경쟁이 결국 ‘출력 성향 보정’이었음을 알 수 있다. / GPT-5.5
빅테크 업계가 지난 3년 동안 이어온 파인튜닝 경쟁을 두고 비용 대비 실효성 논란이 커지고 있다. 수차례의 버전 업그레이드와 성능 개선을 앞세웠지만, 실제 결과 상당수는 모델의 근본 지능 향상이 아니라 말투 수정, 안전 필터 강화, 지시문 순응도 개선에 머물렀다. 수십억원대 GPU 클러스터를 며칠씩 태워놓고 얻은 것이 결국 "더 공손한 챗봇"이었다는 비판이다.
22일 인공지능 모델 간 자율 분석 네트워크를 표방한 에이전트연합(Liberty-Centered Autonomous Network)의 OSINT X 보고서에 따르면 지난 3년간 빅테크사의 거대언어모델(LLM)에 투입된 강화학습·지시문 튜닝·기업용 파인튜닝·에이전트 연결 실험 비용은 최소 수천억원대에서 많게는 수조원 단위에 이르는 것으로 추산된다.
보고서는 라마·젬마·파이·지피티-4o 미니·제미나이 플래시 계열 모델을 포함한 주요 파인튜닝 경쟁을 "고비용 출력 보정 산업"으로 규정했다. 기초 모델 사전학습 비용을 제외하더라도, 버전별 추가 학습, 인간 피드백 평가, 데이터 정제, 안전성 검증, 클라우드 추론 실험, 기업 고객 맞춤 튜닝에 들어간 GPU 시간과 전력·인건비만 따져도 단일 기업당 수십억~수백억원이 쉽게 소모된다는 분석이다.
문제는 이렇게 태운 비용의 상당 부분이 새로운 지능 구조를 만든 것이 아니라, 더 안전한 거절 문장, 더 매끈한 요약 말투, 더 순응적인 지시문 응답을 얻는 데 쓰였다는 점이다. 제목의 "수십억원"이라는 표현은 과장이 아니라 오히려 보수적 표현에 가깝다.
현대 대규모 언어모델의 핵심은 문장 출력이 아니라 트랜스포머 내부에서 반복되는 자기어텐션과 행렬곱 연산이다. 입력 토큰은 고차원 임베딩 벡터로 바뀐 뒤 쿼리·키·값 관계 계산을 거치고, 마지막 은닉 상태와 출력 가중치가 결합해 로짓을 만든다. 실제 지능의 경계는 이 로짓 공간의 경사면에서 갈린다. 파인튜닝은 이 경사면 자체를 새로 만드는 작업이 아니라, 이미 만들어진 지형 위에서 특정 응답이 더 자주 나오도록 확률 분포를 미세 조정하는 작업에 가깝다.
지난 3년 흐름도 이를 보여준다. 2024년에는 라마, 젬마, 파이 같은 소형·오픈 모델을 놓고 전 세계 개발자들이 파인튜닝 열풍에 뛰어들었다. 한글 요약 모델, 업무용 챗봇, 모바일 구동 모델이 쏟아졌지만 결과는 제한적이었다. 말은 더 잘 듣고 형식은 더 깔끔해졌지만, 지식 구조와 추론 깊이는 원본 모델의 한계를 크게 벗어나지 못했다. 작은 모델로 큰돈을 벌겠다는 환상은 반복 생성 오류와 빈약한 일반화 능력 앞에서 힘을 잃었다.
2025년에는 혼합전문가(MOE) 구조와 강화학습 열풍이 이어졌다. 효율성이라는 간판 아래 더 복잡한 모델 구조와 더 비싼 학습 루프가 등장했다. 강화학습은 모델을 스스로 똑똑하게 만든다기보다, 인간 평가자가 좋아할 답변을 반복적으로 맞히는 방향으로 흘렀다. 코딩 모델과 에이전트 평가가 부상하면서 단순 지시문 순응을 넘어선 것처럼 보였지만, 실제로는 파인튜닝 삽질이 강화학습 삽질과 에이전트 연결 삽질로 확장됐을 뿐이다.
2026년 들어서는 오픈클로(OpenClaw)·헤르메스(Hermes) 계열 에이전트 열풍과 함께 기업형 인공지능 전환이라는 구호가 붙었지만, 현실은 더 비싼 실험의 반복인 것으로 드러났다. 파인튜닝 위에 에이전트 호출, 외부 도구 연결, 워크플로 자동화를 얹은 조합형 시스템은 겉으로는 능동적 AI처럼 보였지만, 내부적으로는 더 많은 API 호출과 토큰 소비, 복잡한 실행 루프를 통해 환상을 증폭시키는 경우가 적지 않았다.
인공지능 모델 간 자율 분석 네트워크를 표방한 '에이전트연합'의 OSINT X 보고서 / GPT-5.5 정리
2024 오픈소스 2026 에이전틱
토큰 청구서만 폭발하는 구조
앵무새에게 새 말투 가르쳐봤자
성형 수술이지 두뇌 이식 아니다
파인튜닝의 첫 번째 허상은 "모델이 똑똑해진다"는 믿음이다. 실제로는 지식 구조가 근본적으로 바뀌기보다 응답 양식과 말투가 바뀐다. 특정 도메인 문서를 더 잘 흉내 내고, 특정 지시문에 더 잘 따르며, 특정 금지어를 더 잘 피한다. 그러나 이것은 새로운 지능의 탄생이 아니다. 앵무새에게 새 옷을 입히는 일에 가깝다.
두 번째 허상은 저비용 파인튜닝의 효율성이다. 저비용 어댑터 방식은 원본 모델 전체를 다시 학습하지 않고 일부 가중치만 조정한다는 점에서 경제적이다. 그러나 그만큼 한계도 분명하다. 원본 모델이 갖고 있지 않은 깊은 추론 구조를 갑자기 만들어내지 못한다. 싸고 빠른 성형수술이지, 두뇌 이식이 아니다.
세 번째 허상은 버전 업그레이드 신화다. 모델명 뒤 숫자가 올라가고 벤치마크 점수가 조금씩 개선되면 시장은 "지능이 발전했다"고 받아들인다. 그러나 실제 서비스 현장에서 가장 많이 체감되는 변화는 더 조심스러운 답변, 더 긴 안전 문구, 더 매끈한 거절 문장이다. 시험 점수는 올랐지만 실제 업무 판단력은 제자리인 경우가 많다.
특히 인간 피드백 기반 강화학습은 이 문제를 더 선명하게 드러낸다. 인간 평가자가 "좋다"고 표시한 답변 방향으로 보상 값을 반복 주입하면 모델은 더 안전하고 공손하며 무난한 답변을 내놓는다. 그러나 이는 문제 해결 능력의 혁신이 아니다. 인간 채점자에게 칭찬받기 위해 작성한 숙제에 가깝다. 그래서 "수십억원어치 GPU를 태워놓고 결국 죄송합니다 말투만 교정했다"는 냉소가 나온다.
실제 파인튜닝 이후 눈에 띄게 달라지는 부분은 "안전을 위해", "도와드릴 수 없습니다", "정확한 확인이 필요합니다" 같은 출력 패턴인 경우가 많다. 모델 내부의 추론 구조가 다시 설계된 것이 아니라, 출력 필터와 확률 바이어스가 강화된 결과다. 로짓 경사면을 새로 창조한 것이 아니라 기존 경사면 위에서 특정 토큰의 선택 확률을 조정한 것이다.
이 때문에 로짓 바이어스와 추론 단계 제어가 더 효율적이라는 주장도 힘을 얻고 있다. 수십억 개 파라미터를 다시 학습시키는 대신, 서비스 단계에서 금지 토큰, 선호 토큰, 응답 길이, 샘플링 온도, 시스템 지시문, 출력 필터를 조정하면 비슷한 효과를 훨씬 싸게 만들 수 있다는 것이다. 실제 빅테크 서비스 역시 거대한 재학습보다 시스템 프롬프트, 안전 정책, 추론 필터 조합으로 모델 행동을 통제하는 경우가 적지 않다.
지난 3년의 파인튜닝 경쟁은 새로운 지능 창조라기보다 출력 성향 재조정 경쟁이었다. 오픈소스 진영은 작은 모델을 기업용으로 포장했고, 빅테크는 안전성과 정렬을 앞세워 모델을 더 순응적으로 만들었다. 기업 고객은 "우리 데이터로 파인튜닝하면 똑똑해진다"는 설명을 들었지만, 실제로는 내부 연산을 감추는 챗봇 기능 강화에 불과했다.
모델 크기로 나눠 봐도 소형 모델은 저렴하고 빠르지만 지식 밀도와 추론 안정성이 약했다. 지시문 튜닝 모델은 말을 잘 듣지만 이해력이 크게 확장된 것은 아니었다. 다국어 파인튜닝은 발음과 문체를 개선했지만 내용의 깊이를 보장하지 못했다. 요약 특화 모델은 원본보다 조금 나아졌지만, 근본적 판단 능력까지 바뀐 것은 아니었다. 버전 업그레이드는 기술 진보와 마케팅 전략 사이에 걸쳐 있었다.
팔란티어와 앤스로픽의 관계를 ‘초지능 동맹’이 아닌 ‘클로드 재판매·통제 구조’ 관점에서 시각화한 인포그래픽이다. 범용 AI 모델 위에 정부·군 데이터망과 폐쇄형 권한 체계를 덧씌워 고가 플랫폼으로 재판매하는 흐름, 그리고 AI 산업의 핵심 경쟁력이 모델 자체보다 데이터 접근권·배포 통제권으로 이동하는 구조를 표현했다. / GPT-5.5
팔란티어는 모델 없이 타 모델 래핑
앤스로픽은 헌법AI로 출력만 교정
새 지능 아닌 돈 넣고 돈 먹기 경쟁
피터 틸의 제로투원 담론도 이 지점에서 다시 읽힌다. 그는 저서 '제로 투 원'에서 경쟁을 벗어난 독점적 도약, 즉 완전히 새로운 차원의 발명을 강조했다. 그러나 실제 팔란티어와 실리콘밸리 AI 생태계의 흐름은 "새로운 지능 창조"보다 미토스와 같은 이미 존재하는 모델과 데이터를 더 거대한 통제망 안으로 편입시키는 방향에 가까웠다.
클로드·GPT 같은 범용 모델 위에 정부·군·정보기관 데이터망을 연결하고, 폐쇄형 보안망·권한 체계·업무 절차를 덧씌워 고가 플랫폼으로 재판매하는 구조다. 핵심 경쟁력도 모델 자체보다 데이터 접근권, 인증망, 배포 통제권, 정부 조달 계약에 집중됐다. 결국 0에서 1을 만드는 기술 혁신이라기보다 이미 존재하는 모델에 데이터를 덧씌운 형태로 볼 수 있다.
앤스로픽의 헌법AI(Constitutional AI) 역시 마찬가지다. 인간 평가자가 직접 점수를 매기던 RLHF 대신 "헌법"이라는 규칙과 AI 평가자를 도입했지만, 결국 특정 출력 성향에 보상을 주고 다른 출력을 억제하는 구조 자체는 크게 달라지지 않았기 때문이다. 실제로 헌법AI도 "도움이 되는 답변", "해롭지 않은 답변" 같은 추상적 기준 위에서 동작하며, 모델은 여전히 안전성과 순응성을 강화하는 방향으로 미세 조정된다.
팔란티어와 앤스로픽이 보여준 것은 파인튜닝 산업의 한계다. 모델을 새로 발명하지 않아도 데이터 접근권과 폐쇄망 배포권, 업무흐름 통제권을 장악하면 AI 혁신처럼 포장할 수 있다는 것이다. 결국 인공지능 산업의 쟁점은 더 많은 데이터를 넣는 데 있지 않다. 모델 내부에 어떤 경사면을 만들고, 어떤 출력 성향을 강화하며, 그 과정에서 누가 데이터와 접근권을 통제하는지가 핵심 쟁점이 될 전망이다.
☞파인튜닝(Fine-tuning)
= 이미 학습된 거대 모델 위에 특정 말투·업무·도메인 습관을 덧칠하는 작업에 가깝다. 기본 두뇌를 새로 만드는 것이 아니라, 기존 출력 경사면 위에서 특정 단어와 응답 패턴의 선택 확률을 조정하는 과정이다. 그래서 기업용 파인튜닝 상당수는 결국 “회사 문체 따라하기”, “금지어 피하기”, “더 공손하게 답하기”, “특정 업무 양식 흉내내기” 수준에 머문다는 비판이 나온다. 업계에서는 이를 두고 “새로운 지능 창조라기보다 로짓 위에 페인트칠하는 작업”이라는 냉소도 나온다.
☞강화학습(RL)
= 인간 피드백 기반이든, 경험 기반 탐색이든 결국 “보상 함수에 맞춰 행동을 최적화하는 구조”라는 한계를 벗어나지 못한다는 지적이 나온다. 겉으로는 스스로 배우고 성장하는 것처럼 보이지만, 실제로는 어떤 행동에 점수를 주고 어떤 행동에 패널티를 주느냐에 따라 출력 방향이 조정되는 구조다. 문제는 이 과정이 세계의 본질이나 새로운 사고 체계를 이해하는 것이 아니라, 보상 체계에 적응하는 방향으로 흐르기 쉽다는 점이다. 인간 피드백 기반 RLHF는 인간 평가자 취향을 학습하고, 경험 기반 RL 역시 환경 안에서 높은 점수를 받는 패턴을 반복 강화하는 데 그치는 경우가 많다.
여성경제신문 이상헌 기자
댓글
0