[AI와 사는 법] 공무원 징계처분을 AI가 내린다면

정부가 행정 전반의 인공지능 전환(AX)을 강조하기 시작하면서, 행정 각부는 인공지능을 활용한 업무 효율화에 많은 투자를 하고 있다. 행정안전부, 기획재정부, 검찰 등은 내부 TF를 구성하거나 스타트업과 협력하는 등 각자의 방식대로 업무에 인공지능을 녹여내기 위해 노력하고 있다. 그런데 행정은 어느 범위까지 인공지능으로 자동화될 수 있을까, 아니 반대로 어디부터는 자동화되어서는 안 되는 것일까. 행정 전반을 규율하는 적법절차의 원칙은 이러한 질문에 답하기 위한 최소한의 기준을 제공한다.

적법절차의 원칙은 말 그대로 모든 국가작용이 적법한 절차에 의하여 이루어져야 한다는 법치주의의 기본원리로, ‘적법한 절차’의 의미는 개별 사안마다 조금씩 달라지나 대부분의 행정처분의 경우 적절한 고지와 이유제시, 그리고 의견제출의 기회를 보장할 것이 요청된다. 여기서 ‘이유제시’는 행정작용의 사실적·법적 근거를 전달한다는 의미이고, ‘의견제출’은 국가작용의 대상자가 사안에 관하여 제출하는 의견이 담당자에게 최소한 전달된다는 의미이다.

전적으로 인공지능에 의존한 행정처분을 상상해 보자. 가령 공무원 징계에 대한 판단을 인공지능 기반 언어모델(LLM)이 내린다면 이유제시와 의견제출의 기회 보장은 이루어질 수 있을까? 이 질문에는 쉬이 답하기 어려울 것이다. 먼저 이유제시에 관하여 생각해 보면, 언어모델이 나름의 판단이유를 설명할 수는 있지만 그 내용이 실제로 모델 내부에서 판단에 이르기까지의 과정을 투명하게 담지는 못한다는 사실이 여러 연구를 통해 밝혀진 바 있다. 인간의 설명 또한 진의를 온전히 담지 못하지만 그것이 인공지능에 의한 다른 양상의 불투명성을 허용할 근거는 되지 못한다. 적법절차의 원리는 ‘인간에 의한’ 적법절차를 상정하고 있으므로 인간과 같은 오류는 용인되나 인간과 다른 오류는 용인되지 않기 때문이다.

의견제출에 관하여는 더욱 근본적인 한계에 부딪힌다. 적법절차에서 의견제출의 핵심은 당사자의 소명이 결정권자의 의사작용에 영향을 미칠 수 있어야 한다는 점에 있다. 그러나 인공지능 기반으로 자동화된 행정은 인간의 의사작용을 배제한 채 수치적 연산의 결과에 따라 결론을 도출한다. 당사자의 소명이 인공지능 모델 내에서 어떤 비중으로 다뤄졌는지, 혹은 어떠한 방식으로 오류를 수정하는 데 기여했는지 온전히 검증할 방법이 없는 한 의견제출의 기회는 실질적으로 보장되었다고 보기 어렵다.

이처럼 인공지능과 인간 사이에 공유된 언어적 맥락이 부재하는 한 인공지능 행정의 허용범위는 제한되어야 한다. 인공지능의 행정에의 활용은 처분의 각 절차마다 적어도 한 번 인간이 개입한다는 전제 하에서만 가능하다. 물론 ‘설명 가능 인공지능(XAI)’ 관련 기술이 활발히 연구되고 있으나 수많은 가중치 사이의 인과관계를 밝혀낸다는 것은 적어도 단기적으로는 어려운 일이다. 인공지능과 인간의 추론방식이 극도로 유사하고, 그 정도가 너무나도 좁아 둘을 법적 맥락에서 동일하게 취급하여도 된다는 사회적 합의와, 이에 기반한 사회 구성원들의 법적 확신이 발생하지 않는 한 전적으로 인공지능에만 의존한 ‘완전 자동화 행정’은 앞으로도 용인되기 어려울 것이다.

윤상원 공익법무관(대검찰청 국제협력담당관실)