부실한 ‘AI 기반 제주지역 주요 현안 종합 이슈 조사 용역’ 보고서
'제주 현안' 종합 조사라면서 '제2공항'은 한 단어도 찾을 수 없어
도내 연구자 "함량 미달" 강력 비판..."과업지시서 즉각 공개해야"
[미디어제주 = 김재훈 기자] <미디어제주>는 제주도가 지난해 12월 17일 부산시에 위치한 ㅈ주식회사와 ‘제주 마을 단위 생활권 조사 용역’ 계약을 891만 원에 체결하고 이틀 뒤에 역시 같은 업체와 ‘AI 기반 제주지역 주요 현안 종합 이슈 조사 용역’을 885만8,000원에 계약을 체결한 사실을 보도한 바 있다.(관련 기사 ☞
'딸깍 출판'에 이어 '딸깍 용역'까지?
)
그 두 개의 용역 중 업체가 9일 만에 마무리하고 885만원을 챙긴 ‘AI 기반 제주지역 주요 현안 종합 이슈 조사 용역’ 파일을 입수해 공개한다.(다음 링크를 클릭하면 다운로드할 수 있다.
https://drive.google.com/file/d/1B5iLu4XyeAsgxf5udmvlHfaFg085G7cl/view?usp=drive_link
) 이 보고서를 살펴본 결과, 내용이 상당히 부실하다는 사실이 드러났다.
무엇보다 제주 지역 주요 현안에 대한 구체적 접근이 전혀 이뤄지지 않았다. 현안들이 모두 형해화 됐다. 또한 어떤 자료들을 갖고 연구를 했는지 구체적으로 제시하지 않았다. 세부 내용을 들여다 보면, 제주 지역에서 가장 중요한 현안으로 제2공항이 꼽히는데도 불구하고 보고서에는 담기지 않았다. 심지어는 ‘공항’이라는 단어를 보고서에서 아예 찾아볼 수 없다. 이 보고서 얼마나 엉망으로 만들어졌는지 단적으로 보여주는 예다.
'AI기반 제주지역 주요현안 종합 이슈 조사 용역 보고서' 표지. 다운로드 링크 https://drive.google.com/file/d/1B5iLu4XyeAsgxf5udmvlHfaFg085G7cl/view?usp=drive_link
이 보고서를 제주지역에서 다양한 연구활동을 수행한 연구자 A박사에게 검토를 의뢰했다.(제주도에서 연구를 수행하는 데 따른 불이익을 받을 수도 있어 익명으로 싣는다) 보고서를 검토한 A박사는 황당해 하며 헛웃음을 터트렸다. 그는 해당 보고서가 함량 미달이라고 질타했다. 그는 이 용역을 맡은 연구진과 용역을 맡긴 제주도를 비판했다.
A박사는 “연구 책임자가 '제주의 주요 현안을 정리해달라'는 식의 단순한 질문만 던져 작성한 수준이며, 이는 무료 AI 도구인 '노트북LM(NotebookLM)'으로 요약한 것과 차이가 없다.”며 “함량 미달”이라고 강조했다.
그는 “전체 보고서 중 분석 결과라고 할 수 있는 부분은 단 5쪽(67·71·75·79·83쪽)에 불과하며, 나머지는 단순 방법론 나열에 그쳤다. 이는 텍스트 마이닝보다 못한 수준으로, 단순히 2023년부터 2025년까지 3년치 주요 뉴스의 핵심 주제를 뽑아낸 결과와 다를 바 없다. 보고서에서 ‘구조’라는 단어를 가장 많이 언급하면서도, 정작 10~20개의 중요 의제에 대한 구조적 분석은 전무하다.”
A박사는 “AI는 연구자가 어떻게 학습시키고 질문하느냐가 핵심”이라면서 “각 분야 법정 의무 계획인 등 각 분야 기본법령에 따른 내용을 학습시켰어야 했는데, 이번 보고서는 그 과정도 생략된 것으로 보인다.”고 말했다. 실제로 이 보고서를 통해서는 구체적으로 어떤 내용을 AI에 학습시켰는지에 여부를 확인할 수 없다.
부록으로 '참고 자료' 관련 공개한 것은 자료 유형 설명 정도가 전부다. 그와 같은 유형들의 어떤 자료를 활용했는지는 전혀 제시하지 않았다. 통계 부분도 마찬가지. 따라서, 검증 자체가 불가능하다. 비과학적이라는 얘기다. 고도의 컴퓨터 과학인 AI를 활용해서 전에 없던 비과학적인 용역 보고서를 만든 셈이다.
표=보고서 부록
그는 이 용역을 수행한 이들의 역량과 연구에 대해서도 날 선 비판을 이어갔다. “또한 통상 ‘장기’라면 10년은 잡아야 하는데 3년치를 두고 장기라 표현했다. AI를 활용한다면 50년치 데이터 분석도 가능해야 하지 않나. AI를 활용했다면 어떤 도구를 어떻게 썼는지 명확히 밝혀야 한다.”
A박사는 “AI 활용은 연구자의 디렉팅 역량과 직관에 달려 있다."면서 역량이 확인되지 않는 업체에 용역을 맡긴 제주도를 비판했다. 그는 “도의 예산이 투입된 용역인 만큼, 구체적인 과업지시서를 즉각 공개해야 한다."고 덧붙였다.
댓글
0