투디지트(대표 황영준)는 국내 AI 모델이 금융 데이터를 얼마나 잘 이해하는지 판단할 수 있는 금융 특화 벤치마크를 공개했다고 26일 밝혔다.
이번에 공개한
‘핀다트벤치(FinDartBench)'
는 금융감독원 전자공시시스템(DART) 공시 문서를 바탕으로 구축한 한국어 금융 질의응답(Q&A) 데이터셋을 바탕으로 한다.
LG전자, 삼성전자, 현대자동차, SK하이닉스, KB국민은행 등 국내 주요 산업군의 대표 기업과 중소형 기업의 공시 문서를 활용해 구축됐으며, 총 1만 4444건의 질문·답변 데이터로 구성됐다. 실제 기업의 다양한 공시 데이터를 바탕으로 개발해 한국 금융 AI 모델의 실질적인 성능 평가가 가능하다고 강조했다.
특히, 국내 AI 산업에서 사용되던 '핀QA(FinQA)'와 '파이낸스벤치(FinanceBench)' 등 글로벌 금융 벤치마크는 대부분 영문 금융 문서를 바탕으로 했지만, 핀다트벤치는 국내 공시 제도와 문서 형식을 반영한 만큼 차별화된다고 전했다. 실제 재무정보 분석은 물론 기업 지배구조와 의사결정까지 평가할 수 있도록 사업보고서, 지배구조보고서, 주주총회 소집공고, 투자설명서 등 다양한 공시 유형을 포함했다는 설명이다.
이번 데이터셋은 허깅페이스를 통해 공개될 예정이며 국내외 연구자와 기업이 자유롭게 활용할 수 있도록 개방할 계획이다.
테크니컬 리포트
도 공개했다.
김창연 투디지트 연구소장은 "이번 데이터셋은 다단계 검증 구조를 적용해 해외 기술 바탕의 단순 자동 생성 방식보다 신뢰도가 대폭 향상했다”라고 말했다.
장세민 기자 semim99@aitimes.com
댓글
0