[로이슈 편도욱 기자] 한글과컴퓨터(이하 한컴)가 AI 학습 및 활용 과정에서 고질적인 난제로 지적돼 온 PDF 문서 데이터 처리 병목 현상을 해소할 핵심 기술을 글로벌 오픈소스로 전격 공개했다.

한컴 관계자는 "이번에 공개된 ‘오픈데이터로더 PDF(OpenDataLoader PDF)’는 한컴이 오랜 기간 축적한 문서 처리 기술력을 바탕으로 개발한 PDF 데이터 추출 엔진으로, 글로벌 AI 생태계 확산을 위한 기술적 기반을 마련했다"라고 전했다.

이어 "최근 허깅 페이스(Hugging Face)는 PDF 문서를 기반으로 한 약 4억 7,500만 건 규모의 대규모 데이터셋 ‘FinePDFs’를 공개했고, 이를 활용하려는 기업들의 움직임도 본격화되고 있다"라며 "PDF는 전 세계적으로 AI 학습에 가장 널리 사용되는 문서 포맷이지만, 복잡한 내부 구조 때문에 학습용 데이터 추출이 쉽지 않다"라고 말했다.

이로 인해 ‘데이터 감옥’이라 불릴 만큼 AI 개발 과정에서 큰 제약이 따랐다.

이번 오픈소스 프로젝트는 이러한 문제를 해결하기 위해 한컴이 지난 7월 PDF 기술 전문 기업 듀얼랩(Dual Lab)과 체결한 업무협약(MOU)의 첫 결실이다. 양사는 오픈소스 기반 PDF 데이터로더를 공동 개발하며 AI 생태계 확장을 목표로 하고 있으며, 이번 기술 공개를 통해 본격적인 확산에 나섰다.

공동 개발한 오픈데이터로더 PDF는 PDF 문서 내 텍스트, 표, 이미지, 레이아웃 정보를 높은 정확도와 빠른 성능으로 추출해, AI 학습에 즉시 활용할 수 있는 정형화된 데이터(JSON, Markdown, HTML)로 변환한다.

특히, 기존 경쟁 오픈소스 기술보다 우수한 성능을 입증했다. 공식 홈페이지에 공개된 벤치마크 테스트 결과, 사람의 읽기 순서를 측정하는 지표인 NID(Normalized Indel Distance)에서 타 기술 대비 85%라는 높은 수치를 기록하는 등 다양한 테스트에서 탁월한 성능을 보여줬다. 또한 금융·공공기관 등 민감한 데이터를 다루는 환경에서도 네트워크 연결 없이 완전 오프라인으로 작동해, 데이터 유출과 외부 업로드로 인한 정보 노출 위험을 원천 차단한다. 이러한 오프라인 기반 보안성은 기업과 기관 단위 활용에서 중요한 기술적 장점으로 작용할 전망이다.

아울러 최근 AI 산업의 주요 화두로 떠오른 학습 데이터 안전성(AI Safety) 문제에 대응하기 위한 전략도 담았다. 오픈데이터로더 PDF는 악의적인 콘텐츠 삽입을 통한 프롬프트 인젝션(Prompt Injection) 등 보안 위협을 자동 감지·차단하는 기능을 추가로 제공할 예정이며, 이를 통해 AI 학습 데이터의 안정성과 신뢰성을 동시에 보장한다. 이 같은 기능은 보다 안전한 AI 모델 학습 환경을 구축하는 데 기여할 것으로 보인다.

편도욱 로이슈 기자 toy1000@hanmail.net