DocExtr

Architecture

제품 개요

DocExtr는 다양한 문서와 중첩 압축 파일에서 본문·메타데이터·해시를 추출하는 대용량 문서 처리 솔루션입니다. 별도 언어 런타임 없이 네이티브 실행 파일로 운영하며 소스는 공개하지 않습니다.

적용 영역

문서 디지털화, 검색 색인, AI 데이터 구축에 필요한 텍스트와 메타데이터를 일관된 형식으로 변환합니다.

사용법

CLI는 파일과 디렉토리를 처리해 JSONL·CSV를 생성하거나 RDBMS에 적재합니다. 처리 결과는 파일별 표준 레코드로 남아 검색 색인과 AI 데이터 구축에 바로 연결할 수 있습니다.

# 디렉토리 → JSONL 샤드
docextr run \
  --input  /data/documents \
  --output /data/output

# RDBMS 직접 적재 (JSONL 생략)
docextr run \
  --input  /data/documents \
  --output-db "postgres://user:pass@host/db" \
  --db-table extraction \
  --db-mode  replace

{
  "source_path": "/data/report.hwp",
  "plain_text": "추출된 본문...",
  "markdown": "# 문서 제목...",
  "blake3": "64자리 해시...",
  "file_type": "hwp",
  "file_size": 245760,
  "word_count": 1280,
  "quality_score": 0.96,
  "has_structure": true
}

지원 포맷

• 문서·텍스트 txt · md · html · docx · pptx · xlsx · xls · doc · hwp · hwpx · pdf · 소스 및 설정 파일 100종 이상
• 스캔 PDF (OCR) PaddleOCR v5 선택 지원 · 이미지 PDF 처리에는 OCR 모델 필요
• 중첩 압축 zip · tar · tar.gz · tar.bz2 · 7z · 최대 16단계 및 4 GiB
• 미지원 rar (라이선스) · 암호화 아카이브

출력

레코드 필드 (4종)

• plain_text 본문 텍스트
• markdown 마크다운
• structured_json 예약 필드 (현재 빈 값은 JSONL에서 생략)
• blake3 BLAKE3 해시 64자 hex

전체 14개 필드 정의는 배포 가이드에서 확인할 수 있습니다.

포맷마다 변환기를 붙이지 않습니다

압축된 문서 묶음을 그대로 넣으면 검색·AI에 바로 쓸 수 있는 구조화된 레코드로 돌려줍니다.

원본 문서는 바꾸지 않습니다 — 읽기만 하고 결과는 별도 출력으로 씁니다.

제품 사양

버전

0.x

지원 플랫폼

Linux · macOS · Windows

배포 형태

네이티브 단일 실행 파일

소스

비공개

런타임

Rust 네이티브

실행 인터페이스

docextr run CLI

처리 성능

포맷과 압축 상태에 맞춰 다중 워커로 병렬 처리

안정성 제어

압축 폭탄 방어와 파일별 오류 격리

운영 · 보안

배포 정책

실행 패키지 제공 · 소스 비공개

입력 제한

중첩 최대 16단계 · 파일 최대 4 GiB · 압축 폭탄 방어

오류 처리

파일별 오류 격리와 대체 추출 경로 지원

출력 무결성

레코드별 BLAKE3 해시 제공

RDBMS

SQLite · PostgreSQL · MySQL/MariaDB · Oracle

기술 지원

도입 계약에 따라 유지보수와 보안 패치 지원

도입 · 시작하기

1. 배포 패키지와 운영 가이드 수령
2. 운영체제용 실행 파일 설치
3. 입력 경로와 출력 형식 설정
4. JSONL·CSV 생성 또는 RDBMS 직접 적재