본문으로 건너뛰기
cccskills
무료GitHub에 공개

document-chunker

Split documents into overlapping token chunks for RAG pipelines and LLM context windows. Zero dependencies.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

설치 방법 보기

포함된 파일(14)

  • SKILL.md2.1 KB
  • banner.png149.7 KB
  • document_chunker.py5.3 KB
  • en/SKILL.md2.0 KB
  • es/SKILL.md2.1 KB
  • ja/SKILL.md2.3 KB
  • ru/SKILL.md2.6 KB
  • SKILL.en.md2.0 KB
  • SKILL.es.md2.2 KB
  • SKILL.fr.md2.2 KB
  • SKILL.ja.md2.4 KB
  • SKILL.ru.md2.7 KB
  • SKILL.zh.md2.1 KB
  • zh/SKILL.md2.0 KB

SKILL.md(원문)

설치하기 전에 에이전트에게 전달되는 지시 내용을 확인할 수 있습니다.

<img src="banner.png" width="100%" alt="document-chunker banner">

Deutsch — Offizielle Deutsch-Version / Documento Oficial en Deutsch.

Document Chunker (Deutsch)

Splits documents into overlapping token chunks. Optimized for RAG pipelines and LLM context windows. Zero dependencies — Python stdlib + re only.

Usage

As Library

from document_chunker import DocumentChunker

chunker = DocumentChunker(chunk_size=400, overlap=80)
chunks = chunker.chunk_text("Long text...")

for chunk in chunks:
    print(f"Chunk {chunk['chunk_id']}: {chunk['tokens']} tokens")

Chunking a File

chunks = chunker.chunk_document("document.md", source="My Project")

Chunking an Entire Directory

from document_chunker import chunk_corpus

chunks = chunk_corpus(["doc1.md", "doc2.txt"], source="Corpus")

CLI

python document_chunker.py document.md    # Single file
python document_chunker.py ./docs/        # Entire directory

Parameters

ParameterDefaultDescription
chunk_size400Max tokens per chunk
overlap80Overlapping tokens between chunks

Supported File Types

.txt, .md, .py, .sh

Änderungsprotokoll

1.0.0 (2026-03-12)

  • Ported from BACH system/tools/document_chunker.py

리뷰

아직 리뷰가 없습니다. 사용해 본 소감을 남겨 주세요.

댓글

로그인 없이 쓸 수 있습니다. 사용 후기, 질문, 작동하지 않은 환경 등을 편하게 남겨 주세요.

아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.

보내면 바로 공개됩니다. 이메일 주소나 전화번호 같은 개인 정보는 쓰지 마세요. URL은 2개까지입니다.

0 / 1,000자

이 양식은 reCAPTCHA로 보호되며 Google 개인정보처리방침 및 서비스 약관이 적용됩니다.

같은 저장소의 스킬

Akademisches Studien- und Fristenmanagement mit Quellenprüfung, Datenschutz und realistischer Handlungsplanung.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

ellmos-ai/skills82026년 10월 19일 업데이트

Aktives Lernen, Erarbeitung von Fachinhalten und strukturierte Erstellung von Synthesen.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

ellmos-ai/skills82026년 10월 19일 업데이트

Prüfungsvorbereitung, Selbsttests, Probeklausuren und systematische Fehleranalyse.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

ellmos-ai/skills82026년 10월 19일 업데이트

スティーブン・ヘイズによるアクセプタンス&コミットメント・セラピー(ACT):心理的柔軟性の6つのコアプロセスを備えたヘキサフレックス・モデル。

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

ellmos-ai/skills82026년 10월 19일 업데이트

Acceptance & Commitment Therapy (ACT) nach Steven Hayes: Hexaflex-Modell mit den sechs Kernprozessen psychischer Flexibilität.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

ellmos-ai/skills82026년 10월 19일 업데이트

Terapia de Aceptación y Compromiso (ACT) según Steven Hayes: modelo Hexaflex con los seis procesos nucleares de la flexibilidad psicológica.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

ellmos-ai/skills82026년 10월 19일 업데이트

ellmos-ai의 스킬 모두 보기

이 스킬의 문제 신고