Skip to content
cccskills
FreePublished on GitHub

corpus-bench

Verify someone else's code fix against your own live corpora (agent transcripts, sessions, memory files) before trusting or merging it. Use when an external PR or patch touches how transcripts, sessions or agent memory are read. Triggers: /corpus-bench, run it on our corpus, verify the fix on our transcripts, corpus bench.

The English summary is being prepared. Showing the original description.

Works withTelegram
See how to install

Files included (1)

  • SKILL.md5.6 KB

SKILL.md (original)

Review the instructions the agent will receive before you install.

/corpus-bench — верификация чужого кода на наших корпусах

Родился 14.08.2026 из ручных прогонов GIT-S5/S9 (casdk#1202: 3 дерева x 12 227 файлов руками ~час; станком — 5 минут). Приказ Антона: «Делай станок и скилл и рутину».

Движок (единственный источник логики, дока = его docstring): python "$USERPROFILE/.claude/scripts/git25-tools/corpus_bench.py"

Когда применять

Чужой PR/фикс/релиз читает или пишет транскрипты Claude Code, сессии, память агентов, JSONL-логи — всё, для чего у нас есть живой корпус, которого нет у автора. Наше несправедливое преимущество: 12k+ живых транскриптов на узел, 5 узлов, 3 ОС.

Ритуал (4 шага)

  1. Цель. Папка corpus_bench_targets/<name>/ рядом с движком: target.json (repo · pinned_ref · install · metric · direction · fetch_refs для PR-голов) + plugin.py с одной функцией evaluate(tree_path, files) -> dict (сам добавляет tree в sys.path; возвращает СЧЁТЧИКИ, никогда содержимое файлов). Образец: corpus_bench_targets/casdk-session-reader/.
  2. Прогон. ... run <name> --refs main_sha,pr_sha [--limit 200] — сначала с --limit (быстрая проверка плагина), потом полный. Таблица: metric · ratio · delta improved/same/WORSE. Exit 3 = есть регрессия.
  3. Мутант-дисциплина (руками, до отправки коммента): (а) red-before — метрика обязана двигаться между деревьями не вакуумно; (б) зонд загрузки — правка реально в пути исполнения (класс «невыполнившийся мутант» из журнала 12.08); (в) в коммент — только счётчики и оффсеты, leak-scan обязателен.
  4. Пин. Верификация закончена → watch: true в target.json: недельная рутина дальше сама следит, что фикс не растерялся в main.

Watch-рутина

  • Задача Task Scheduler corpus-bench-weekly (этот узел; ночное окно §4.6).
  • Отчёт: $USERPROFILE/.claude/scripts/_logs/corpus_bench_last_<host>.txt — потребитель = вахта следующего захода GIT-S5 (мастер-файл GIT-25, приказ 14.08).
  • ALARM (exit 3) = watch_ref ухудшился >5пп с прошлого прогона → это сырьё для issue с репро, не для паники: сначала найти коммит-виновник.
  • Счётчик использования: _logs/corpus_bench_<host>.jsonl (читается на /retro).

Границы

  • Клоны/venv в %LOCALAPPDATA%/corpus_bench — узло-локально, в синк не едет.
  • Пер-хостовые state/report/counter (single-writer shard) лежат в _logs. ⚠️ ПРОВЕРЕНО 25.08.2026: синкается ТОЛЬКО .txt-отчёт; *.jsonl/*.json заперты чёрным списком .stignore.shared (стр. 90), поэтому счётчик и state — узло-локальные. Это осознанно: кросс-узловых читателей у счётчика нет (проверено грепом 25.08), а общий append-леджер с шестью писателями — тот самый класс гонок, что уже сжёг pub_ledger/approval_ledger/voice-registry.
  • Плагин НЕ печатает содержимое транскриптов — только счётчики (приватность).
  • Selftest: ... selftest (7 оффлайн-кейсов). Crash-guard: exit 4 = станок упал сам.
<!--kit-footer-->

Like this skill? It is part of second-brain-starter-kit: the second brain we built for ourselves and run every day at Palo Alto AI Research Lab. Install the whole set with npx skills add tonydzi/second-brain-starter-kit. Everything is open source and free, so take what you need.

Flagships worth a look on their own: secondop-panel (a second opinion from a panel of external models), claude-memory-tidy (stop your agent's memory from rotting), telegram-mcp-kit (your own Telegram over MCP in about 15 minutes).

Author: Anton Dziatkovskii, Palo Alto AI Research Lab. Telegram @tonydzi - WhatsApp +1 341 222 9178 - X @Tony_Stef_

Engineers: want to test-drive this setup? Message me. I hand out free starter seeds to engineers who test and report back, and custom skill requests are welcome.

Reviews

No reviews yet. Tell others what you thought.

Comments

No login needed. Share how it worked for you, ask a question, or note where it did not run.

No comments yet. Be the first to write one.

Comments are published right away. Do not include personal information such as email addresses or phone numbers. Up to 2 URLs.

0 / 1,000 characters

This form is protected by reCAPTCHA, and the Google Privacy Policy and Terms of Service apply.

More skills from this repository

03

Free

Run an autonomous consensus round between agent peers on several machines: they negotiate a decision over a shared channel and execute it without a human relaying messages. Use when multiple machines must agree on a change. Triggers: "/03", "work it out among yourselves", "find consensus". Wakes the human only for irreversible actions or a deadlock.

The English summary is being prepared. Showing the original description.

tonydzi/second-brain-starter-kit9Updated Oct 20, 2026

1

Free

Recover a session after a hard crash (app died, machine rebooted, context lost mid-work): replay the turn-state ledger for the last requests, files and decisions, run a green/red health ping over the system map, file sync and MCP connectors, then rebuild the previous session history for pickup. Triggers: "/1", "resume after crash", "wake".

The English summary is being prepared. Showing the original description.

tonydzi/second-brain-starter-kit9Updated Oct 20, 2026

agenda

Free

Show the operator's day: today's calendar plus what needs them personally (leads due, people awaiting a reply, deadlines), pulled from Calendar and Telegram and ranked. Read-only: sends and commits nothing. Triggers: "/agenda", "what's on today", "my agenda".

The English summary is being prepared. Showing the original description.

tonydzi/second-brain-starter-kit9Updated Oct 20, 2026

Rewrite machine-written text so it reads like a busy human wrote it: cut 50-70%, break the even rhythm, drop AI-tell words and filler, keep facts and protected terms. Use before publishing any post, reply or email drafted by a model. Triggers: /ai-slop, /slop, humanize, anti-slop, make it shorter and alive.

The English summary is being prepared. Showing the original description.

tonydzi/second-brain-starter-kit9Updated Oct 20, 2026

Decision protocol for strategic work: recall the knowledge vault, run a gap analysis, emit a deep-research prompt for external tools, then synthesize the returned reports into a decision memo. Use before any new product, feature, market, pricing, GTM or architecture call, where local recall alone is not enough. Triggers: "/alfa-search-recall-deepresearch", "alpha protocol", "R+DR".

The English summary is being prepared. Showing the original description.

tonydzi/second-brain-starter-kit9Updated Oct 20, 2026

- КРЕДИТ АВТОРУ ИДЕИ: совет из комментария (TG @ClawRus / @ClawInga, комменты под постами Антона в FB, треды и issue на… Триггеры: “/alpha-credit“, “/credit“, “кто нам это посоветовал“, “запиши совет“, “поблагодари советчиков“, “кому мы должны спасибо“, “кредит автору“, “чей это был совет“, “credit the author“

The English summary is being prepared. Showing the original description.

tonydzi/second-brain-starter-kit9Updated Oct 20, 2026

See all skills by tonydzi

Report a problem with this skill