Design automated evaluation pipelines for LLM and agent systems — combining deterministic checks, statistical metrics, and LLM-as-judge scoring into repeatable, CI-integrated eval suites. Load when the user asks to set up automated evals, design an eval pipeline, integrate evals into CI/CD, create an eval suite, do eval-driven development, or says "automate my evals", "CI eval integration", "evaluation pipeline", "continuous evaluation", "monitoring eval quality", "set up regression testing for my agent". Sub-skill of eval-output orchestrator.
日本語の概要は準備中です。原文の説明を表示しています。
dvy1987/agent-loom☆ 32026年8月8日 更新
Build comparable company analysis in Excel — operating metrics, valuation multiples, statistical benchmarking vs peer sets. Pairs with excel-author. Use for public-company valuation, IPO pricing, sector benchmarking, or outlier detection.
日本語の概要は準備中です。原文の説明を表示しています。
Lord1Egypt/awesome-skill-forge☆ 22026年6月10日 更新
Builds repeatable evaluation systems with golden datasets, scoring rubrics, pass/fail thresholds, and regression reports. Use for "LLM evaluation", "testing AI systems", "quality assurance", or "model benchmarking".
日本語の概要は準備中です。原文の説明を表示しています。
sathishssj3/Stereix-Engine☆ 22026年10月4日 更新
Plan, evaluate, and adopt agent infrastructure for a named workload. Use for agent runtime/framework selection, agent evaluation or observability plans, memory and tool boundaries, infrastructure cost controls, and organizational adoption. Covers workload-first comparison, risk and recovery planning, held-out evaluation, cost accounting, and staged rollout. Not a vendor ranking or a production certification. NOT for implementing a specific agent behavior (agentic-patterns), building a specific agent (ai-engineer), prompt optimization (prompt-engineer), or conventional ETL workflow design (jury_rig-architect).
日本語の概要は準備中です。原文の説明を表示しています。
curiositech/port-daddy☆ 22026年10月12日 更新
論文や研究計画を共通の評価基準で読み、研究方法、根拠、引用、文章構成を点検するスキル。評価の理由と修正の優先順位、次に直す内容を整理します。
- 投稿前の論文を見直したいとき
- 引用が主張を支えるか確認したいとき
- 研究方法と限界を評価したいとき
affaan-m/ECC☆ 27.8万2026年10月12日 更新
機械学習のない既存アプリに、推薦・分類・予測などを追加するための手順を整理します。課題とデータの確認から、最初のモデルの学習・評価・組み込みまでを支援します。
- 既存アプリに推薦機能を加えたいとき
- 学習データの準備状況を確認したいとき
- 代替ルール付きで予測を組み込みたいとき
affaan-m/ECC☆ 27.8万2026年10月12日 更新
アプリ開発を計画・実装・評価のエージェントに分け、動作中の画面を検証しながら、設定した品質基準に向けて修正を繰り返す開発支援スキル。
- 短い案からアプリ仕様を作りたいとき
- 別担当の評価で画面を改善したいとき
- フルスタックアプリの動作検証と修正
affaan-m/ECC☆ 27.8万2026年10月12日 更新
AIエージェントが継続して作業するループを、品質確認と評価、失敗時の停止・再実行の方針を組み合わせて設計し、進捗停滞や再試行に対処するスキル。
- 継続作業のループ方式を選びたいとき
- 品質確認と評価を組み合わせたいとき
- 失敗や進捗停滞からの復旧
affaan-m/ECC☆ 27.8万2026年10月12日 更新
AIエージェントに任せる開発を、完了条件の定義、作業分割、実装前後の評価で進め、難易度に応じたモデル選択と費用・時間の記録まで整理するスキル。
- AIエージェントに任せる開発の計画
- 大きな変更を検証可能な作業に分けたいとき
- 実装前後の評価を比較したいとき
affaan-m/ECC☆ 27.8万2026年10月12日 更新
大規模言語モデルの知識・推論・コード生成を共通の課題で評価するスキル。複数モデルの比較表や学習途中の成績推移を作り、評価結果と個別の回答を保存します。
- MMLU・GSM8Kでのモデル評価
- 複数モデルの比較表作成
- 学習途中のモデルの成績追跡
NousResearch/hermes-agent☆ 25.3万2026年10月13日 更新
Discounted cash flow valuation and intrinsic value analysis for public companies. Use when the brief asks for DCF, fair value, intrinsic value, price target, undervalued or overvalued analysis, or "what is this company worth?"
日本語の概要は準備中です。原文の説明を表示しています。
nexu-io/open-design☆ 10.1万2026年10月13日 更新
Command-line interface for CloudAnalyzer — Agent-friendly harness for CloudAnalyzer, a QA platform for mapping, localization, and perception outputs. Supports 27 commands across 8 groups: point cloud evaluation, trajectory evaluation, ground segmentation QA, config-driven quality gates, baseline evolution, processing, visualization, and interactive REPL.
日本語の概要は準備中です。原文の説明を表示しています。
HKUDS/CLI-Anything☆ 5.2万2026年9月22日 更新
Prompt engineering regression test matrix register: baseline outputs, semantic drift thresholds, judge evaluations, and golden dataset.
日本語の概要は準備中です。原文の説明を表示しています。
sickn33/agentic-awesome-skills☆ 4.8万2026年10月13日 更新
6 production-ready AI engineering workflows: prompt evaluation (8-dimension scoring), context budget planning, RAG pipeline design, agent security audit (65-point checklist), eval harness building, and product sense coaching.
日本語の概要は準備中です。原文の説明を表示しています。
sickn33/agentic-awesome-skills☆ 4.8万2026年10月13日 更新
Handles LLM-as-judge evaluation workflows on Arize including creating/updating evaluators, running evaluations on spans or experiments, managing tasks, trigger-run operations, column mapping, and continuous monitoring. Use when the user mentions create evaluator, LLM judge, hallucination, faithfulness, correctness, relevance, run eval, score spans, score experiment, trigger-run, column mapping, continuous monitoring, or improve evaluator prompt.
日本語の概要は準備中です。原文の説明を表示しています。
github/awesome-copilot☆ 4万2026年10月12日 更新
Write a publication-grade 8-part deep-dive series on a single company (~120k words total): cognitive reset / moat / profit engine / hidden assets / era variable (e.g. AI) / financials Buffett-style / management / valuation+redlines. The core IP is NOT writing but REVISING — a strict fact-check checklist catches pseudo-precision (probability-weighted expectations, third-party MAU discrepancies, linear extrapolation), absolute language, and cross-article number inconsistencies that most finance long-forms violate. Each piece stands alone but shares one valuation/management/price framework. Use when the user wants textbook-level depth on one company for public publishing (a single research report or earnings note is NOT this — use investment-research / earnings-review instead).
日本語の概要は準備中です。原文の説明を表示しています。
HKUDS/Vibe-Trading☆ 3.5万2026年10月12日 更新
Technical leadership guidance for engineering teams, architecture decisions, and technology strategy. Includes tech debt analyzer, team scaling calculator, engineering metrics frameworks, technology evaluation tools, and ADR templates. Use when assessing technical debt, scaling engineering teams, evaluating technologies, making architecture decisions, establishing engineering metrics, or when user mentions CTO, tech debt, technical debt, team scaling, architecture decisions, technology evaluation, engineering metrics, DORA metrics, or technology strategy.
日本語の概要は準備中です。原文の説明を表示しています。
davila7/claude-code-templates☆ 3.3万2026年10月12日 更新
Expert in Langfuse - the open-source LLM observability platform. Covers tracing, prompt management, evaluation, datasets, and integration with LangChain, LlamaIndex, and OpenAI. Essential for debugging, monitoring, and improving LLM applications in production. Use when: langfuse, llm observability, llm tracing, prompt management, llm evaluation.
日本語の概要は準備中です。原文の説明を表示しています。
davila7/claude-code-templates☆ 3.3万2026年10月12日 更新
LLM observability platform for tracing, evaluation, and monitoring. Use when debugging LLM applications, evaluating model outputs against datasets, monitoring production systems, or building systematic testing pipelines for AI applications.
日本語の概要は準備中です。原文の説明を表示しています。
davila7/claude-code-templates☆ 3.3万2026年10月12日 更新
Evaluates LLMs across 100+ benchmarks from 18+ harnesses (MMLU, HumanEval, GSM8K, safety, VLM) with multi-backend execution. Use when needing scalable evaluation on local Docker, Slurm HPC, or cloud platforms. NVIDIA's enterprise-grade platform with container-first architecture for reproducible benchmarking.
日本語の概要は準備中です。原文の説明を表示しています。
davila7/claude-code-templates☆ 3.3万2026年10月12日 更新
Evaluates LLMs across 60+ academic benchmarks (MMLU, HumanEval, GSM8K, TruthfulQA, HellaSwag). Use when benchmarking model quality, comparing models, reporting academic results, or tracking training progress. Industry standard used by EleutherAI, HuggingFace, and major labs. Supports HuggingFace, vLLM, APIs.
日本語の概要は準備中です。原文の説明を表示しています。
davila7/claude-code-templates☆ 3.3万2026年10月12日 更新
Testing and benchmarking LLM agents including behavioral testing, capability assessment, reliability metrics, and production monitoring—where even top agents achieve less than 50% on real-world benchmarks Use when: agent testing, agent evaluation, benchmark agents, agent reliability, test agent.
日本語の概要は準備中です。原文の説明を表示しています。
davila7/claude-code-templates☆ 3.3万2026年10月12日 更新
EU MDR 2017/745 compliance specialist for medical device classification, technical documentation, clinical evidence, and post-market surveillance. Covers Annex VIII classification rules, Annex II/III technical files, Annex XIV clinical evaluation, Art. 86 PSUR schedules, and EUDAMED integration. Use when classifying a medical device under MDR, building or gap-checking a technical file, planning clinical evaluation or PMS/PSUR cadence, or preparing for notified body review (e.g., 'what class is my device under MDR', 'review my PSUR schedule').
日本語の概要は準備中です。原文の説明を表示しています。
alirezarezvani/claude-skills☆ 2.8万2026年8月30日 更新
Router/index for the 2 finance skills bundled in this plugin: financial-analyst (ratio analysis, DCF valuation, budget variance, rolling forecasts) and saas-metrics-coach (ARR/MRR, churn, CAC/LTV, NRR, quick ratio). Use when a finance request doesn't obviously match one skill and you need to pick the right one (e.g., 'analyze these financials', 'how healthy are my SaaS metrics').
日本語の概要は準備中です。原文の説明を表示しています。
alirezarezvani/claude-skills☆ 2.8万2026年8月30日 更新