「eval」の検索結果

Plan, evaluate, and adopt agent infrastructure for a named workload. Use for agent runtime/framework selection, agent evaluation or observability plans, memory and tool boundaries, infrastructure cost controls, and organizational adoption. Covers workload-first comparison, risk and recovery planning, held-out evaluation, cost accounting, and staged rollout. Not a vendor ranking or a production certification. NOT for implementing a specific agent behavior (agentic-patterns), building a specific agent (ai-engineer), prompt optimization (prompt-engineer), or conventional ETL workflow design (jury_rig-architect).

日本語の概要は準備中です。原文の説明を表示しています。

予測市場の価格が示す確率を出典と時刻付きで調べ、取引量や結果の判定ルール、他の情報源との比較から、製品や業務の判断材料として使えるか評価するスキル。

• 製品で予測市場データを使いたいとき
• 市場の確率と社内指標の比較
• エージェントの記憶や通知への利用検討

サブエージェントの作業に必要なコードや背景情報を、検索と評価を繰り返して絞り込むスキル。見つかった用語や不足情報を次の検索に反映し、関連するファイルを集めます。

• 修正担当に必要なファイルを探したいとき
• 機能追加前に既存実装を集めたいとき
• プロジェクトの用語に合わせた検索

繰り返すエージェント作業に専用の実行手順を設計し、合否チェックや進捗記録、引き継ぎを整えるスキル。複数の場面で使う手順を共有スキルにまとめます。

• 反復作業の実行手順を設計したいとき
• 作業の合否チェックを追加したいとき
• 繰り返す手順を共有スキルにしたいとき

AIによる開発の成功条件を実装前に定義し、コード・ルール・モデル・人の評価で新機能と既存機能を確認しながら、複数回の試行から信頼性を記録するスキル。

• AI実装前に成功条件を決めたいとき
• プロンプトやエージェント変更後の回帰確認
• 複数回の試行で信頼性を測りたいとき

AIエージェントに任せる開発を、完了条件の定義、作業分割、実装前後の評価で進め、難易度に応じたモデル選択と費用・時間の記録まで整理するスキル。

• AIエージェントに任せる開発の計画
• 大きな変更を検証可能な作業に分けたいとき
• 実装前後の評価を比較したいとき

質問応答や文書検索を組み合わせたAI処理をDSPyで構築するスキル。入力と出力を定義して部品を組み合わせ、学習例と評価指標を使ってプロンプトを自動調整します。

• 文書検索付きの質問応答を作りたいとき
• 学習例でプロンプトを調整したいとき
• 文章から構造化データを抽出したいとき

Create and run evaluation suites, watch live benchmark progress, view scorecards, compare model performance, and integrate eval runs with CI workflows from the CLI.

日本語の概要は準備中です。原文の説明を表示しています。

Benchmark CodeGraph retrieval quality on a real codebase by comparing agent behavior with vs without CodeGraph. Use when the user runs /agent-eval or asks to test, benchmark, audit, or validate a codegraph version (the local dev build or a published npm version) against a language's repo.

日本語の概要は準備中です。原文の説明を表示しています。

6 production-ready AI engineering workflows: prompt evaluation (8-dimension scoring), context budget planning, RAG pipeline design, agent security audit (65-point checklist), eval harness building, and product sense coaching.

日本語の概要は準備中です。原文の説明を表示しています。

Autonomous AI agent benchmark evaluation register: task completion rates, planning accuracy, tool invocation precision, and cost benchmarks.

日本語の概要は準備中です。原文の説明を表示しています。

Use when summarizing agent evaluations where autonomous, assisted, failed, timed-out, or invalid outcomes must remain distinct and comparable.

日本語の概要は準備中です。原文の説明を表示しています。

Build the evaluation harness that gates every fine-tuning run — golden sets, per-failure-mode graders, judge calibration, and base-model baselines. Use when starting a fine-tuning effort, when converting traces into an eval set, or when calibrating a judge against human labels.

日本語の概要は準備中です。原文の説明を表示しています。

Implement comprehensive evaluation strategies for LLM applications using automated metrics, human feedback, and benchmarking. Use when testing LLM performance, measuring AI application quality, or establishing evaluation frameworks.

日本語の概要は準備中です。原文の説明を表示しています。

Creates, runs, and analyzes Arize experiments for evaluating and comparing model performance. Covers experiment CRUD, exporting runs, comparing results, and evaluation workflows using the ax CLI. Use when the user mentions create experiment, run experiment, compare models, model performance, evaluate AI, experiment results, benchmark, A/B test models, or measure accuracy.

日本語の概要は準備中です。原文の説明を表示しています。

Technical leadership guidance for engineering teams, architecture decisions, and technology strategy. Includes tech debt analyzer, team scaling calculator, engineering metrics frameworks, technology evaluation tools, and ADR templates. Use when assessing technical debt, scaling engineering teams, evaluating technologies, making architecture decisions, establishing engineering metrics, or when user mentions CTO, tech debt, technical debt, team scaling, architecture decisions, technology evaluation, engineering metrics, DORA metrics, or technology strategy.

日本語の概要は準備中です。原文の説明を表示しています。

Retrieval-Augmented Generation patterns including chunking, embeddings, vector stores, and retrieval optimization Use when: rag, retrieval augmented, vector search, embeddings, semantic search.

日本語の概要は準備中です。原文の説明を表示しています。

Expert in building Retrieval-Augmented Generation systems. Masters embedding models, vector databases, chunking strategies, and retrieval optimization for LLM applications. Use when: building RAG, vector search, embeddings, semantic search, document retrieval.

日本語の概要は準備中です。原文の説明を表示しています。

Open-source AI observability platform for LLM tracing, evaluation, and monitoring. Use when debugging LLM applications with detailed traces, running evaluations on datasets, or monitoring production AI systems with real-time insights.

日本語の概要は準備中です。原文の説明を表示しています。

LLM observability platform for tracing, evaluation, and monitoring. Use when debugging LLM applications, evaluating model outputs against datasets, monitoring production systems, or building systematic testing pipelines for AI applications.

日本語の概要は準備中です。原文の説明を表示しています。

Master comprehensive evaluation strategies for LLM applications, from automated metrics to human evaluation and A/B testing.

日本語の概要は準備中です。原文の説明を表示しています。

Author an eval for an existing skill from its REAL usage history, not its spec. Mine invocations from the brain's conversation archive (conversations/) and per-harness session transcripts — a user correction after an invocation is the gold signal — then synthesize an eval_contract plus 4-8 replayable cases with honesty labels (SPEC-DERIVED vs HISTORY-IMPLIED) and stage the result at skills/<name>/eval/autobench-<date>.md as PENDING-HUMAN-APPROVAL. Never rewrites SKILL.md. Ships two guard companions: panel integrity (multi-model judging must prove each provider actually responded) and the fail-improve taxonomy (logged LLM-fallback cases convert to deterministic code over time).

日本語の概要は準備中です。原文の説明を表示しています。

Technology stack evaluation and comparison with TCO analysis, security assessment, and ecosystem health scoring. Use when comparing frameworks, evaluating technology stacks, calculating total cost of ownership, assessing migration paths, or analyzing ecosystem viability.

日本語の概要は準備中です。原文の説明を表示しています。

Phase 3 of building a Claude Managed Agent — the bounded grade→iterate loop. Define a CMA outcome (a required markdown rubric graded by an isolated grader), read each verdict, decide the next move (sharpen / re-run / promote to schedule), and once a version passes, run held-back eval cases in parallel. Use when the user says "grade my agent", "make it pass the rubric", "iterate until it's good", "is it good enough", or when the orchestrator routes phase=grade-iterate. outcome_builder.py builds the user.define_outcome payload (rubric required, max_iterations clamped 1..20 — never unbounded); verdict_reader.py reads the grader result and recommends the next move; eval_scaffold.py generates held-back cases + a parallel run plan (capped at the 25-thread CMA ceiling). Distinct from stage-launch (first launch) and run-without-you (scheduling).

日本語の概要は準備中です。原文の説明を表示しています。