「llm-eval」の検索結果

Implement comprehensive evaluation strategies for LLM applications using automated metrics, human feedback, and benchmarking. Use when testing LLM performance, measuring AI application quality, or establishing evaluation frameworks.

日本語の概要は準備中です。原文の説明を表示しています。

Master comprehensive evaluation strategies for LLM applications, from automated metrics to human evaluation and A/B testing.

日本語の概要は準備中です。原文の説明を表示しています。

Implement comprehensive evaluation strategies for LLM applications using automated metrics, human feedback, and benchmarking. Use when testing LLM performance, measuring AI application quality, or establishing evaluation frameworks.

日本語の概要は準備中です。原文の説明を表示しています。

Tests/benchmarks a third-party LLM endpoint (OpenAI- or Anthropic-compatible): availability, fidelity, speed, concurrency, protocol compliance, quality regression. Use before hand-rolling a curl loop, when onboarding a provider, or debugging "system prompt 不生效" / a tok/s claim — 测评/压测一个模型或渠道. Not for TTS/voice-clone supplier eval (use the audio skill).

日本語の概要は準備中です。原文の説明を表示しています。

Prompt engineering and LLM evaluation. Use when optimizing prompts, designing prompt templates, evaluating LLM outputs, building agentic systems, implementing RAG, creating few- shot examples, or designing structured-output workflows.

日本語の概要は準備中です。原文の説明を表示しています。

Implement comprehensive evaluation strategies for LLM applications using automated metrics, human feedback, and benchmarking. Use when testing LLM performance, measuring AI application quality, or establishing evaluation frameworks.

日本語の概要は準備中です。原文の説明を表示しています。

Use when designing or auditing how an LLM or multimodal LLM is evaluated on a clinical task (report generation, VQA, text extraction). Covers reference standard, clinical-efficacy metrics beyond BLEU/ROUGE, hallucination, contamination and prompt sensitivity. Imaging models are /model-assessment.

日本語の概要は準備中です。原文の説明を表示しています。

Audit existing eval coverage — gaps, metric validity, benchmark leakage, dataset freshness. Use when asked "what eval coverage do we have", "audit our evals", or "check for benchmark leakage".

日本語の概要は準備中です。原文の説明を表示しています。

Design an LLM eval — task schema, scoring rubric, dataset composition, and pass/fail thresholds. Use when asked to "design an LLM eval", "write a scoring rubric", or "how do we measure this model".

日本語の概要は準備中です。原文の説明を表示しています。

Analyze LLM eval results — score breakdowns by category, regression detection vs baseline, failure clustering. Use when asked to "analyze our eval results", "did the model regress", or "cluster the eval failures".

日本語の概要は準備中です。原文の説明を表示しています。

Design eval harnesses — task schemas, metrics, dataset versioning, eval-as-code patterns. Use when asked to "build an eval harness", "set up eval-as-code", or "version our eval datasets".

日本語の概要は準備中です。原文の説明を表示しています。

Build automated regression suites — golden sets, threshold alerting, CI integration for model changes. Use when asked to "catch model regressions in CI", "build a golden set", or "automate eval regression".

日本語の概要は準備中です。原文の説明を表示しています。

Independent LLM judge evaluates task completion separately from the executing agent, catching false success claims by reviewing task goal, actions taken, final state, and evidence. Produces PASS/FAIL with confidence score and reasoning.

日本語の概要は準備中です。原文の説明を表示しています。

Use when validating, benchmarking, or monitoring LLM application performance. Keywords: RAG evaluation, LLM-as-a-judge, CI/CD gating, trajectory scoring, test suites, prompt quality.

日本語の概要は準備中です。原文の説明を表示しています。

Holistic evaluation framework for language models measuring accuracy, calibration, robustness, and fairness

日本語の概要は準備中です。原文の説明を表示しています。

Domine estratégias abrangentes de avaliação para aplicações LLM, desde métricas automatizadas até avaliação humana e testes A/B.

日本語の概要は準備中です。原文の説明を表示しています。

自動メトリクス、人間によるフィードバック、およびベンチマークを使用して、LLMアプリケーションの包括的な評価戦略を実装します。LLMのパフォーマンスをテストし、AIアプリケーションの品質を測定し、または評価フレームワークを確立する場合に使用します。

Implement comprehensive evaluation strategies for LLM applications using automated metrics, human feedback, and benchmarking. Use when testing LLM performance, measuring AI application quality, or establishing evaluation frameworks.

日本語の概要は準備中です。原文の説明を表示しています。

Expert en évaluation d'agents IA (benchmarking, human eval, latence, coût, précision, safety testing)

日本語の概要は準備中です。原文の説明を表示しています。

Master comprehensive evaluation strategies for LLM applications, from automated metrics to human evaluation and A/B testing.

日本語の概要は準備中です。原文の説明を表示しています。

Investigate AI observability evaluations of both types — `hog` (deterministic code-based) and `llm_judge` (LLM-prompt-based). Find existing evaluations, inspect their configuration, run them against specific generations, query individual pass/fail results, and generate AI-powered summaries of patterns across many runs. Use when the user asks to debug why an evaluation is failing, surface common failure modes, compare results across filters, dry-run a Hog evaluator, prototype a new LLM-judge prompt, or manage the evaluation lifecycle (create, update, enable/disable, delete).

日本語の概要は準備中です。原文の説明を表示しています。

Rigorous benchmarking of multi-agent coordination systems: experiment design, statistical analysis, human evaluation protocols, and reproducible reporting. NOT FOR ML model evaluation (use llm-evaluation-harness), A/B testing for web products, survey design, or general data science.

日本語の概要は準備中です。原文の説明を表示しています。