18건 · 관련도순
Evaluate LLM applications using automated scores, human reviews, and model-based judging. Build repeatable checks to compare models or prompts, assess answer quality, and detect declines in performance before deployment.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Evaluate LLM application quality using automated scores, human reviews, and another language model as a judge. Compare models or prompts, establish baseline results, and detect quality drops through repeatable tests and statistical comparisons.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Implement comprehensive evaluation strategies for LLM applications using automated metrics, human feedback, and benchmarking. Use when testing LLM performance, measuring AI application quality, or establishing evaluation frameworks.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Prompt engineering and LLM evaluation. Use when optimizing prompts, designing prompt templates, evaluating LLM outputs, building agentic systems, implementing RAG, creating few- shot examples, or designing structured-output workflows.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Implement comprehensive evaluation strategies for LLM applications using automated metrics, human feedback, and benchmarking. Use when testing LLM performance, measuring AI application quality, or establishing evaluation frameworks.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Design eval harnesses — task schemas, metrics, dataset versioning, eval-as-code patterns. Use when asked to "build an eval harness", "set up eval-as-code", or "version our eval datasets".
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Design an LLM eval — task schema, scoring rubric, dataset composition, and pass/fail thresholds. Use when asked to "design an LLM eval", "write a scoring rubric", or "how do we measure this model".
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Audit existing eval coverage — gaps, metric validity, benchmark leakage, dataset freshness. Use when asked "what eval coverage do we have", "audit our evals", or "check for benchmark leakage".
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Analyze LLM eval results — score breakdowns by category, regression detection vs baseline, failure clustering. Use when asked to "analyze our eval results", "did the model regress", or "cluster the eval failures".
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Build automated regression suites — golden sets, threshold alerting, CI integration for model changes. Use when asked to "catch model regressions in CI", "build a golden set", or "automate eval regression".
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Independent LLM judge evaluates task completion separately from the executing agent, catching false success claims by reviewing task goal, actions taken, final state, and evidence. Produces PASS/FAIL with confidence score and reasoning.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Holistic evaluation framework for language models measuring accuracy, calibration, robustness, and fairness
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Domine estratégias abrangentes de avaliação para aplicações LLM, desde métricas automatizadas até avaliação humana e testes A/B.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Master comprehensive evaluation strategies for LLM applications, from automated metrics to human evaluation and A/B testing.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
自動メトリクス、人間によるフィードバック、およびベンチマークを使用して、LLMアプリケーションの包括的な評価戦略を実装します。LLMのパフォーマンスをテストし、AIアプリケーションの品質を測定し、または評価フレームワークを確立する場合に使用します。
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Implement comprehensive evaluation strategies for LLM applications using automated metrics, human feedback, and benchmarking. Use when testing LLM performance, measuring AI application quality, or establishing evaluation frameworks.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Investigate AI observability evaluations of both types — `hog` (deterministic code-based) and `llm_judge` (LLM-prompt-based). Find existing evaluations, inspect their configuration, run them against specific generations, query individual pass/fail results, and generate AI-powered summaries of patterns across many runs. Use when the user asks to debug why an evaluation is failing, surface common failure modes, compare results across filters, dry-run a Hog evaluator, prototype a new LLM-judge prompt, or manage the evaluation lifecycle (create, update, enable/disable, delete).
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Rigorous benchmarking of multi-agent coordination systems: experiment design, statistical analysis, human evaluation protocols, and reproducible reporting. NOT FOR ML model evaluation (use llm-evaluation-harness), A/B testing for web products, survey design, or general data science.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.