「benchmark evaluation」の検索結果

VLM evaluation suite for video anomaly detection in smart home camera footage

日本語の概要は準備中です。原文の説明を表示しています。

Evaluation harness for testing agent and skill quality through structured benchmarks, regression tests, and quality scoring.

日本語の概要は準備中です。原文の説明を表示しています。

Cross-platform ecommerce competitor analysis and strategic intelligence. Multi-channel presence evaluation, strategy assessment, positioning analysis, and competitive benchmarking. Use when the user asks about competitor analysis, competitive research, market analysis, or competitive intelligence across platforms.

日本語の概要は準備中です。原文の説明を表示しています。

Analyze contractor bids against CWICR benchmarks. Identify pricing anomalies, compare bid components, and support bid evaluation decisions.

日本語の概要は準備中です。原文の説明を表示しています。

Multi-dimensional rep evaluation: activity, conversion, velocity, deal size. Peer benchmarking and coaching priority identification.

日本語の概要は準備中です。原文の説明を表示しています。

Operate ECCV2022-RIFE video frame interpolation, benchmark evaluation, and training workflows from a source checkout.

日本語の概要は準備中です。原文の説明を表示しています。

Route DiffDock docking, web UI, training/data preparation, and benchmark evaluation tasks to focused repo-specific guidance.

日本語の概要は準備中です。原文の説明を表示しています。

Routes DINO DETR object-detection setup, COCO data validation, CUDA deformable-attention preparation, training, evaluation, inference, visualization, and bounded benchmarking tasks.

日本語の概要は準備中です。原文の説明を表示しています。

Operate Tongyi DeepResearch and its WebAgent family: ReAct inference setup, rollout validation, benchmark evaluation, and variant routing.

日本語の概要は準備中です。原文の説明を表示しています。

Route BEIR repository tasks for benchmark data loading, retrieval evaluation, reranking, generation, and training workflows.

日本語の概要は準備中です。原文の説明を表示しています。

Use anomalib for anomaly-detection install, data/model selection, training and evaluation, deployment and inference, and benchmark pipelines.

日本語の概要は準備中です。原文の説明を表示しています。

Design, audit, or repair mathematical benchmark verifiers, submission contracts, and scoring.

日本語の概要は準備中です。原文の説明を表示しています。

Author, package, validate, or run mathematical evaluations as Jacobian Harbor datasets.

日本語の概要は準備中です。原文の説明を表示しています。

Think and work like an expert Information Retrieval Scientist. Use when a task calls for Information Retrieval Scientist judgment. Reasons from the Probability Ranking Principle, Saracevic's relevance layers, and Cranfield pooling through tuned BM25, SPLADE/ColBERT/dense and LLM reranking, trec_eval/ir_measures with paired topic-level tests, interleaving, and nugget-based RAG evaluation while treating unjudged-as-nonrelevant pools, position-biased clicks, LLM-judge circularity, single-vector embedding limits, and benchmark contamination as first-class failure modes.

日本語の概要は準備中です。原文の説明を表示しています。

Expert guidance for DeepEval, the open-source framework for unit testing LLM applications. Helps developers write test cases, define custom metrics, and integrate LLM quality checks into CI/CD pipelines using a pytest-like interface.

日本語の概要は準備中です。原文の説明を表示しています。

Run AI agent and LLM evaluations in CI/CD pipelines — automated quality gates that fail the build when AI output quality drops. Use when someone asks to "test my AI agent", "add evals to CI", "catch prompt regressions", "compare models", "evaluate LLM output quality", "set up AI quality gates", or "benchmark my agent before deploying". Covers eval frameworks (Cobalt, Promptfoo, Braintrust), LLM-as-judge scoring, threshold-based assertions, and GitHub Actions integration.

日本語の概要は準備中です。原文の説明を表示しています。

Expert guide for Prompt Engineering, Chain-of-Thought, few-shot prompting, structured output, prompt injection defense, and automated AI evaluations & regression benchmarking (Promptfoo, DeepEval) / Panduan ahli rekayasa prompt dan evaluasi otomatis AI.

日本語の概要は準備中です。原文の説明を表示しています。

Run concurrent scripted conversations against a target agent to measure whether it stays on task, responds correctly, and holds up in repeatable test cases.

日本語の概要は準備中です。原文の説明を表示しています。

Run a repeatable evaluation suite for browser agents against static web task snapshots instead of judging them from demos or one-off tests.

日本語の概要は準備中です。原文の説明を表示しています。

Use when agent strategies need a reproducible finite tournament under a frozen evaluation protocol. Not for open-ended or infinite matchups: use a continuous benchmark.

日本語の概要は準備中です。原文の説明を表示しています。

Design AI evaluation frameworks with benchmarks. TRIGGERS - Use when user needs help with ai-eval-framework related tasks.

日本語の概要は準備中です。原文の説明を表示しています。

Use when validating, benchmarking, or monitoring LLM application performance. Keywords: RAG evaluation, LLM-as-a-judge, CI/CD gating, trajectory scoring, test suites, prompt quality.

日本語の概要は準備中です。原文の説明を表示しています。

Evaluate AI agents rigorously — task benchmarks, success criteria, failure taxonomy, cost/latency tracking, and regression testing. Use when you need to know whether an agent actually works, not whether it demos well.

日本語の概要は準備中です。原文の説明を表示しています。

Scope, preregister, execute, audit, normalize, and publish GEODE evaluations with research-question, reproduction, attempt-lineage, trajectory, verifier-receipt, and immutable artifact contracts. Use for benchmark runs or comparisons, eval-artifact and cache-accounting audits, GPT or subscription result normalization, research question or hypothesis framing, retry diagnosis, trajectory publication, DPO or reward-data readiness reviews, and requests involving MCPMark, tau2, BFCL, Agent-World, HAL, Terminal-Bench, or Toolathlon.

日本語の概要は準備中です。原文の説明を表示しています。