'bench' 검색 결과

Compare standardized metrics across multiple ego-benchmark-harness runs by recalculating them from tasks.jsonl and session JSONL, never from HTML reports. Covers overall aggregates (success rate/average score), Odysseys per-rubric pass rates, duration distributions (avg/p50/p90/max), turns/tools/cost, error and exception counts, per-task success matrices, helper distributions, and the share of DOM operations. Use whenever users ask to compare data or metrics across runs, calculate aggregate/Odysseys/duration/turn/error/helper metrics, inspect differences among runs, or compare multiple rwb/real-world-bench runs. Use pi-session-analyzer instead for deep forensic analysis of why an individual task was slow or failed.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Autonomous AI agent benchmark evaluation register: task completion rates, planning accuracy, tool invocation precision, and cost benchmarks.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Benchmark Xcode clean and incremental builds with repeatable inputs, timing summaries, and timestamped `.build-benchmark/` artifacts. Use when a developer wants a baseline, wants to compare before and after changes, asks to measure build performance, mentions build times, build duration, how long builds take, or wants to know if builds got faster or slower.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Testing and benchmarking LLM agents including behavioral testing, capability assessment, reliability metrics, and production monitoring—where even top agents achieve less than 50% on real-world benchmarks Use when: agent testing, agent evaluation, benchmark agents, agent reliability, test agent.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Generate HTML reports and structured metrics from model evaluation results. Creates publication-ready reports with embedded outputs (images, audio, charts) and metrics.json for cross-model comparison. Use when generating reports, writing metrics, creating evaluation summaries, or formatting benchmark results. Triggers on "generate report", "write metrics", "create report", "evaluation summary", "benchmark results", "format results".

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Evaluates LLMs across 100+ benchmarks from 18+ harnesses (MMLU, HumanEval, GSM8K, safety, VLM) with multi-backend execution. Use when needing scalable evaluation on local Docker, Slurm HPC, or cloud platforms. NVIDIA's enterprise-grade platform with container-first architecture for reproducible benchmarking.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Rigorous methodology for evaluating ML models on established benchmarks. Covers proper train/val/test splits, baseline verification from original papers, exact metric formula discrepancies, data-leak detection checklist, multi-seed robustness, and honest reporting templates. Use when claiming to beat published baselines, writing methods papers, or auditing existing results.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Evaluates code generation models across HumanEval, MBPP, MultiPL-E, and 15+ benchmarks with pass@k metrics. Use when benchmarking code models, comparing coding abilities, testing multi-language support, or measuring code generation quality. Industry standard from BigCode Project used by HuggingFace leaderboards.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Orchestrates an end-to-end long-read structural-variant pipeline - basecalling to minimap2 alignment (platform-matched preset) to Sniffles2/cuteSV/pbsv calling to optional assembly-based calling (dipcall/PAV) to two-step .snf cohort merging to Truvari benchmarking - chaining ONT and PacBio HiFi runs while handing the SV signal mechanism off to the component skills. Use when running a long-read SV workflow from reads to a benchmarked callset, choosing the minimap2 preset and SV caller by platform and goal, deciding when long reads are worth it for the insertions and repeat-mediated SVs short reads physically miss, building a joint-genotyped cohort with the two-step .snf design, or parameterizing a Truvari benchmark against GIAB HG002 Tier 1 plus CMRG. Not for the SV signal mechanism itself (see variant-calling/structural-variant-calling) or short-read SV.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Orchestrates the end-to-end germline short-variant pipeline from FASTQ to a filtered, normalized, benchmarked VCF, chaining QC/trim, BWA-MEM2 alignment, duplicate marking, optional BQSR, calling (bcftools/GATK HaplotypeCaller/DeepVariant/DRAGEN), normalization, site+genotype filtering, annotation, and hap.py/vcfeval benchmarking. Use when deciding the pipeline-wide reference-genome commitment (GRCh38 analysis set vs T2T, ALT/decoy handling), sequencing the steps in the defensible order (normalize BEFORE annotate, filter site- then genotype-level), choosing the calling engine and single-sample vs cohort joint-calling, picking a filtering strategy by cohort size, or benchmarking stratified within GIAB confident regions. Hands off mechanism to the variant-calling and read-alignment component skills; not a re-teach of any single step.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Design AI benchmarks for comparing models and tracking improvement. TRIGGERS - Use when user needs help with ai-benchmark-creator related tasks.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Create benchmark suites for AI model comparison. TRIGGERS - Use when user needs help with ai-benchmark-suite related tasks.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Benchmark, teste de carga, capacity planning e cache — k6, JMeter, Locust, pgbench. Use quando o usuário disser "lento", "performance", "teste de carga", "stress test", "quantos usuários aguenta", "capacity", "cache", "benchmark", "k6".

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Runs BenchmarkDotNet microbenchmarks. Setup, memory diagnosers, baselines, result analysis.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Testing and benchmarking LLM agents including behavioral testing, capability assessment, reliability metrics, and production monitoring—where even top agents achieve less than 50% on real-world benchmarks Use when: agent testing, agent evaluation, benchmark agents, agent reliability, test agent.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

대량 데이터 수집, 과거 데이터 보충, 변환, 동기화의 지연을 단계별로 조사합니다. 처리 방식을 비교해 속도를 높이고 행 수, 파일 수, 시각의 일치 여부를 확인합니다.

• 대량 데이터 수집과 내보내기 가속
• 과거 데이터 보충 시간 단축
• 배치 크기와 병렬 작업 수 비교

경쟁사의 브랜드 표현, 서비스, 실적 등을 공통 기준으로 평가합니다. 근거를 담은 비교 카드와 전략적 두 축 도표로 고객이 목표로 하는 위치의 경쟁사를 파악합니다.

• 공통 기준으로 경쟁사를 비교합니다
• 출처가 있는 경쟁사 카드를 만듭니다
• 두 전략 목표로 경쟁사의 위치를 정리합니다

Claude, GPT, Gemini에 같은 요청을 실행해 응답 시간, 토큰 수, 비용을 비교합니다. 선택적으로 품질 점수를 더해 용도에 맞는 모델을 고르도록 돕습니다.

• 스킬에 맞는 모델 선택
• 응답 시간과 비용 비교
• 선택적 AI 평가로 품질 비교

Storybook 실행부터 첫 스토리 표시까지 측정합니다. 서버 응답과 브라우저 렌더링 시간을 나누고 반복 결과를 집계해 버전이나 기능 플래그를 비교합니다.

• 첫 스토리 표시까지 시작 시간 측정
• 버전 및 기능 플래그 비교
• 시작 시간 반복 측정과 집계

코드 성능 측정과 벤치마크로 느린 처리와 메모리 부담을 조사합니다. 같은 조건에서 비교할 수 있는 기록을 남기며 측정 결과에 따라 최적화를 진행합니다.

• 느린 처리의 원인을 조사할 때
• 변경 전후의 성능을 비교할 때
• 메모리 부담이 클 때 성능을 측정할 때

GAIA 평가를 실행하는 ruflo와 HAL의 구조를 비교합니다. 코드 실행과 브라우저 조작 등의 기능 차이를 정리해 개선 우선순위와 구현 부담을 검토합니다.

• 다음 GAIA 개발 계획 수립
• 코드 실행과 브라우저 기능 비교
• 개선 우선순위와 구현 부담 검토

준비된 테스트 사례로 agent-booster의 성공률과 작업 분배를 검증합니다. 선택적으로 외부 모델과 비교하고 실측 결과와 집계를 JSON으로 저장합니다.

• 출시 전 성공률 확인
• 테스트 사례 추가 후 작업 분배 검증
• 실측 결과로 성능 설명 확인

백그라운드 작업을 종류에 따라 전문 에이전트에 배정하고, 실행 이력의 품질 점수와 성공률, 응답 시간을 바탕으로 담당 선택과 성능 확인을 지원합니다.

• 작업별로 전문 에이전트를 선택합니다
• 품질과 성공률, 응답 시간을 확인합니다
• 실행 결과를 다음 담당 선택에 활용합니다

Add support for a programming language to codegraph, from connecting its parser and implementing code extraction to writing tests. Evaluate extraction quality and compare agent effort with and without codegraph across three real codebases.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Adding a new programming language to codegraph
• Testing extraction of functions, imports, and calls
• Comparing agent effort across three real codebases