880건 · 관련도순
Testing and benchmarking LLM agents including behavioral testing, capability assessment, reliability metrics, and production monitoring—where even top agents achieve less than 50% on real-world benchmarks Use when: agent testing, agent evaluation, benchmark agents, agent reliability, test agent.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
대량 데이터 수집, 과거 데이터 보충, 변환, 동기화의 지연을 단계별로 조사합니다. 처리 방식을 비교해 속도를 높이고 행 수, 파일 수, 시각의 일치 여부를 확인합니다.
경쟁사의 브랜드 표현, 서비스, 실적 등을 공통 기준으로 평가합니다. 근거를 담은 비교 카드와 전략적 두 축 도표로 고객이 목표로 하는 위치의 경쟁사를 파악합니다.
Claude, GPT, Gemini에 같은 요청을 실행해 응답 시간, 토큰 수, 비용을 비교합니다. 선택적으로 품질 점수를 더해 용도에 맞는 모델을 고르도록 돕습니다.
Storybook 실행부터 첫 스토리 표시까지 측정합니다. 서버 응답과 브라우저 렌더링 시간을 나누고 반복 결과를 집계해 버전이나 기능 플래그를 비교합니다.
코드 성능 측정과 벤치마크로 느린 처리와 메모리 부담을 조사합니다. 같은 조건에서 비교할 수 있는 기록을 남기며 측정 결과에 따라 최적화를 진행합니다.
GAIA 평가를 실행하는 ruflo와 HAL의 구조를 비교합니다. 코드 실행과 브라우저 조작 등의 기능 차이를 정리해 개선 우선순위와 구현 부담을 검토합니다.
알려진 취약점과 혼동하기 쉬운 정상 예시로 보안 탐지 방식을 비교합니다. 탐지율, 오탐, 수정 후 테스트 등의 평가 결과를 JSON으로 정리합니다.
준비된 테스트 사례로 agent-booster의 성공률과 작업 분배를 검증합니다. 선택적으로 외부 모델과 비교하고 실측 결과와 집계를 JSON으로 저장합니다.
백그라운드 작업을 종류에 따라 전문 에이전트에 배정하고, 실행 이력의 품질 점수와 성공률, 응답 시간을 바탕으로 담당 선택과 성능 확인을 지원합니다.
Add support for a programming language to codegraph, from connecting its parser and implementing code extraction to writing tests. Evaluate extraction quality and compare agent effort with and without codegraph across three real codebases.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Review QuickBooks financial reports, outstanding invoices, and business performance using company data. Manage customers, products, invoices, and payment links through Intuit's official MCP server, a connection for agent tools, with confirmation before changes.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Solve optimization problems in Python with one or several competing goals. Define constraints, compare search algorithms, visualize trade-offs, and assess candidate solutions before choosing an option that fits your priorities.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Check release readiness inside the herdr repository by comparing changes since the base release with upcoming release notes and documentation. Review CLI descriptions, issue references, checks, and benchmarks, then report readiness.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Run repeated code improvement experiments with multiple agents. It plans and reviews candidate changes, compares benchmark results, merges candidates that pass rechecking, and records progress until a target, iteration limit, or another stopping condition is reached.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Add a model page to the SGLang Cookbook using shared templates. Organize verified launch settings and measured benchmarks, create configuration files and documentation, and update navigation, vendor cards, and page validation.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Measure denoising latency in SGLang diffusion models and identify slow operations with profiler traces. Compare performance and output quality on the same GPUs, check existing optimizations, and gather evidence before starting low-level kernel work.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Convert an existing SGLang cookbook page to shared templates driven by model configuration. Preserve its deployment commands and interactive choices, transfer eligible benchmark measurements, and check equivalence, links, and rendered behavior.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Build and operate AutoGPT agents that carry out multi-step workflows. Covers a visual editor for connecting processing blocks, scheduled and webhook triggers, deployment, execution monitoring, and benchmarks for evaluating agent performance.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Improve an existing skill’s instructions using benchmark tasks that measure its output. Generate starter tasks, preview costs, and keep version history, with validation checks deciding whether proposed edits can replace the current instructions.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Compare compensation with market benchmarks by role, level, and location. Analyze salary band placement, flag outliers and retention risks, and model equity grants, meaning share-based compensation, to support hiring offers and compensation reviews.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Develop robotics research ideas through literature review, feasibility filtering, novelty checks, and external critique. Get ranked proposals with specific benchmarks, comparison methods, failure metrics, and simulation-first pilot plans matched to available infrastructure.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Improve MNN inference on OpenCL by measuring bottlenecks and refining GPU kernels, the code that performs calculations. The skill guides baseline measurements, correctness checks, Android device benchmarks, and integration of new OpenCL features with compatibility fallbacks.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Organize substantial tasks into a cycle of creation, independent review, and revision while preserving the original request. Turn broad quality goals into observable checks, collect evidence, and finish with verified results or a clearly identified blocker.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.