Analyze graded `trial_result` JSONL outputs from the eval pipeline, including reliability and custom slicing.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
behavioral-sh/agent-eval-harness72026년 6월 18일 업데이트
무료GitHub에 공개
trial-adapters
Build command-only adapters for `eval` run mode using strict stdin/stdout JSON contracts.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
설치 방법 보기포함된 파일(1)
- SKILL.md1.5 KB
SKILL.md(원문)
설치하기 전에 에이전트에게 전달되는 지시 내용을 확인할 수 있습니다.
Trial Adapters
This skill is for executable adapters used by:
agent-eval-harness eval '{"mode":"run",...}'
Required approach
- Use
grill-meto pin down:- target coding-agent CLI and invocation
- docs/MCP source for real command behavior
- approval/automation flags
- prompt/session mechanics
- trajectory capture strategy
- failure mapping and safe metadata
- If command semantics are unclear, ask the user for docs/MCP access or run
--help/docs discovery first. - Use
tddfor adapter executable contract tests.
Adapter executable contract
- Read one
adapter-inputJSON object from stdin. - Write exactly one
adapter-outputJSON object to stdout. - Write logs only to stderr.
- Always include
trajectory(can be[]). - For completed status, include non-empty final
message.
Use schema discovery as source of truth:
agent-eval-harness eval --schema adapter-input
agent-eval-harness eval --schema adapter-output
Contract tests to write first
- valid stdin -> valid stdout object
- exactly one stdout JSON object
- stderr-only logging
- schema-valid
trajectory - multi-prompt behavior (prompts array handling)
- explicit failure output behavior
Safe optional metadata examples
- model/provider name
- provider run id
- adapter name/version
- agent CLI version
- token usage
- cost estimate
- safe config summary
- suite tags
리뷰
아직 리뷰가 없습니다. 사용해 본 소감을 남겨 주세요.
댓글
로그인 없이 쓸 수 있습니다. 사용 후기, 질문, 작동하지 않은 환경 등을 편하게 남겨 주세요.
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.
같은 저장소의 스킬
grill-me
무료Interview the user relentlessly about a plan or design until reaching shared understanding, resolving each branch of the decision tree. Use when user wants to stress-test a plan, get grilled on their design, or mentions "grill me".
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
behavioral-sh/agent-eval-harness72026년 6월 18일 업데이트
tdd
무료Use test-driven development for behavior-changing feature or fix work, and whenever the user mentions TDD, test-first, red-green-refactor, tracer bullets, integration tests, or public-interface behavior tests. Skip for docs-only, path-only rename, formatting-only, or purely mechanical chores unless explicitly requested.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
behavioral-sh/agent-eval-harness72026년 6월 18일 업데이트
End-to-end eval-suite orchestration with the `eval` command: run -> grade -> compare -> calibrate, using strict JSON contracts and schema discovery.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
behavioral-sh/agent-eval-harness72026년 6월 18일 업데이트