本文へ移動
cccskills
無料GitHub で公開

ml-model-eval-benchmark

Compare model candidates using weighted metrics and deterministic ranking outputs. Use for benchmark leaderboards and model promotion decisions.

インストール方法を見る

含まれるファイル(4)

  • SKILL.md817 B
  • agents/openai.yaml214 B
  • references/benchmarking-guide.md475 B
  • scripts/benchmark_models.py3.7 KB

SKILL.md(原文)

インストールする前に、エージェントに与えられる指示の中身を確認できます。

ML Model Eval Benchmark

Overview

Produce consistent model ranking outputs from metric-weighted evaluation inputs.

Workflow

  1. Define metric weights and accepted metric ranges.
  2. Ingest model metrics for each candidate.
  3. Compute weighted score and ranking.
  4. Export leaderboard and promotion recommendation.

Use Bundled Resources

  • Run scripts/benchmark_models.py to generate benchmark outputs.
  • Read references/benchmarking-guide.md for weighting and tie-break guidance.

Guardrails

  • Keep metric names and scales consistent across candidates.
  • Record weighting assumptions in the output.

レビュー

まだレビューはありません。使ってみた感想をお寄せください。

同じリポジトリのスキル

概要と使いどころ

Scaffold MCP server projects and baseline tool contract checks. Use for defining tool schemas, generating starter server layouts, and validating MCP-ready structure.

日本語の概要は準備中です。原文の説明を表示しています。

0x-Professor/Agent-Skills-Hub112026年2月27日 更新

Generate reusable multi-step agent workflow blueprints. Use for trigger/action orchestration, deterministic workflow definitions, and automation handoff artifacts.

日本語の概要は準備中です。原文の説明を表示しています。

0x-Professor/Agent-Skills-Hub112026年2月27日 更新

Build incident response timelines and report packs from event logs. Use for detection-to-recovery reporting, phase tracking, and stakeholder-ready incident summaries.

日本語の概要は準備中です。原文の説明を表示しています。

0x-Professor/Agent-Skills-Hub112026年2月27日 更新

Prioritize vulnerability remediation using KEV-style exploitation context plus asset criticality. Use for CVE triage, patch order decisions, and remediation reporting.

日本語の概要は準備中です。原文の説明を表示しています。

0x-Professor/Agent-Skills-Hub112026年2月27日 更新

Map application security findings to OWASP Top 10 categories and generate remediation checklists. Use for normalized AppSec review outputs and category-level prioritization.

日本語の概要は準備中です。原文の説明を表示しています。

0x-Professor/Agent-Skills-Hub112026年2月27日 更新

Build transformer fine-tuning run plans with task settings, hyperparameters, and model-card outputs. Use for repeatable Hugging Face or PyTorch finetuning workflows.

日本語の概要は準備中です。原文の説明を表示しています。

0x-Professor/Agent-Skills-Hub112026年2月27日 更新

0x-Professor のスキルをすべて見る

このスキルの問題を報告する