「evaluation」の検索結果

医療アプリの公開前に、診療判断の支援ロジック、患者情報の漏えい、データ整合性などを検証するスキル。重大なテストの失敗でデプロイを止める仕組みを示します。

• 電子カルテの公開前に検証したいとき
• 薬物相互作用や投与量の変更を検証
• 権限変更後の患者情報漏えいを確認

工場やオフィスの電力・天然ガス調達を、料金体系、使用量、契約条件から検討するスキル。供給会社の比較、ピーク料金対策、再生可能エネルギー契約や予算作成を支援します。

• 複数拠点のエネルギー見積もり比較
• 料金プランとピーク料金の見直し
• 再生可能エネルギー契約・証書の評価

調査テーマを複数の問いに分け、ウェブ情報の検索と本文の読み込みを通じて、出典・確信度・情報不足を明記したレポートにまとめるスキル。

• 競合や市場動向を調べたいとき
• 導入前に技術を比較したいとき
• 市場規模や成長予測の調査

AIエージェントが実装の多くを担う開発チーム向けに、計画、責任分担、レビュー基準、テスト要件を整理し、生成コードを扱う開発プロセスを設計するスキル。

• AI生成コードを扱う開発ルールの整備
• コードレビュー基準と承認条件の設定
• エージェントが作業しやすい設計の検討

AIエージェントの成果物を、正確さ・網羅性・明瞭さ・実行しやすさ・簡潔さの5軸で自己評価し、根拠付きの点数と優先順位を付けた改善案をまとめます。

• 複数ファイルの実装後の自己評価
• 複数工程を終えた成果物の点検
• 設計文書や分析レポートの評価

質問応答や文書検索を組み合わせたAI処理をDSPyで構築するスキル。入力と出力を定義して部品を組み合わせ、学習例と評価指標を使ってプロンプトを自動調整します。

• 文書検索付きの質問応答を作りたいとき
• 学習例でプロンプトを調整したいとき
• 文章から構造化データを抽出したいとき

言語モデルに指示への応答や好ましい回答を学習させるため、TRLによる追加学習を案内するスキル。データ準備、学習方式の選択、報酬モデルの学習や評価を扱います。

• 回答例で指示に従うモデルを学習
• 回答の好みをDPOで学習したいとき
• 報酬モデルを使うRLHFの構築

Turn a Caveman optimization observation into an operator-chosen candidate with a paired baseline evaluation. Use when asked to inspect or evaluate a Caveman optimization report. Needs explicit approval.

日本語の概要は準備中です。原文の説明を表示しています。

Choose, inspect, validate, and report Paperclip Runner or Product E2E evaluations while preserving evidence, provenance, cost, and failure classification.

日本語の概要は準備中です。原文の説明を表示しています。

Add or extend a Paperclip Runner protocol evaluation definition, roster, assertion, or report fixture with provenance and narrow validation.

日本語の概要は準備中です。原文の説明を表示しています。

AI creative director with recursive self-assessment: 20+ methodologies (SIT, TRIZ, Bisociation, SCAMPER, Synectics), 3-axis evaluation calibrated against Cannes/D&AD/HumanKind, 5-phase process from brief to presentation.

日本語の概要は準備中です。原文の説明を表示しています。

Use this skill when the user requests to review, analyze, critique, or summarize academic papers, research articles, preprints, or scientific publications. Supports comprehensive structured reviews covering methodology assessment, contribution evaluation, literature positioning, and constructive feedback generation. Trigger on queries involving paper URLs, uploaded PDFs, arXiv links, or requests like "review this paper", "analyze this research", "summarize this study", or "write a peer review".

日本語の概要は準備中です。原文の説明を表示しています。

Create and run evaluation suites, watch live benchmark progress, view scorecards, compare model performance, and integrate eval runs with CI workflows from the CLI.

日本語の概要は準備中です。原文の説明を表示しています。

Manage `@metaharness/darwin` bench suites — `bench create {repo}` scaffolds a JSON suite from a repo's test corpus; `bench verify {suite.json}` checks suite well-formedness. Bench suites are the fixed evaluation corpora that `harness-evolve --bench {suite.json}` scores variants against, decoupling evolution from the repo's natural tests. Degrades gracefully when @metaharness/darwin is absent.

日本語の概要は準備中です。原文の説明を表示しています。

为 Agent 建立或改进评估体系时使用——设计评估指标（Pass@k/Pass^k/成本）、搭建可重复运行的评估环境、选择确定性验证器或 LLM-as-a-Judge 及各自适用边界、编写 Rubric、做失败归因与回归任务、评估驱动的模型选型、判断统计显著性、建设可观测性与内部评估基础设施（消融、AB 测试、特性开关、提示词回归）、从 Benchmark 报告走到系统改进。

日本語の概要は準備中です。原文の説明を表示しています。

Tracks physical units and propagates measurement uncertainty in scientific calculations using pint and uncertainties. Use for unit conversion and dimensional checking, GUM uncertainty budgets, Type A and Type B evaluation, coverage factors and expanded uncertainty, Monte Carlo propagation, significant-figure and plus-minus reporting, error propagation through curve fits, CODATA constants, auditing Python code for stripped units or broken uncertainty propagation, and order-of-magnitude plausibility checks using dimensionless groups (Reynolds, Peclet, Damkohler, Knudsen, Biot, Womersley), characteristic scales such as diffusion time or Debye length, and observed magnitude ranges. Trigger on "is this number physically reasonable", "sanity check these units", "what regime is this flow in", or a result that looks off by orders of magnitude.

日本語の概要は準備中です。原文の説明を表示しています。

Performs zero-shot time-series forecasting with Google's TimesFM, including regular-grid CSV preparation, quantile forecasts, XReg covariates, and held-out evaluation. Uses the Apache-licensed TimesFM 2.5 checkpoint by default and documents the distinct TimesFM 3.0 multivariate API and weight-license requirements.

日本語の概要は準備中です。原文の説明を表示しています。

Provides qualitative-first, evidence-traceable developmental review of scholarly works and audit low-stakes research-assessment rubrics with optional local quality controls. Never use for ranking people or consequential decisions.

日本語の概要は準備中です。原文の説明を表示しています。

Supports machine learning in Python with scikit-learn. Applies when working with supervised learning (classification, regression), unsupervised learning (clustering, dimensionality reduction), model evaluation, hyperparameter tuning, preprocessing, or building ML pipelines. Provides comprehensive reference documentation for algorithms, preprocessing techniques, pipelines, and best practices.

日本語の概要は準備中です。原文の説明を表示しています。

Facilitates evidence-aware scientific ideation with independent generation, structured discussion, explicit assumptions, transparent evaluation, adversarial review, and decision logs. Use for early-stage research brainstorming or prioritizing candidate directions; hand off empirical validation, study design, ethics or regulatory review, and clinical questions to appropriate experts or skills.

日本語の概要は準備中です。原文の説明を表示しています。

Builds and validates PyHealth clinical machine-learning pipelines for EHR, signals, imaging, and medical codes. Use for PyHealth dataset loading, MIMIC-III/IV, eICU or OMOP prediction tasks, patient-level evaluation, mortality/readmission/length-of-stay modeling, medication recommendation, sleep staging, Trainer checkpoints, and ICD/ATC/NDC/RxNorm mapping.

日本語の概要は準備中です。原文の説明を表示しています。

Version-aware guidance for PufferLib reinforcement-learning environments, vectorization, policies, PuffeRL training, evaluation, and safe checkpoint review. Covers the native 5.0 build and environment API, published 3.0.0 Gymnasium/PettingZoo adaptation, and a pinned historical 4.0 profile.

日本語の概要は準備中です。原文の説明を表示しています。

Supports multivariate severity assessment and exploratory endpoint-time score forecasting for laboratory animal studies using the RELSA (RELative Severity Assessment) score and ARIMA-based foRcast forecasting. Use when combining welfare readouts — body weight or weight loss, body temperature, clinical or nesting scores, biomarkers, activity, heart rate, burrowing, wheel running — into one severity score per animal per day, when asking which animals are at risk of reaching a humane endpoint at a specified future observation time, when defining attention/danger zones or thresholds on a severity scale by kernel density estimation, or when reporting severity for a 3Rs, refinement, animal-welfare, or EU Directive 2010/63/EU severity-assessment context. Covers directionality ("turned" variables), baseline normalization, reference sets, RELSA weights, ARIMA prediction intervals, and RMSE/PICP/MPIW evaluation.

日本語の概要は準備中です。原文の説明を表示しています。

Prepares and validates research-only clinical decision-support evaluation, evidence-profile, cohort, survival, biomarker/model, privacy, and governance artifacts. Supports aggregate or synthetic research documentation and traceability, excluding patient care and live clinical operation.

日本語の概要は準備中です。原文の説明を表示しています。