'evaluation' 검색 결과

Focused Signals scout for PostHog projects using feature flags. Watches the flag roster and the `$feature_flag_called` evaluation stream for contradictions between a flag's configured state and its real traffic: evaluation cliffs on healthy flags, ghost flags (code calling keys that no longer exist), response-distribution shifts with no corresponding flag edit, and flag debt (stale, fully-rolled-out, or dead flags still burning evaluations). Emits findings only when they clear the confidence bar; otherwise writes durable memory and closes out empty. Self-contained peer in the signals-scout-* fleet — no dependencies on other skills.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Evaluates LLMs across 60+ academic benchmarks (MMLU, HumanEval, GSM8K, TruthfulQA, HellaSwag). Use when benchmarking model quality, comparing models, reporting academic results, or tracking training progress. Industry standard used by EleutherAI, HuggingFace, and major labs. Supports HuggingFace, vLLM, APIs.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Open-source AI observability platform for LLM tracing, evaluation, and monitoring. Use when debugging LLM applications with detailed traces, running evaluations on datasets, or monitoring production AI systems with real-time insights.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Generate the success criteria for a task or question, then review work against them. Given a task, goal, or open-ended question, decompose it into scenarios, evaluation perspectives, and fine-grained weighted YES/NO criteria using the Recursive Expansion Tree (RET) method; if work is supplied, score it criterion-by-criterion and surface what is missing or could be better. Use when asked to self-review or check your own work, judge whether a task is done well or completely, build a definition-of-done or completeness checklist, create an evaluation rubric or grading criteria, score or grade answers to a question, set up an LLM-as-judge rubric, or when the user mentions self-review, completeness check, success criteria, evaluation criteria, scoring rubric, Qworld, or the RET algorithm.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Create evaluation frameworks for AI outputs with rubrics and scoring. TRIGGERS - Use when user needs help with ai-evaluation-framework related tasks.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Design automated evaluation pipelines for LLM and agent systems — combining deterministic checks, statistical metrics, and LLM-as-judge scoring into repeatable, CI-integrated eval suites. Load when the user asks to set up automated evals, design an eval pipeline, integrate evals into CI/CD, create an eval suite, do eval-driven development, or says "automate my evals", "CI eval integration", "evaluation pipeline", "continuous evaluation", "monitoring eval quality", "set up regression testing for my agent". Sub-skill of eval-output orchestrator.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Design structured evaluation rubrics for scoring LLM and agent outputs — defining quality dimensions, scoring scales, hard gates, score descriptions, and edge cases. Load when the user asks to create an eval rubric, define evaluation criteria, design scoring dimensions, write an eval spec, or says "what should I evaluate", "design a rubric", "create eval criteria", "define quality dimensions", "evaluation rubric for", "how do I measure quality of". Sub-skill of eval-output orchestrator.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Plan, evaluate, and adopt agent infrastructure for a named workload. Use for agent runtime/framework selection, agent evaluation or observability plans, memory and tool boundaries, infrastructure cost controls, and organizational adoption. Covers workload-first comparison, risk and recovery planning, held-out evaluation, cost accounting, and staged rollout. Not a vendor ranking or a production certification. NOT for implementing a specific agent behavior (agentic-patterns), building a specific agent (ai-engineer), prompt optimization (prompt-engineer), or conventional ETL workflow design (jury_rig-architect).

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Builds repeatable evaluation systems with golden datasets, scoring rubrics, pass/fail thresholds, and regression reports. Use for "LLM evaluation", "testing AI systems", "quality assurance", or "model benchmarking".

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

논문과 연구 계획을 공통 기준으로 검토하고 연구 방법, 근거, 인용, 글의 구성을 점검합니다. 평가 이유와 수정 우선순위, 다음 수정 사항을 정리합니다.

• 투고 전 논문 검토
• 인용 문헌의 주장 뒷받침 여부 확인
• 연구 방법과 한계 평가

기계 학습이 없는 기존 앱에 추천, 분류, 예측 기능을 추가하는 절차를 정리합니다. 문제와 데이터 확인부터 초기 모델의 학습, 평가, 통합까지 돕습니다.

• 기존 앱에 추천 기능 추가
• 학습 데이터 준비 상태 확인
• 대체 규칙을 갖춘 예측 기능 통합

앱 개발을 계획·구현·평가 에이전트로 나누고, 실행 중인 앱의 화면과 기능을 검증하며 설정한 품질 기준이나 반복 횟수 상한까지 수정을 이어 갑니다.

• 짧은 아이디어로 앱 명세를 만듭니다
• 별도 평가를 통해 화면을 개선합니다
• 풀스택 앱의 동작을 검증하고 수정합니다

인공지능 에이전트의 지속 작업 루프를 설계하고 품질 확인, 평가, 실패 시 중지와 재시도 방침을 결합해 진행 정체와 반복 실패에 대응합니다.

• 지속 작업에 맞는 루프 방식 선택
• 품질 확인과 평가 결합
• 실패나 진행 정체에서 복구

AI 에이전트가 맡는 개발의 완료 조건을 정하고 검증 가능한 작업으로 나눕니다. 구현 전후 평가를 비교하고 난도에 맞는 모델 선택과 비용·시간 기록을 정리합니다.

• AI 에이전트에 맡길 개발을 계획합니다
• 큰 변경을 검증 가능한 작업으로 나눕니다
• 구현 전후 평가 결과를 비교합니다

공통 과제로 대규모 언어 모델의 지식·추론·코드 생성을 평가합니다. 모델 비교표와 학습 단계별 성적 추이를 만들고 평가 결과와 개별 답변을 저장합니다.

• MMLU와 GSM8K로 모델 평가
• 여러 모델의 성적 비교표 작성
• 학습 중 모델의 성적 추적

AI가 외부 서비스를 이용하는 MCP 서버 개발을 지원합니다. API 조사, 도구 설계와 구현, 동작 확인부터 실제 사용을 반영한 평가 문항 작성까지 다룹니다.

• 외부 API를 AI 에이전트에 연결합니다
• TypeScript나 Python으로 MCP를 개발합니다
• 도구 설명, 입력, 오류 문구를 개선합니다

언어별 자료에 따라 Claude 앱을 구현하고 유지보수합니다. 공식 SDK 호출, 도구 연동, 모델 이전, 비용 검토와 평가 절차 마련을 다룹니다.

• 앱에 Claude API 연동
• 맞춤 도구를 쓰는 에이전트 구현
• 기존 Claude 연동의 모델 이전

WiFi 신호로 사람의 자세를 추정하는 모델을 학습하고 평가합니다. 평균 자세를 반환하는 기준 모델과 비교하고 데이터 누수를 확인해 측정 결과를 과장 없이 보고합니다.

• 카메라 영상의 정답 라벨로 학습
• 추론 시 카메라 없는 자세 추정 평가
• 평균 자세 기준 모델과 정확도 비교

기존 DeerFlow 스킬의 공개 준비 상태, 실행 조건, 안전 경계를 점검합니다. 근거와 문제점을 정리하고 바로 사용할 수 있는 수정 문안을 제시합니다.

• 스킬 공개 준비 상태 확인
• 의도치 않은 실행과 실행 누락 조사
• 첨부 스크립트와 안전 경계 점검

Build MCP servers, which give AI agents tools for external services, using Python or TypeScript. The skill guides tool design, input validation, error handling, code review, and evaluations based on realistic tasks.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Build an MCP server for an external API
• Design tools around complete agent workflows
• Review input validation and error handling

Evaluate 3D point clouds and movement trajectories against reference data with CloudAnalyzer. Prepare inputs, measure differences, apply quality thresholds, inspect results visually, and track baseline history for mapping, localization, and perception workflows.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Compare a generated point cloud with reference data
• Measure errors in estimated movement trajectories
• Check ground segmentation against quality thresholds

Build and evaluate time-to-event models with scikit-survival, including records whose events remain unobserved when follow-up ends. Keep preprocessing separate from evaluation data, compare models, predict survival probabilities, and summarize censoring-aware metrics.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Validate event indicators and follow-up times in local CSV data
• Train survival models without leaking evaluation data
• Evaluate survival probabilities with censoring-aware metrics

Combine laboratory animal welfare measurements into reference-relative RELSA severity scores. Analyze individual trajectories, explore forecasts for specified observation times, and derive candidate score zones, with explicit checks on normalization, reference selection, prediction intervals, and evaluation limits.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Combine animal welfare measurements into daily scores
• Compare group severity using a shared reference
• Explore severity forecasts at specified observation times

Build and check clinical machine learning workflows with PyHealth, from loading electronic health records, signals, or images to training and evaluation. Includes patient-level data splits, prediction task checks, model checkpoints, and medical code mapping.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Prototype mortality and readmission prediction models
• Check patient splits and data leakage
• Train and evaluate sleep staging models