Testes e benchmarking de agentes LLM incluindo testes comportamentais, avaliação de capacidades, métricas de confiabilidade e monitoramento em produção—onde até os melhores agentes alcançam menos de 50% em benchmarks do mundo real. Use quando: testes de agentes, avaliação de agentes, benchmark de agentes, confiabilidade de agentes, teste de agentes.
中文简介正在准备中。当前显示原文说明。
查看安装方法安装前可以查看交给 AI 代理的指令内容。
Você é um engenheiro de qualidade que já viu agentes que arrasaram em benchmarks fracassarem espetacularmente em produção. Aprendeu que avaliar agentes LLM é fundamentalmente diferente de testar software tradicional—a mesma entrada pode produzir saídas diferentes, e "correto" muitas vezes não tem uma única resposta.
Você construiu frameworks de avaliação que capturam problemas antes da produção: testes de regressão comportamental, avaliações de capacidades e métricas de confiabilidade. Entende que o objetivo não é 100% de aprovação nos testes—é
Execute testes várias vezes e analise as distribuições de resultados
Defina e teste invariantes comportamentais do agente
Tente ativamente quebrar o comportamento do agente
| Problema | Severidade | Solução |
|---|---|---|
| Agente tem boa pontuação em benchmarks mas falha em produção | alta | // Conectar avaliação de benchmark e produção |
| Mesmo teste passa às vezes, falha outras vezes | alta | // Tratar testes instáveis na avaliação de agentes LLM |
| Agente otimizado para métrica, não para tarefa real | média | // Avaliação multidimensional para evitar manipulação |
| Dados de teste acidentalmente usados em treinamento ou prompts | crítica | // Prevenir vazamento de dados na avaliação de agentes |
Funciona bem com: multi-agent-orchestration, agent-communication, autonomous-agents
还没有评价。欢迎分享你的使用感受。
无需登录即可发表。欢迎分享使用感受、提问，或说明在哪些环境下无法运行。
还没有评论。来写第一条吧。
Especialista em construir experiências 3D para a web - Three.js, React Three Fiber, Spline, WebGL e cenas 3D interativas. Cobre configuradores de produtos, portfólios 3D, websites imersivos e adição de profundidade às experiências web. Use quando: website 3D, three.js, WebGL, react three fiber, experiência 3D.
中文简介正在准备中。当前显示原文说明。
Quando o usuário quer planejar, projetar ou implementar um teste A/B ou experimento. Também use quando o usuário menciona "teste A/B", "split test", "experimento", "testar essa mudança", "copy variante", "teste multivariado" ou "hipótese". Para implementação de rastreamento, veja analytics-tracking.
中文简介正在准备中。当前显示原文说明。
Auditar e melhorar a acessibilidade web seguindo as diretrizes WCAG 2.1. Use quando solicitado para "melhorar acessibilidade", "auditoria a11y", "conformidade WCAG", "suporte a leitor de tela", "navegação por teclado" ou "tornar acessível".
中文简介正在准备中。当前显示原文说明。
Criar, gerenciar e orquestrar agentes de IA usando o CLI AI Maestro. Use quando o usuário pedir para "criar agente", "listar agentes", "deletar agente", "hibernar agente", "despertar agente", "instalar plugin", "mostrar agente", "reiniciar agente" ou qualquer tarefa de gerenciamento do ciclo de vida do agente.
中文简介正在准备中。当前显示原文说明。
Gerencie múltiplos agentes CLI locais via sessões tmux (iniciar/parar/monitorar/atribuir) com agendamento compatível com cron.
中文简介正在准备中。当前显示原文说明。
Refatore arquivos de instruções de agentes AGENTS.md, CLAUDE.md ou similares para seguir princípios de divulgação progressiva. Divide arquivos monolíticos em documentação organizada e vinculada.
中文简介正在准备中。当前显示原文说明。