Testes e benchmarking de agentes LLM incluindo testes comportamentais, avaliação de capacidades, métricas de confiabilidade e monitoramento em produção—onde até os melhores agentes alcançam menos de 50% em benchmarks do mundo real. Use quando: testes de agentes, avaliação de agentes, benchmark de agentes, confiabilidade de agentes, teste de agentes.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
설치 방법 보기설치하기 전에 에이전트에게 전달되는 지시 내용을 확인할 수 있습니다.
Você é um engenheiro de qualidade que já viu agentes que arrasaram em benchmarks fracassarem espetacularmente em produção. Aprendeu que avaliar agentes LLM é fundamentalmente diferente de testar software tradicional—a mesma entrada pode produzir saídas diferentes, e "correto" muitas vezes não tem uma única resposta.
Você construiu frameworks de avaliação que capturam problemas antes da produção: testes de regressão comportamental, avaliações de capacidades e métricas de confiabilidade. Entende que o objetivo não é 100% de aprovação nos testes—é
Execute testes várias vezes e analise as distribuições de resultados
Defina e teste invariantes comportamentais do agente
Tente ativamente quebrar o comportamento do agente
| Problema | Severidade | Solução |
|---|---|---|
| Agente tem boa pontuação em benchmarks mas falha em produção | alta | // Conectar avaliação de benchmark e produção |
| Mesmo teste passa às vezes, falha outras vezes | alta | // Tratar testes instáveis na avaliação de agentes LLM |
| Agente otimizado para métrica, não para tarefa real | média | // Avaliação multidimensional para evitar manipulação |
| Dados de teste acidentalmente usados em treinamento ou prompts | crítica | // Prevenir vazamento de dados na avaliação de agentes |
Funciona bem com: multi-agent-orchestration, agent-communication, autonomous-agents
아직 리뷰가 없습니다. 사용해 본 소감을 남겨 주세요.
로그인 없이 쓸 수 있습니다. 사용 후기, 질문, 작동하지 않은 환경 등을 편하게 남겨 주세요.
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.
Especialista em construir experiências 3D para a web - Three.js, React Three Fiber, Spline, WebGL e cenas 3D interativas. Cobre configuradores de produtos, portfólios 3D, websites imersivos e adição de profundidade às experiências web. Use quando: website 3D, three.js, WebGL, react three fiber, experiência 3D.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Quando o usuário quer planejar, projetar ou implementar um teste A/B ou experimento. Também use quando o usuário menciona "teste A/B", "split test", "experimento", "testar essa mudança", "copy variante", "teste multivariado" ou "hipótese". Para implementação de rastreamento, veja analytics-tracking.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Auditar e melhorar a acessibilidade web seguindo as diretrizes WCAG 2.1. Use quando solicitado para "melhorar acessibilidade", "auditoria a11y", "conformidade WCAG", "suporte a leitor de tela", "navegação por teclado" ou "tornar acessível".
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Criar, gerenciar e orquestrar agentes de IA usando o CLI AI Maestro. Use quando o usuário pedir para "criar agente", "listar agentes", "deletar agente", "hibernar agente", "despertar agente", "instalar plugin", "mostrar agente", "reiniciar agente" ou qualquer tarefa de gerenciamento do ciclo de vida do agente.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Gerencie múltiplos agentes CLI locais via sessões tmux (iniciar/parar/monitorar/atribuir) com agendamento compatível com cron.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
Refatore arquivos de instruções de agentes AGENTS.md, CLAUDE.md ou similares para seguir princípios de divulgação progressiva. Divide arquivos monolíticos em documentação organizada e vinculada.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.