본문으로 건너뛰기
cccskills
무료GitHub에 공개

workload-modeling

Model ongoing requests and multi-step agent work to estimate capacity, latency, and cost per completed task. Break execution into stages, account for queues and retries, and produce workload tables with average and peak resource budgets.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

원문원문 설명 보기

把持续请求、多轮 Agent、实时交互或 RL 轨迹转成容量与时延负载。用于估算峰值、状态驻留和完成任务的真实成本。

설치 방법 보기

이럴 때 유용합니다

  • Estimate capacity for ongoing AI requests
  • Analyze queues and tool waits in agent workflows
  • Compare resource costs per completed task
  • Budget training and reinforcement learning workloads

포함된 파일(1)

  • SKILL.md1.3 KB

SKILL.md(원문)

설치하기 전에 에이전트에게 전달되는 지시 내용을 확인할 수 있습니다.

从单次请求到持续负载

适用:单请求估算已经有了,但系统需要处理到达、排队、工具等待或失败重试。依据 manuscripts/03-推理与训练负载.md 第 3.1—3.6 节。

  1. 记录任务完成标准和质量门槛;收集到达率的时间分布,而非仅平均 QPS。分开统计输入长度、输出长度、分支数和多轮调用数。
  2. 将每条轨迹拆成 prefill、decode、工具执行、等待、验证、重试和状态驻留。每个阶段写明使用的资源与下一阶段依赖。
  3. 用阶段服务时间与到达率估算利用率;用突发窗口、排队和高分位请求检查平均值掩盖的峰值。状态容量按并发驻留数量计算,即使任务正在等工具也需确认是否占用 KV 或环境内存。
  4. 比较方案时固定合格任务数、质量和截止时间;同时报告每个完成任务的模型调用、总 token、GPU 时间、工具时间和失败重做。

交付负载轨迹表及峰值/平均两组预算。训练和 RL 任务还应计入反向、权重同步与有效样本率。不要把每秒 token 吞吐直接当作 Agent 任务完成率。

리뷰

아직 리뷰가 없습니다. 사용해 본 소감을 남겨 주세요.

댓글

로그인 없이 쓸 수 있습니다. 사용 후기, 질문, 작동하지 않은 환경 등을 편하게 남겨 주세요.

아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.

보내면 바로 공개됩니다. 이메일 주소나 전화번호 같은 개인 정보는 쓰지 마세요. URL은 2개까지입니다.

0 / 1,000자

이 양식은 reCAPTCHA로 보호되며 Google 개인정보처리방침 및 서비스 약관이 적용됩니다.

같은 저장소의 스킬

Compare computing devices for a defined AI model workload using memory capacity, computing speed, data transfer, energy use, and cost. Build a comparison that separates predicted performance from measurements and identifies the constraints that determine the choice.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Choosing hardware for a specific AI model
  • Checking whether a model fits in device memory
  • Explaining gaps between advertised and measured performance
bojieli/ai-infra-book6.7천2026년 10월 1일 업데이트

Plan when an agent’s tool environments are created, kept available, released, and restored. Estimate peak concurrency, resource use during work and waiting, total task duration, and cost across model calls, tool execution, validation, and retries.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Estimating peak concurrent agent environments
  • Comparing environment retention and recreation
  • Assessing cold starts and shared environment pools
bojieli/ai-infra-book6.7천2026년 10월 1일 업데이트

Estimate cross-server traffic, network bottlenecks, and synchronization waits for AI training or inference. Map communication onto physical network paths and assess how topology or communication changes affect the time needed to complete the job.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Find communication bottlenecks in distributed AI workloads
  • Compare network topologies and communication paths
  • Estimate synchronization waits under concurrent traffic
bojieli/ai-infra-book6.7천2026년 10월 1일 업데이트

Compare ways to distribute AI inference across multiple instances, including replicas and separate input-processing and generation stages. Estimate capacity, throughput, delays, state-transfer costs, and recovery overhead to support routing and scaling decisions.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Compare replicas with separate inference stages
  • Plan routing around compute capacity and cached state
  • Evaluate expert placement and load imbalance
bojieli/ai-infra-book6.7천2026년 10월 1일 업데이트

Compare running models or tasks on a device, nearby edge infrastructure, or in the cloud. Break down interaction delays, data transfers, energy use, costs, and failure recovery to assess deployment choices for multimodal and real-time agents.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Comparing device, edge, and cloud execution
  • Estimating interaction delays on unstable networks
  • Assessing battery use and sustainable processing speed
bojieli/ai-infra-book6.7천2026년 10월 1일 업데이트

Compare batching, request scheduling, and memory management for a single model serving instance. Assess concurrent request capacity, response times, generation speed, and GPU time per result that meets the required quality and deadline.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Comparing batching and request scheduling options
  • Checking memory capacity for concurrent requests
  • Assessing cache reuse and offloading tradeoffs
bojieli/ai-infra-book6.7천2026년 10월 1일 업데이트

bojieli의 스킬 모두 보기

이 스킬의 문제 신고