본문으로 건너뛰기
cccskills
무료GitHub에 공개

distributed-inference

Compare ways to distribute AI inference across multiple instances, including replicas and separate input-processing and generation stages. Estimate capacity, throughput, delays, state-transfer costs, and recovery overhead to support routing and scaling decisions.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

원문원문 설명 보기

比较推理副本、prefill/decode 分离、专家放置与共享 KV 的跨实例方案。用于容量规划、路由、扩缩容和故障恢复。

설치 방법 보기

이럴 때 유용합니다

  • Compare replicas with separate inference stages
  • Plan routing around compute capacity and cached state
  • Evaluate expert placement and load imbalance
  • Estimate scaling and failure recovery overhead

포함된 파일(1)

  • SKILL.md1.3 KB

SKILL.md(원문)

설치하기 전에 에이전트에게 전달되는 지시 내용을 확인할 수 있습니다.

分布式推理部署

适用:单实例配置已知,需把计算和状态分配到多个实例。依据 manuscripts/09-分布式推理.md 第 9.1—9.7 节。

  1. 用相同任务质量、请求分布与资源总量比较完整副本、PD 分离、异构执行等候选;先列出每阶段的服务率与状态驻留量。
  2. 对每次切分,计算交接的 KV 或激活字节、链路传输时间、发送端与接收端同时占用的容量,以及可能与计算重叠的部分。状态表示改变后重新计算,不能沿用旧模型的 KV 大小。
  3. 路由同时考虑空闲算力和缓存亲和性。专家放置要考虑热点 skew、复制容量与最慢专家,不只看平均 token 数。
  4. 在启动、扩容和故障恢复中列出模型加载、预热、状态迁移、checkpoint 或重算的时间;评估流式输出中断后的用户可见影响。
  5. 用容量、吞吐、尾延迟和恢复后的按期完成率比较方案,并指出负载发生何种变化时需要重新部署。

报告资源配比、阶段服务率、链路瓶颈及状态交接成本。只有局部 kernel 指标时,先取得完整请求轨迹再做部署结论。

리뷰

아직 리뷰가 없습니다. 사용해 본 소감을 남겨 주세요.

댓글

로그인 없이 쓸 수 있습니다. 사용 후기, 질문, 작동하지 않은 환경 등을 편하게 남겨 주세요.

아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.

보내면 바로 공개됩니다. 이메일 주소나 전화번호 같은 개인 정보는 쓰지 마세요. URL은 2개까지입니다.

0 / 1,000자

이 양식은 reCAPTCHA로 보호되며 Google 개인정보처리방침 및 서비스 약관이 적용됩니다.

같은 저장소의 스킬

Compare computing devices for a defined AI model workload using memory capacity, computing speed, data transfer, energy use, and cost. Build a comparison that separates predicted performance from measurements and identifies the constraints that determine the choice.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Choosing hardware for a specific AI model
  • Checking whether a model fits in device memory
  • Explaining gaps between advertised and measured performance
bojieli/ai-infra-book6.7천2026년 10월 1일 업데이트

Plan when an agent’s tool environments are created, kept available, released, and restored. Estimate peak concurrency, resource use during work and waiting, total task duration, and cost across model calls, tool execution, validation, and retries.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Estimating peak concurrent agent environments
  • Comparing environment retention and recreation
  • Assessing cold starts and shared environment pools
bojieli/ai-infra-book6.7천2026년 10월 1일 업데이트

Estimate cross-server traffic, network bottlenecks, and synchronization waits for AI training or inference. Map communication onto physical network paths and assess how topology or communication changes affect the time needed to complete the job.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Find communication bottlenecks in distributed AI workloads
  • Compare network topologies and communication paths
  • Estimate synchronization waits under concurrent traffic
bojieli/ai-infra-book6.7천2026년 10월 1일 업데이트

Compare running models or tasks on a device, nearby edge infrastructure, or in the cloud. Break down interaction delays, data transfers, energy use, costs, and failure recovery to assess deployment choices for multimodal and real-time agents.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Comparing device, edge, and cloud execution
  • Estimating interaction delays on unstable networks
  • Assessing battery use and sustainable processing speed
bojieli/ai-infra-book6.7천2026년 10월 1일 업데이트

Compare batching, request scheduling, and memory management for a single model serving instance. Assess concurrent request capacity, response times, generation speed, and GPU time per result that meets the required quality and deadline.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Comparing batching and request scheduling options
  • Checking memory capacity for concurrent requests
  • Assessing cache reuse and offloading tradeoffs
bojieli/ai-infra-book6.7천2026년 10월 1일 업데이트

Analyze GPU operation timings and execution traces to find costly data access, repeated computation, launch overhead, and synchronization waits. Check whether improving an individual operation actually reduces the time needed to complete a full request.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Investigating slow GPU operations
  • Assessing whether combining operations reduces data access
  • Checking pipeline dependencies and buffer reuse
bojieli/ai-infra-book6.7천2026년 10월 1일 업데이트

bojieli의 스킬 모두 보기

이 스킬의 문제 신고