본문으로 건너뛰기
cccskills
무료GitHub에 공개

model-footprint

Estimate how model architecture, precision, and context length affect weight storage, generation state, computation, and memory traffic. Compare models and attention designs with separate resource estimates for input processing and token generation.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

원문원문 설명 보기

比较模型配置或架构改变对权重容量、KV 状态、前向计算和访存的影响。用于选模型、上下文或注意力与 MoE 方案。

설치 방법 보기

이럴 때 유용합니다

  • Compare memory needs across model architectures
  • Estimate resource costs of longer contexts
  • Compare attention designs and expert-based models
  • Assess precision and batch size changes

포함된 파일(1)

  • SKILL.md1.3 KB

SKILL.md(원문)

설치하기 전에 에이전트에게 전달되는 지시 내용을 확인할 수 있습니다.

模型架构资源账

适用:讨论长上下文、GQA/MLA、MoE、精度或 batch 变化时,先量化模型本身的资源需求。依据 manuscripts/02-模型架构.md 第 2.1—2.6 节。

  1. 从模型配置取得层数、隐藏维、注意力头和 KV 头、专家总数及每 token 激活数、参数精度。没有配置时标记未知,勿从参数总数臆造结构。
  2. 分开计算权重容量、每 token 上下文状态大小、prefill 计算、单步 decode 计算,以及完整输出期间的状态读取。区分上下文长度、输出长度和 batch 对各项的作用。
  3. 对注意力变体,核对实际保存和读取的状态表示;对 MoE,区分总参数的驻留容量与每 token 的激活计算、批内被访问的专家权重。
  4. 比较两种架构时固定任务质量、输入输出长度、并发与硬件;列出变化的量及未变化的量,再判断容量或带宽瓶颈是否迁移。

输出按 prefill、单步 decode、完整请求分列的容量、FLOPs、读写字节表。模型配置与示例计算见 calculations/README.md。系统级延迟、排队和调度交给 workload-modeling 或 inference-serving。

리뷰

아직 리뷰가 없습니다. 사용해 본 소감을 남겨 주세요.

댓글

로그인 없이 쓸 수 있습니다. 사용 후기, 질문, 작동하지 않은 환경 등을 편하게 남겨 주세요.

아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.

보내면 바로 공개됩니다. 이메일 주소나 전화번호 같은 개인 정보는 쓰지 마세요. URL은 2개까지입니다.

0 / 1,000자

이 양식은 reCAPTCHA로 보호되며 Google 개인정보처리방침 및 서비스 약관이 적용됩니다.

같은 저장소의 스킬

Compare computing devices for a defined AI model workload using memory capacity, computing speed, data transfer, energy use, and cost. Build a comparison that separates predicted performance from measurements and identifies the constraints that determine the choice.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Choosing hardware for a specific AI model
  • Checking whether a model fits in device memory
  • Explaining gaps between advertised and measured performance
bojieli/ai-infra-book6.9천2026년 10월 1일 업데이트

Plan when an agent’s tool environments are created, kept available, released, and restored. Estimate peak concurrency, resource use during work and waiting, total task duration, and cost across model calls, tool execution, validation, and retries.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Estimating peak concurrent agent environments
  • Comparing environment retention and recreation
  • Assessing cold starts and shared environment pools
bojieli/ai-infra-book6.9천2026년 10월 1일 업데이트

Estimate cross-server traffic, network bottlenecks, and synchronization waits for AI training or inference. Map communication onto physical network paths and assess how topology or communication changes affect the time needed to complete the job.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Find communication bottlenecks in distributed AI workloads
  • Compare network topologies and communication paths
  • Estimate synchronization waits under concurrent traffic
bojieli/ai-infra-book6.9천2026년 10월 1일 업데이트

Compare ways to distribute AI inference across multiple instances, including replicas and separate input-processing and generation stages. Estimate capacity, throughput, delays, state-transfer costs, and recovery overhead to support routing and scaling decisions.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Compare replicas with separate inference stages
  • Plan routing around compute capacity and cached state
  • Evaluate expert placement and load imbalance
bojieli/ai-infra-book6.9천2026년 10월 1일 업데이트

Compare running models or tasks on a device, nearby edge infrastructure, or in the cloud. Break down interaction delays, data transfers, energy use, costs, and failure recovery to assess deployment choices for multimodal and real-time agents.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Comparing device, edge, and cloud execution
  • Estimating interaction delays on unstable networks
  • Assessing battery use and sustainable processing speed
bojieli/ai-infra-book6.9천2026년 10월 1일 업데이트

Compare batching, request scheduling, and memory management for a single model serving instance. Assess concurrent request capacity, response times, generation speed, and GPU time per result that meets the required quality and deadline.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Comparing batching and request scheduling options
  • Checking memory capacity for concurrent requests
  • Assessing cache reuse and offloading tradeoffs
bojieli/ai-infra-book6.9천2026년 10월 1일 업데이트

bojieli의 스킬 모두 보기

이 스킬의 문제 신고