优化 Agent 推理延迟与成本、诊断首 token 变慢或缓存命中率下降时使用——KV Cache 前缀不变性原则、三条铁律、五种破坏缓存的错误上下文管理模式、Chat Template 与历史思维链回传策略、缓存作为架构约束(缓存边界、子 Agent 字节级对齐、替换字符串冻结)。
日本語の概要は準備中です。原文の説明を表示しています。
44 件(bojieli のリポジトリ) ・ 人気順
概要と使いどころ
优化 Agent 推理延迟与成本、诊断首 token 变慢或缓存命中率下降时使用——KV Cache 前缀不变性原则、三条铁律、五种破坏缓存的错误上下文管理模式、Chat Template 与历史思维链回传策略、缓存作为架构约束(缓存边界、子 Agent 字节级对齐、替换字符串冻结)。
日本語の概要は準備中です。原文の説明を表示しています。
设计 Agent 系统提示词、上下文结构或按需加载的 Skill 时使用——覆盖 API 消息角色与「静态前缀 + 轨迹」结构、系统提示词写法(结构化、SOP、业务规则细化、few-shot)、Agent Skills 渐进式披露与 SKILL.md 编写、提示注入的上下文层防御,以及注意力位置偏好等布局原则。
日本語の概要は準備中です。原文の説明を表示しています。
组织与检索超越扁平文本块的知识时使用——涵盖 RAPTOR/GraphRAG 结构化索引选型、OpenViking 文件系统范式与 L0/L1/L2 按需加载、增量更新 PR 审核流与定期整理、Agentic RAG 与安全边界、上下文感知检索、结构化数据知识发现,以及双层记忆架构。
日本語の概要は準備中です。原文の説明を表示しています。
构建或修复 Agent 迭代循环时使用——解决 Agent 过早宣称完成、活干到一半就停、假成功、循环停不下来等问题,设计验证器与终止条件,实现提议者-审核者(Proposer-Reviewer)双 Agent 循环。覆盖过早终止三种形态、验证器是循环瓶颈的原则、LoopX 持久控制面、LongHorizon-Harness 的 MEA 循环、提议者-审核者最小不变量(审核者读独立证据、退回给可定位修复条件)。
日本語の概要は準備中です。原文の説明を表示しています。
用真实检索工具查找可追溯的事实、数据和来源。
日本語の概要は準備中です。原文の説明を表示しています。
规划 Agent 模型调用与工具环境的创建、驻留、释放和恢复。用于并发容量、沙箱成本与完整任务时延分析。
日本語の概要は準備中です。原文の説明を表示しています。
为单实例推理服务比较批处理、请求调度、KV 缓存、卸载和推测解码。用于容量、吞吐、延迟和每合格请求成本的取舍。
日本語の概要は準備中です。原文の説明を表示しています。
为给定模型负载比较加速器的容量、有效计算、内存带宽、功耗与成本。用于硬件选型或解释标称峰值与实测差异。
日本語の概要は準備中です。原文の説明を表示しています。
估算多节点训练或推理的跨服务器流量、网络瓶颈与同步等待。用于比较拓扑、通信路径和网络优化收益。
日本語の概要は準備中です。原文の説明を表示しています。
比较模型或任务放在端侧、边缘或云端时的交互延迟、网络传输、能耗与恢复。用于多模态和实时 Agent 部署。
日本語の概要は準備中です。原文の説明を表示しています。
比较推理副本、prefill/decode 分离、专家放置与共享 KV 的跨实例方案。用于容量规划、路由、扩缩容和故障恢复。
日本語の概要は準備中です。原文の説明を表示しています。
把持续请求、多轮 Agent、实时交互或 RL 轨迹转成容量与时延负载。用于估算峰值、状态驻留和完成任务的真实成本。
日本語の概要は準備中です。原文の説明を表示しています。
估算一次模型执行能否放入给定硬件,并定位计算、访存和串行等待的下界。用于粗估容量、时延或优化收益;具体模型结构另用 model-footprint。
日本語の概要は準備中です。原文の説明を表示しています。
比较模型配置或架构改变对权重容量、KV 状态、前向计算和访存的影响。用于选模型、上下文或注意力与 MoE 方案。
日本語の概要は準備中です。原文の説明を表示しています。
估算训练或 RL 作业的显存、步时、checkpoint、故障重做和完成期限。用于比较分片、重计算、卸载与集群规模。
日本語の概要は準備中です。原文の説明を表示しています。
诊断 GPU 算子、融合、编译和运行时提交的性能问题。用于判断重读、重算、启动或同步是否位于请求关键路径。
日本語の概要は準備中です。原文の説明を表示しています。
比较数据、张量、序列、上下文、流水和专家并行的容量与通信代价。用于决定多卡切分和超节点规模。
日本語の概要は準備中です。原文の説明を表示しています。
Find chats by name, read or search WeChat messages with the local GreenBubbles CLI. Use for bounded live or snapshot queries; route setup problems to greenbubbles-setup and maintained notes to greenbubbles-personal-memory.
日本語の概要は準備中です。原文の説明を表示しています。
Build or revise private, cited Markdown notes from the user's WeChat history in the current agent session. Use for a maintained personal wiki or incremental notes; use greenbubbles-context for a one-off lookup or summary.
日本語の概要は準備中です。原文の説明を表示しています。
Install or diagnose the local GreenBubbles CLI and read-only WeChat access. Use for a missing CLI, failed database access, source selection, or initial owner-operated key capture.
日本語の概要は準備中です。原文の説明を表示しています。