ai-pipeline

Source Metadata

Original cangjie-skill frontmatter from the distillation run:

id: f19
title: "AI流水线 — 多组件串联的系统设计模式"
book: "AI for Everyone"
author: "Andrew Ng（吴恩达）"
source: p19, p20
tags: [system-design, pipeline, architecture, multi-module, error-propagation]
related_skills:
  - slug: ml-workflow, relation: composes-with
  - slug: ab-mapping, relation: depends-on

R — Reading（原文引用）

"像这样的AI系统四步或多步流程，有时称为流水线 — 多个AI组件协作，依次处理数据...像自动驾驶这样的复杂AI产品，需要多个AI组件协同工作。" — p19, p20

I — Interpretation（用自己的话重新阐述）

很多复杂AI产品无法用单个A→B映射解决，需要将问题分解为多个步骤，每个步骤是一个独立的A→B模块，这些模块串联起来形成流水线：

经典案例1：智能音箱

1. 唤醒检测（音频→是否唤醒词）
2. 语音识别（音频→文本）
3. 意图识别（文本→用户意图）
4. 命令执行（意图→执行动作）

经典案例2：自动驾驶

1. 物体检测（传感器数据→物体位置）
2. 运动预测（物体位置→未来轨迹）
3. 路径规划（轨迹预测→行驶路径）
4. 控制执行（路径→方向盘/油门/刹车）

关键洞察：误差累积

• 如果每个模块准确率95%，4个模块串联后整体准确率只有 0.95^4 ≈ 81%
• 这意味着单模块指标高≠系统整体好
• 必须从端到端系统角度优化，而非只看单模块指标

A1 — Past Application（过去应用案例）

• 智能音箱：早期智能音箱识别"设置一个计时器"这种简单指令经常出错。分析发现：唤醒成功率98%、语音识别96%、意图识别97%、执行99%，但端到端只有0.98×0.96×0.97×0.99≈90%。10%的错误率让用户体验很差。团队后来优化了最薄弱的环节（语音识别），整体体验大幅提升。

A2 — Future Trigger（未来触发条件）

触发场景：

• 设计一个复杂AI产品，需要多个步骤/模块
• 单模块指标都很高，但用户体验不好（可能是误差累积）
• 需要将复杂AI问题分解为多个子问题
• 多个团队协作开发一个AI系统

语言信号：

• "多个AI模块"
• "流水线"
• "AI系统架构"
• "模块串联"
• "端到端"
• "误差累积"
• "复杂AI产品"

区分要点：

• 是单个A→B问题还是多步骤问题？单个用ml-workflow，多个用本skill。
• 关注系统设计还是流程管理？本skill面向系统设计。

E — Execution（执行步骤）

1. 分解问题：将复杂AI问题分解为多个连续的A→B步骤。

2. 绘制流水线：明确每个步骤的输入（A）和输出（B），以及步骤之间的数据流。

3. 评估单模块性能：为每个模块设定独立的准确率/性能指标。

4. 计算端到端性能：用乘法估算整体性能（各模块准确率的乘积）。

5. 识别瓶颈：找到对整体性能影响最大的模块（通常是准确率最低的环节）。

6. 优化策略：

   • 优先优化最薄弱的模块
   • 考虑在关键步骤增加冗余或人工兜底
   • 设计端到端的评估指标（而非只看单模块）

7. 组织设计：每个模块可以由不同团队负责，但需要统一的接口规范和端到端测试。

完成标准：完成流水线架构图，明确各模块的A→B映射、接口规范和端到端性能指标。

B — Boundary（使用边界）

不适用场景：

• 单一A→B映射能解决的问题（不需要流水线）
• 模块之间没有顺序依赖（可以并行处理）
• 系统复杂度低（2个以下模块）

失败模式：

• 只看单模块指标，忽视端到端性能
• 模块之间接口不规范，导致数据传递错误
• 每个模块由不同团队优化，但没人对端到端结果负责
• 过度设计流水线——能用一个模型解决的事，拆成三个模块

作者盲区：

• Andrew Ng没有深入讨论模块之间的反馈回路——实际系统中，后一步的结果可能需要反馈给前一步（如语音识别错误时重新唤醒）。
• 误差累积模型假设各模块独立，但实际上模块之间可能相关——一个模块的错误会影响下一个模块的输入分布。

相关 skills

• ml-workflow — composes-with：AI流水线是ML工作流的扩展——每个模块内部遵循ML工作流（收集→训练→部署），多个模块串联形成流水线。两者结合覆盖从单模型到多模块系统的完整执行流程。
• ab-mapping — depends-on：流水线中每个模块本质上都是一个A→B映射，理解ab-mapping是设计流水线的前提。