Stanford Beyond LLM — 從 LLM 到 Agentic Workflow
Stanford Beyond LLM 課程（原 Stanford CS 課程）是由 Gary Chen 以影片導讀形式整理的核心 AI 系統課程，涵蓋從 LLM 基礎到 Multi-Agent 系統的完整知識框架。
核心框架：橫軸 vs 縱軸
- 橫軸 — 換更強的 base model（GPT-4→GPT-5），這是 OpenAI/Anthropic 在做的事
- 縱軸 — 在現有 LLM 上疊加工程技術（Augmenting LLM），這是一般人與團隊能施力的方向
LLM 的四大限制
- 缺乏 domain knowledge — 公司內部資料、產品規格 base model 不知道
- 資訊落後 — 新詞、新事件、新公司模型不認識
- 控制困難 — LLM 是機率性輸出，production 環境需要穩定行為
- 長 context 衰退 — Lost in the middle 現象
強化單一 LLM 的三大技術
1. Prompt Engineering
- BCG 研究發現 Jagged Frontier 效應：AI 不是所有任務都加分，有些任務反而扯後腿
- 接受過 prompt 訓練的組別表現顯著優於未訓練組
- 不是職業，而是每個工程師的基本功
2. Fine-Tuning
- PEFT（參數高效微調）、LoRA
- 何時選 Fine-Tuning vs RAG 的決策框架
3. RAG（檢索增強生成）
- Chunking 策略、Embedding 模型選型、Vector Search
Agentic Workflow（系統設計）
四種核心模式：
- Reflection（反思） — LLM 對自己的輸出進行自我檢查與修正
- Tool Use（工具使用） — 呼叫外部 API、資料庫、計算引擎
- Planning（規劃） — 拆解複雜任務、動態調整執行順序
- Multi-Agent（多智能體協作） — 多個 Agent 分工合作
Evaluation（評估方法）
- 如何評估 RAG 管線的檢索品質
- Agent 行為的穩定性測試
- 端到端的任務完成率評估
Case Study：客服 Agent
從資料準備 → RAG 建置 → Agent 邏輯 → Evaluation 的完整實作串接。
關聯頁面
- garychen — 導讀此課程的 YouTube 創作者
- palantir-ontology — 企業級 AI Agent 架構（延伸閱讀）