LLM Wiki:Karpathy 知識庫模式
由 andrej-karpathy(OpenAI 共同創辦人、前 Tesla AI 總監)提出的知識庫概念。核心思想是讓 AI 增量構建一個「持久化」的知識庫(Wiki),而非每次從零開始 RAG 檢索。
核心問題:RAG 的無積累困境
傳統 RAG(Retrieval-Augmented Generation)如 ChatGPT、NotebookLM:每次提問,AI 搜索文檔 → 抓取相關片段 → 臨時拼湊答案。問一個類似問題,全部重來。Nothing was saved. Nothing compounds.
解決方案:LLM Wiki
AI 讀取文檔 一次,建立結構化的 Wiki(互連的 Markdown 檔案)。新來源加入時,AI 不只是儲存,而是:
- 讀取並提取關鍵概念
- 整合進現有 Wiki:更新既有頁面、為新概念建立新頁面
- 連結相關概念
- 標註矛盾(若新來源與 Wiki 既有內容衝突)
隨著時間推移,Wiki 持續增長、越來越豐富。提問時 AI 基於已建構好的知識庫回答,而非從零搜索。
Karpathy 的類比
「把 Obsidian 想像成 IDE,LLM 是程式設計師,Wiki 是程式碼庫。你很少自己寫 Wiki,AI 負責寫和組織。你專注於放什麼進去、問什麼問題。」
三層架構
| 層 | 內容 | 特性 |
|---|---|---|
| Raw Sources | 原始文檔(PDF、文章、會議記錄) | 唯讀,AI 不可修改 |
| Wiki | AI 建立維護的 Markdown 頁面 | index、concept、entity、comparison 頁面,互相連結 |
| Schema | 規則文件(CLAUDE.md) | 定義 wiki 結構、ingest 流程、格式規則 |
Schema 文件內容(CLAUDE.md)
- Purpose — 知識庫的主題(唯一需要客製化的行)
- Folder structure — raw/ 與 wiki/ 位置
- Ingest workflow — 讀文檔 → 萃取概念 → 建立/更新頁面 → 更新 index → 記錄異動
- Page formatting rules — 摘要置頂、每個主張引用來源、頁面間互相連結
- QA behavior — 優先查 Wiki、標註來源、不確定時明確告知
Linting(Wiki 健診)
定期請 AI 檢查 Wiki 健康度,類似程式碼 lint:
- Contradictions — 頁面間的矛盾主張
- Outdated claims — 過時資訊
- Orphan pages — 無任何頁面指向的孤立頁面
- Missing pages — 被提及但無獨立頁面的概念
Zettelkasten vs LLM Wiki:容器之爭
WenHao Yu(余文豪)在其分析中提出 LLM Wiki 與 Zettelkasten(卡片盒筆記法)的核心分歧 — 一張卡片到底是什麼?
| 維度 | Zettelkasten / LYT | Karpathy LLM Wiki |
|---|---|---|
| 單元 | 原子概念(一張卡一件事) | 主題聚合(一張 page 裝主題 best-of) |
| 分類決策 | 邊界由概念本身決定,免分類 | 須決定主題邊界、哪些 source 併進同一 page |
| 優點 | 歸檔不用多想 | 打開一張就看到全貌 |
| 代價 | 靠連結拼出主題全貌 | 重現 folder/tag 時代的分類問題 |
「Evernote 時代你在問『這個筆記放哪個 folder』。Notion 早期你在問『這個頁面打哪些 tags』。Karpathy wiki 現在在問『這個 source 併進哪張 wiki page』。三個問題的形狀一模一樣:對一個新進來的東西,你要決定它屬於哪個容器。」
OKF:把 pattern 變成可攜標準
Google Cloud 後來提出 OKF(Open Knowledge Format),把 LLM Wiki 這個 pattern 標準化成 folder + Markdown + YAML frontmatter 的最小共同規則。
OKF 的重點不是改變 LLM Wiki 的核心思路,而是解決「每個人做出來的 wiki 都長得不一樣,換工具就不容易讀」這個可攜性問題。open-knowledge-format 把這層標準化整理成獨立概念。
Model Collapse 風險
HN 社群指出 LLM 反覆 ingest 自己寫的 wiki 可能造成 Model Collapse — 細節被磨平、風格單一化(Nature 2024 論文論證)。
Vibe Thinking 風險
「把整理外包 = 把思考外包」— 若只讓 AI 產出而不親自理解,wiki 看似有組織但人未內化。
使用情境
- 學生/研究者:論文閱讀過程中累積結構化知識庫
- 教師:累積課程資料與發展素材
- 企業:會議記錄、客戶對話、專案文件 → 新人 onboarding 直接瀏覽 Wiki
- 個人學習:書摘、Podcast、文章 → 自建百科全書
已知限制
- 適合個人規模(~100 篇文檔),大規模需要更多基礎設施
- Garbage in, garbage out — 必須策劃來源品質
- 需要 coding agent(Claude Code / Codex / Cursor)作為 AI 引擎
- AI 可能犯錯(誤分類、錯連結),需定期 lint
社群實作的取捨
AIHAO 對 2026 年 4–5 月 LLM Knowledge Base 熱潮的整理,把 Karpathy 原始 pattern 放到多個實作裡比較:Elvis Saravia / DAIR.AI 適合作為最小教學版,Yanhua 強調 CLAUDE.md 與 index.md 的防腐化規則,范凱的四層工作流加入 brainstorming / artifacts,Tim Feng 用 JSON index 做 progressive disclosure,GBrain 則把規模推到 Postgres、pgvector 與 typed knowledge graph。這個比較補強一個判準:先用 raw / wiki / schema 與索引檔跑通,不要在個人規模一開始就上向量資料庫或知識圖譜;等 index.md、全文搜尋或 QA 回寫真的成為瓶頸,再升級搜尋層或資料庫。
這篇也把 LLM Wiki 和 open-knowledge-format 的共同底線講清楚:raw source 必須唯讀、derived wiki 要可查詢可回寫、schema 要明確約束命名、引用、衝突處理與 lint。對 hermes-lmwiki-obsidian-workflow 與本 wiki 的 watch loop 來說,最小可行解不是增加 registry 或資料庫,而是確保每次 ingest 都留下 raw、更新頁面、更新 index / log,並用 hash 與 wikilink 檢查防止知識庫腐化。
LLM Wiki 的適用邊界:personal + immutable + synthesis-heavy
AIHAO 2026-07-25 導讀把 LLM Wiki 的適用條件收斂成 personal + immutable + synthesis-heavy:個人使用可避免跨來源 ACL 傳遞,原始資料穩定可避免合成頁面因 source 變更而過期,而任務若本來就需要跨文件綜合,ingest 時先整理便是需求而非額外負擔。這是對「LLM Wiki 能否取代企業 KB」更精確的判準,不是宣稱單一知識庫模式適用所有 retrieval。
對企業場景,快速查找、數值查詢、跨文件綜合、持續變動資料與不同 ACL 往往同時存在;此時合成頁面的隱性依賴、過期資訊與權限合併會放大維護成本。較穩的設計是先按 sub-domain 檢查規模、資料穩定性、權限一致性、綜合需求與實際查詢頻率,再決定哪些區域採 LLM Wiki,其他區域回到 metadata、BM25、vector、rerank、graph 與 ACL 的 hybrid retrieval。
相關連結
- hermes-lmwiki-obsidian-workflow — 以 Hermes 為自動化引擎的類似工作流
- 白白說大模型 — 介紹 LMWiki 軟體的影片
- Teachers Tech (Jamie) — 教學如何用 Obsidian + Claude Code 實作
- WenHao Yu(余文豪) — Zettelkasten 使用者實測對比 Karpathy pattern 與 LYT
- whycallqq — 訪談與逐字稿來源
- karpathy-zettelkasten-comparison — 與 Zettelkasten 的對比分析
- open-knowledge-format — Google Cloud 的 OKF v0.1 開放知識格式,標準化 LLM Wiki / knowledge bundle 結構
- llm-wiki-vs-okf — LLM Wiki 與 OKF 的對比分析
參考連結
- Karpathy 原始 tweet (2026-04-02):https://x.com/karpathy/status/2039805659525644595
- Karpathy 原始 gist:https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f