Capture record

  • Canonical URI: https://blog.aihao.tw/2026/10/11/ex-nvidia-1000x-cheaper-tokens/
  • Source class: secondary synthesis/community practice。AIHAO 由 ihower(小編)撰寫的繁中訪談重點整理,主要來源為 Invest Like the Best Podcast〈Ex-NVIDIA Engineer: Why AI Is About to Get 1000x Cheaper〉(來賓 Neil Movva),並加入作者對 Sail Research 官方文件與部落格的第一手查核。1
  • 原文標題: Token 怎麼再便宜 1000 倍? 前 NVIDIA 工程師的答案: 放掉低延遲,專做背景 Agent 的推論
  • 作者/出版者: ihower(小編)/愛好 AI 工程 Blog
  • 發布日期: 2026-10-11T00:00:00+00:00(feed metadata published_at;頁面 HTML 未含 JSON-LD,以 feed 時間為準)1
  • 擷取時間: 2026-10-11T14:02:56Z(canonical response Date: Sun, 11 Oct 2026 14:02:56 GMT)
  • Retrieval method: 以 Python 標準函式庫 urllib 直接 HTTP GET canonical page,status 200、Content-Type: text/html; charset=utf-8、HTML 68,401 bytes;從 div.post-content 解析可見正文(約 15,000 字),未保存完整 HTML payload。全程未使用 browser 或 browser process。1
  • HTTP metadata: response Date: Sun, 11 Oct 2026 14:02:56 GMT;HTML SHA-256 ab358bbdf0e2fe803f7db6a41093002d1179213874d51f738fd3db1d9d29cf87。
  • 直接讀取的延伸來源: Sail Research 官方 pricing 頁(status 200,核對 ASAP/Balanced/Flex 三檔與 Kimi K3、GLM-5.3 Flex 輸出價)、Sail Research 部落格〈Chasing Speed of Light on TPU v6e〉(status 200,核對 Gemma 4 31B prefill MFU ~32%→~63% 與 TPU v6e 規格)。2 3
  • 跳過的來源: Invest Like the Best YouTube 影片(https://www.youtube.com/watch?v=uyzqxIoiobU)本輪未讀取逐字稿或音訊,訪談內容以 AIHAO 整理與 Sail 第一方文件交叉核對為限;Patrick O’Shaughnessy X 貼文、Sail〈HTDYM (How To Deploy Your Model)〉部落格、OpenRouter 牌價頁與 OpenAI/Gemini Flex 官方文件本輪未直接讀取。
  • Saved payloads and SHA-256: 不保存外部 HTML;本檔 sha256 為 frontmatter 結束後 body 的 SHA-256。

Faithful source summary

文章整理 Invest Like the Best 訪談:來賓 Neil Movva(@neilmovva)大學時在 NVIDIA 做 GPU kernel,現創辦 Sail Research——自稱「token 工廠」,以 API 提供開源模型推論與長時間 Agent 雲端虛擬機,目標是業界最低每 token 成本。1

核心論點:不追求低延遲。從 kernel、晶片、資料中心到電力每一層都回答「如果使用者不在旁邊等,token 可以便宜到什麼程度」。AIHAO 把訪談拆成 15 節整理:(1) 推論主戰場由聊天轉向背景 Agent,「最好的延遲就是沒有延遲」;(2) test-time compute scaling 與無上限的背景需求是現在的原因,Neil 預測今年底背景/即時各半、之後 90/10;(3) 背景 Agent 適合 deep research(一萬個以上來源)、資安滲透測試(多模型混用找 bug)與主動式個人助理;(4) 「一天一兆 token」的 1000 倍目標:按 OpenAI 價格一兆 token 至少 500 萬美元,需再降三到六個數量級;(5) batching、tensor parallelism(8 倍硬體只快 4–5 倍)與 expert/pipeline parallelism 的取捨;(6) 「沒有爛晶片,只有爛定價」:看 FLOPS 與每小時持有成本,AMD、TPU、Trainium、Etched、SambaNova、d-Matrix 都用(heterogeneous serving);(7) Cerebras/Groq SRAM 晶片的 KV cache 弱點與 MLP/attention 混合架構預測;(8) 最沒效率的是 KV cache(多存一到兩個數量級)與閒置 GPU;(9) kernel 工程轉成「白板上設計、模型寫程式」;(10) 很多個 1 MW 小機房、省備援、接受 ~95% 可用率;(11) 「拾荒策略」:撿別人不要的晶片與電力(太陽能/風力+天氣預測搬移負載);(12) 非共識觀點:KV cache 放 flash、每瓦效能進步有限、晶圓廠品質取捨、HBM 短缺最值得切入、NVIDIA 不自己賣 token 的原因;(13) 推論支出與網路泡沫的差異(token 買了就馬上用掉);(14) 開源/閉源:前沿開發商付高代價換 3–6 個月領先,「間接蒸餾」會持續存在;(15) Transformer 擴展性、網路文字紅利用完(~30T 高品質 token)、下一階段資料是 RL 環境。1

AIHAO 另做第一手查核:Sail 官方 pricing 把同一模型分成 ASAP(無空閒算力直接回錯、不排隊)、Balanced(排隊等算力)、Flex(只接受背景請求或 Batch)三檔;Kimi K3 Flex 輸出 11.4、Moonshot 原廠 1.80(Z.AI 原廠與 Together/Fireworks 均 $4.40);目前 Flex 比原廠約便宜一半多,離 1000 倍仍是長期目標。1 2

延伸段落整理 Sail〈HTDYM〉與〈Chasing Speed of Light on TPU v6e〉:晶片值多少錢取決於「模型 × 工作類型 × 切分方式」組合,換一種拆法每美元 token 數可差 3 倍以上;Gemma 4 31B 在 24 種晶片、3,455 種配置評估後改用 TPU v6e(與 H200 相比輸入成本約降為三分之一、輸出增加約 25%),SGLang-JAX 開箱 ~32% MFU 經調校 attention kernel block size、通訊運算重疊與自寫 Pallas kernel 後提高到 ~63%,每輸入 token 成本再減半。1 3

Claim ledger

主張狀態證據界線
Sail Research 官方 pricing 提供 ASAP/Balanced/Flex 三種 completion window;Kimi K3 Flex 輸出 1.80/1M(USD per 1M tokens)。supported直接讀取 Sail 官方 pricing 頁核對一致。2
Gemma 4 31B 在 TPU v6e 上 prefill MFU 由 SGLang-JAX 開箱 ~32% 調校至 ~63%;TPU v6e BF16 FLOPs 與 H100 相當、HBM 約少 2.5 倍、記憶體頻寬不到一半。supported直接讀取 Sail〈Chasing Speed of Light on TPU v6e〉核對一致;範圍限於該文的 prefill 實驗設定(8192 token prompt、4×v6e)。3
Neil Movva 為前 NVIDIA GPU kernel 工程師、Sail Research 創辦人,公司定位「token 工廠」、目標業界最低每 token 成本。partially-supportedAIHAO 整理與訪談歸屬;YouTube 影片逐字稿本輪未讀取,Neil 履歷與 Sail 自我描述維持來源層級。1
「今年底背景/即時推論各佔一半、之後背景 90%」的預測;「一天一兆 token 需再降三到六個數量級、按 OpenAI 價格至少 $5M」。unresolvedNeil Movva 個人預測與估算,非可驗證事實;OpenAI 牌價換算本輪未獨立重算。1
Blackwell SRAM ~500 MB vs HBM 288 GB、WSE-3 SRAM 頻寬 21 PB/s vs Blackwell HBM ~10 TB/s;tensor parallelism 8 倍硬體只快 4–5 倍。partially-supportedAIHAO 引述 Neil 訪談數字,與既有 raw(aihao-ai-chip-architectures-intro-2026-10-11.md)相鄰但不構成同一 capture;本輪未逐項核對 NVIDIA/Cerebras 第一方規格。1
OpenRouter Kimi K3 batch 15、Z.AI/Together/Fireworks GLM-5.3 $4.40;OpenAI、Gemini 均有 Flex 方案且 Batch API 多為標準價五折。partially-supportedAIHAO 自稱查核 2026/10/11 牌價,本輪只直接核對 Sail pricing 頁;OpenRouter/Moonshot/Z.AI 牌價與 OpenAI/Gemini Flex 文件未獨立讀取。1
Gemma 4 31B 改用 TPU v6e 後「輸入 token 成本降為 H200 約三分之一、輸出增加約 25%」;HTDYM 在 24 種晶片、3,455 種配置評估。partially-supported數字出自 Sail〈HTDYM〉部落格,本輪未直接讀取該文(只讀了 TPU v6e 後續調校文);維持 Sail 第一方口徑層級。1 3
NVIDIA 今年出貨約 500 萬顆 Blackwell;Sail 蓋多個 1 MW 小機房、接受 ~95% 可用率、用天氣預測搬移太陽能/風力負載。partially-supportedNeil Movva 自述與公司策略口徑,維持訪談歸屬;NVIDIA 出貨數字未獨立核對。1
「KV cache 多存一到兩個數量級、DeepSeek 每年壓縮約一個數量級」「網路高品質文字 ~30T token」「前沿模型領先 3–6 個月」等判斷。observationalNeil Movva 訪談中的定性判斷與估算,非可驗證事實;作為方法性觀察保留。1
「推論的下一個主戰場是背景 Agent」「延遲是可以拿來換成本的條件」等結論。observationalAIHAO 的小結與 Neil 訪談觀點之綜合,可作為設計判斷參考,不視為已驗證產業趨勢。1

Evidence boundary

  • 本輪只保存 metadata、忠實摘要與 claim ledger,不保存 AIHAO、YouTube 或 Sail 的完整 HTML/音訊 payload。
  • YouTube 影片逐字稿未讀取;訪談內容以 AIHAO 整理為主要證據,Sail 第一方文件(pricing、TPU v6e blog)直接核對的部分標 supported,其餘維持 partially-supported/observational/unresolved。
  • 本筆為 raw-only ingest;未加入 verified,也未更新既有 concept page。

Footnotes

  1. /raw/articles/aihao-ex-nvidia-1000x-cheaper-tokens-2026-10-11.md ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9 ↩10 ↩11 ↩12 ↩13 ↩14 ↩15

  2. /raw/articles/aihao-ex-nvidia-1000x-cheaper-tokens-2026-10-11.md ↩ ↩2 ↩3

  3. /raw/articles/aihao-ex-nvidia-1000x-cheaper-tokens-2026-10-11.md ↩ ↩2 ↩3 ↩4