- 這套 KV（鍵值）cache 解決方案整合 Supermicro Petascale 儲存伺服器、IBM Storage Scale 軟件、NVIDIA Dynamo 推論軟件及 NVIDIA Spectrum-X 乙太網絡交換器
- 效能測試顯示，相較未使用 KV cache 的系統，這套解決方案可縮短長上下文視窗下的首個詞元生成時間（TTFT）
- 客戶可透過提升 GPU 使用率、吞吐量及基建擴展能力，大幅改善推論效率
加州聖荷西2026年11月5日 /美通社/ — Supermicro, Inc.（納斯達克股票代碼：SMCI）今日宣佈，攜手 IBM 及 NVIDIA 推出全新的 KV cache 儲存解決方案。Supermicro 是一家涵蓋 AI、企業級運算、儲存及 5G/邊緣領域的整體 IT 解決方案供應商，提供 Data Center Building Block Solutions®（DCBBS）。這套聯合解決方案整合了採用 AMD EPYC 9005 系列處理器（「Turin」）的 Supermicro Petascale 全快閃儲存伺服器、IBM Storage Scale 軟件，以及 NVIDIA Dynamo 推論框架軟件和 Spectrum-X 乙太網絡。
KV Cache high-performance platform for large-scale AI inference
這些技術相結合，可大幅縮短 AI 模型開始生成回應所需的時間。隨著企業採用代理式及長上下文 AI 工作流程，這項優勢尤其重要。利用本地 GPU 記憶體以外的儲存空間擴展 KV cache 容量，可提升 GPU 使用率及推論吞吐量，同時支援 KV cache 內容的高可用性，並在不中斷服務的情況下擴展 KV cache 容量。由此構建的推論架構更易擴展、更具韌性，帶來更快捷、回應更靈敏的 AI 體驗。
Supermicro 總裁兼行政總裁 Charles Liang 表示：「隨著 AI 工作負載由訓練延伸至推論，企業及新型雲端服務供應商在部署代理式 AI，以及長上下文、多輪互動生成式 AI 所需的高吞吐量推論工作負載時，需要消除瓶頸，提升 GPU 效率。我們與 IBM 及 NVIDIA 聯合推出的解決方案，清楚展示了這些效能優勢。」
如欲觀看本新聞稿的影片摘要，請按此。
推論工作負載分為兩個階段：預填充及解碼。在預填充階段，輸入文字會轉換為詞元（token），再由大型語言模型（LLM）處理，生成推論所需的中間鍵值（KV）狀態。透過將這些已計算的 KV 狀態儲存於持久化 KV cache，系統可重用這些狀態，毋須為後續請求重新計算相同的上下文。代理式工作流程、編程助手、長上下文檢索增強生成（RAG）、多模態 AI 及多輪互動應用，在處理大型程式碼庫、文件、對話、圖像及其他上下文時，可能產生大量 KV 狀態，迅速超出 GPU 及 CPU 的記憶體容量，因此需要將 KV cache 轉存至大容量共用網絡儲存空間。
Supermicro、IBM 及 NVIDIA 的 KV cache 解決方案提供了這個持久化儲存層，有助提升推論效率、吞吐量及擴展能力，同時減少重複運算。
這套 KV cache 解決方案為客戶帶來的主要優勢包括：
- 聯合方案驗證：Supermicro、IBM 及 NVIDIA 進行了廣泛的叢集層面測試，以評估效能，測試涵蓋高併發，以及其他工作負載造成網絡流量干擾的情境。
- 顯著提升推論速度及效能一致性：Supermicro 與 NVIDIA 使用一個擁有 1,200 億個參數的大型語言模型進行聯合測試。結果顯示，當提示輸入長度為 130,000 個詞元時，持久化 KV cache 使首個詞元生成時間（TTFT）比未使用 cache 時快達 56 倍。[1] 當輸入長度由 30,000 個詞元增加至 130,000 個詞元時，使用 KV cache 的系統，其 TTFT 僅增加 0.377 秒，未使用 cache 的系統則增加 29.55 秒，讓長上下文工作負載的效能更為一致。
- 提升 GPU 使用率及吞吐量：透過將經常重用的上下文保存在 GPU 記憶體以外，並維持可供使用的狀態，這套解決方案有助減少 GPU 閒置時間、提升推論吞吐量，並在毋須按相同比例增加 GPU 資源的情況下，支援更高併發量。
- 企業級韌性及可信 AI 營運：持久化、高可用的 KV cache 有助保護已快取的推論狀態，同時支援 GPU 節點及叢集之間的共用存取，提升大規模 AI 服務的韌性及儲存效率。
- 經驗證、可直接部署的 AI 基建：Supermicro、IBM 及 NVIDIA 在高併發及工作負載互相干擾的情境下，聯合驗證了這套整合架構。架構結合 NVIDIA Dynamo、IBM Storage Scale 軟件、Supermicro Petascale 伺服器及 NVIDIA Spectrum-X 網絡。
- 加快部署服務：Supermicro 的廠內機架整合及現場部署服務，可將這套解決方案的部署時間由數星期縮短至數天。
IBM 儲存業務總經理 Sam Werner 表示：「企業需要從根本上改善 AI 推論的擴展方式。IBM、Supermicro 及 NVIDIA 正攜手提供高效能、具韌性的 KV cache 解決方案，協助客戶充分發揮 GPU 投資價值，讓儲存容量獨立於運算資源擴展，並大幅提升基建效率。這次合作是推動企業 AI 推論變得更易擴展、更可靠及更具成本效益的重要一步。」
NVIDIA AI 推論產品主管 Shruti Koparkar 表示：「代理式 AI 及長上下文應用，需要在多個步驟之間有效重用上下文。NVIDIA Dynamo 有助協調分散式推論，讓企業從每個 GPU 獲得更多可用吞吐量。透過將 NVIDIA Dynamo 及 Spectrum-X 乙太網絡，與 Supermicro Petascale 儲存伺服器及 IBM Storage Scale 結合，這套 KV cache 解決方案建立了高效能共用儲存層，可減少重複運算、縮短首個詞元生成時間，並協助客戶擴展具韌性的 AI 推論服務。」
如欲了解更多 Supermicro 及 IBM 解決方案資訊，請按此；如欲閱讀 IBM Redbook《Context without Limits: A High-Performance KV Cache Platform for Large-Scale AI Inference》，請按此。
關於 Super Micro Computer, Inc.
Supermicro（納斯達克股票代碼：SMCI）是全球應用程式最佳化整體 IT 解決方案的領導者。Supermicro 在美國加州聖荷西成立和營運，致力為企業、雲端、AI 及 5G Telco/Edge IT 基礎架構提供率先上市的創新。我們是全方位 IT 解決方案供應商，提供伺服器、AI、儲存、物聯網、交換系統、軟件和支援服務。Supermicro 的主機板、電源和機箱設計專業知識進一步增強我們的發展和生產，並為我們的全球客戶提供從雲端到邊緣的新一代創新。我們的產品均由公司內部（在美國、亞洲和荷蘭）設計和製造，並利用全球營運實現規模、效率和最佳化，從而改善 TCO 和降低對環境的影響（綠色運算）。屢獲殊榮的 Server Building Block Solutions® 產品組合，允許客戶從由我們靈活兼可重複使用的構建塊構建的廣泛系統系列中進行選擇，而為客戶的確切工作負載和應用進行最佳化。這些構建塊支援廣泛外形尺寸、處理器、記憶體、GPU、儲存、網絡、電源和冷卻解決方案（空調、自然風冷或液體冷卻）。
Supermicro、Server Building Block Solutions 和 We Keep IT Green，均為 Super Micro Computer, Inc. 的商標及/或註冊商標。
全部其他品牌、名稱和商標均為其各自擁有者的財產。
1測試結果詳見 IBM Redbook：https://www.redbooks.ibm.com/docs/MD260021/MD260021.html