記得張杰倫報導
在生成式人工智慧(Generative AI)爆發的時代,科技巨頭與創業者們正沉浸在一種全新的競爭方式中。在矽谷,衡量一個人和一家公司有多「AI原生」(AI-native)的指標,不再只是看你開發了什麼大模型,而是看你每天「燒」了多少「Token」。這種將 Token 用量拉到極限的現象被稱為 「Token Maxing」。
那麼,這個充斥在所有 AI 帳單、模型定價與開發者討論中的最新關鍵字「Token」,究竟是什麼?它又是如何成為 AI 時代的新型大宗商品與數字貨幣的?
解密 Token:AI 的基本語言與計量單位
簡單來說,Token 是大型語言模型(LLM)處理和理解文字的基本計量單位。當我們向 AI 輸入一段話時,計算機並不能直接理解人類的自然語言,模型必須先將這些句子、單字甚至標點符號拆解成一個個小片段。這些被拆分出來的片段就是 Token。
以英文為例,一個 Token 大約相當於 0.75 個單字;而在中文裡,一個字可能就是一個 Token,有時甚至需要多個 Token 來組成。因此,Token 既是 AI 閱讀世界的「單字本」,也是大模型廠商向用戶與企業收取費用的「電錶」。
在實際應用中,一次最簡單的對話互動,背後的 Token 帳單通常由多個部分構成:
1. 輸入 Token(Input Token):用戶發送給模型的提示詞與上下文中包含的文字量。
2. 快取輸入 Token(Cached Input Token):若相同的上下文或大型文件之前已被系統快取,再次調用時則會以較便宜的價格計費。
3. 輸出 Token(Output Token):AI 思考後所生成並回傳給用戶的文本內容。
成本的結構性巨變:從傳統軟體到 AI 經濟
Token 的出現,徹底顛覆了傳統軟體(SaaS)行業的商業邏輯。在過去,軟體的研發投入通常是一次性的,用戶越多,邊際成本就越低,是一門越賣越賺的生意。
然而,在 AI 時代,每一個用戶的每一次點擊、每一輪對話,背後都有著實時在運轉的 Token 帳單。用戶使用得越深、功能越智能,企業需要付給大模型廠商的 Token 費用就越高。這項成本不會隨著規模化而被稀釋,而是隨著用量呈線性增長。這也是為什麼許多 AI 創業公司一拿到風險投資,第一件事就是將資金轉化為購買 Token 的「核心彈藥」。
更進一步的趨勢是,隨著 AI 從簡單的單次對話走向全自動的「AI Agent」(智慧體),Token 的消耗量正迎來指數級的爆發。當人類工程師手動使用 AI 助手時,一天可能只消耗幾十萬 Token;但一旦部署了 24 小時在後台自動查資料、寫代碼、跑測試的 AI Agent,Token 的消耗量會瞬間跳躍到千萬甚至億級。
Token 的未來:走向大宗商品與多元定價
當前的 AI 市場中,Token 正在演變成一種新型的「大宗商品」(Commodity),其發展路徑如同原油到汽油的演變。圍繞著 Token,人類歷史上曾出現過的商業模式——期貨、套利、批發、零售、聚合平台計費等,正在 AI 圈全面重演。
與此同時,Token 的定價方式也在經歷巨大的進化。業界正逐步嘗試從單純的「按字數計費」,轉向「按複雜度計費」(Effort-based pricing)或「按任務完成度計費」(Task-based pricing)。
從衡量員工 AI 參與度的排行勳章,到企業每個月最大筆的營運開支,Token 已經不再只是一個冰冷的技術名詞。它正在編織出一場全新的貨幣戰爭,成為驅動未來數位經濟運轉的最核心資產。在這個剛開始的遊戲裡,誰能更高效地理解並利用 Token,誰就能在 AI 時代的浪潮中佔據先機。

