代理人太好用,Uber、微軟、台灣金融業都傳AI帳單失控
再見!便宜AI
「Token經濟學」正翻轉中美AI競賽
從怕Token用太少,到怕用太多的新時代
19檔受惠台股出列,黃仁勳、陳立武搶賣「省Token」電腦
封面故事
「你已經達到階段額度,請等到下午一點零三分之後,重新計算。」你是否也在AI對話框看過相似的句子,而且出現的次數越來越頻繁?
這句話,不只是對個人AI用量的提醒,背後更藏著一套牽動著企業競爭力、AI硬體新商機、乃至中美AI模型大戰的「Token經濟學」。
Token,是AI模型運作的最小計價單位, 你對AI說的每一句話、它回覆的每一個字,都會被拆解成一個又一個的Token來計費。訂閱制的AI模型多數都設有Token使用上限。
如今,這個大小約只有○.七五個英文單字的單位,竟然成了可以撬動全球科技版圖、地緣政治的新槓桿。
先來看看過去半年,國內外企業「失控的AI帳單」。
首先是美國叫車巨頭Uber,今年不到四個月時間,它就燒光了原本編列一整年、用於編碼工具的AI預算。由於費用大幅超支,逼得它祭出限制,每位員工每個月,在每項AI工具最多只能花費一千五百美元(約合新台幣四萬七千元)。
「我們不得不開始討論Token消耗及其相關成本,與員工人數之間的對比,並在兩者之間做出權衡。」Uber總裁兼營運長麥克唐納(Andrew Macdonald)說。
AI帳單成財報不可忽視費用
Token用量增速遠超成本下跌速度
爆量的帳單,引發一票原先積極鼓勵員工用AI的科技巨頭,紛紛踩煞車。
像社群網站龍頭Meta,已發出一份內部備忘錄,警告員工AI用量正呈現「指數級增加」;電商龍頭亞馬遜(Amazon),也悄悄撤下員工比拚AI用量的排行榜。
鏡頭轉到台灣,同樣的現象也在發生。
「前五大銀行,國泰、中信這些業者,今年明顯感受到閉源模型的Token(使用量)已經爆量。」一名AI服務商高階主管指出,不只金融機構,包括國內許多傳產業者也開始憂心,公司可能會扛不住快速增加的AI成本。
而且真正的挑戰,恐怕還沒到。
一家台灣正全力開發AI代理人應用的大型金控業者估算,未來如果全流程都改由AI代理執行,屆時Token的用量,將可能較現在飆升「一百倍」。
隨Token用量飆升而來的鉅額帳單,正在重擊企業的錢包。如今的AI,已不再是企業可以忽略的實驗支出,而是財報上具有存在感的費用。
你我一般的個人,也同樣有感。近來在網路社群上,許多人因為快達到AI額度上限,而患上「AI焦慮症」。
譬如有人因為額度用光,面對五小時的空檔感到手足無措;有人時刻緊盯剩餘額度,既不敢放手使用,也擔心額度沒用完太浪費。
美中AI新決勝點:性價比
微軟、Coinbase都考慮轉投中企
弔詭的是, 這波AI帳單的暴增,不是因為Token變貴了;實情是,它的每單位造價成本,反而比過去便宜。
過去三年來,在科技巨頭持續投入鉅資擴大算力與Token供給量的情況下,Token每單位成本其實是一路走跌。高盛證券指出,半導體供應商在推論成本上,每年能提供超過六○%的成本降幅。
真正問題在於: Token使用量的飆升速度,遠超過Token每單位成本的下跌速度。
今年初以來,從龍蝦熱潮、到超強模型Claude Mythos,在在顯示AI的能力越來越強,並且變成能執行大小任務的「AI代理人」,它能幫你讀完信箱、整理試算表,也可以幫你接下一段程式碼、自主除錯好幾個小時。
過去,人類與AI一問一答,即使再頻繁,消耗Token量也有限;但在代理人運作的情境,AI收到指令後,會自己做邏輯推理、拆解任務、查資料、規畫計畫、執行, 每一個步驟, 都是在「 燒Token」。
完整封面故事報導,請至書城選購本期《商業周刊》