速報:AI推進踩剎車?AWS證實企業「token成本抑制」動向

編輯觀點
重點要點
- AWS證實企業間出現抑制AI處理成本的動作
- 生成AI的token消費成本成為導入瓶頸
- 快取、小型模型與批次處理為主要對策
觀察分析
ITmedia專訪AWS:企業導入生成AI後,「token消費成本」的抑制動作確實在發生——推論費用隨用量線性膨脹,讓部分企業開始踩剎車。對策收斂在提示快取、小型模型分工與批次處理。AI景氣的下半場,省token的能力就是毛利率,基礎設施商與企業用戶的成本攻防才剛開始。


