【數位關鍵字】EP178.TOKEN是AI的「字」還是「錢」？所有人都該懂的基本觀念

Video Description

使用生成式AI服務時，大家常會碰到「TOKEN」這個名詞。不管是OpenAI、Google、AWS或Anthropic等提供的AI服務，計費方式幾乎都與TOKEN相關，常見標示為「每千個TOKEN多少錢」。數位時代創新長黃亮崢James，邀請AWS社群英雄蔣鐙緯Ernest，深入解析TOKEN這個影響AI使用成本與效能的關鍵概念。 聽完這集節目，你可以學到： 1.TOKEN的基本概念：TOKEN是大型語言模型處理文本的基本單位，可視為模型理解文字的最小片段。 2.不同語言TOKEN差異：英文一個單字約1.3個TOKEN；中文則約一個字2個TOKEN。雖然中文每字TOKEN較多，但表達同樣意思的字數較少，整體差異不大。 3.常見TOKEN用量參考： 。簡訊（約70個中文字）：約140-160個TOKEN 。A4文件（約800字）：約1,600-2,000個TOKEN 。部落格文章（2,000字）：約4,000-5,000個TOKEN 4.企業評估TOKEN預算的方法：先定義問題、進行小規模試驗，並考慮使用頻率。他強調，現今TOKEN單價已相當低廉（如Amazon Nova模型，輸入每千TOKEN僅約0.000035美元），企業不應過度擔心TOKEN成本，而應專注於找出能為業務帶來最大價值的AI應用場景。 5.多模態輸入的TOKEN計算：圖片、語音等多模態輸入在TOKEN計算上更為複雜： 。圖片：一張1080p圖片約50-250個TOKEN，高品質模式可能超過1,000個 。語音：通常按時間長度計價 。影片：拆解成一連串圖片來處理，TOKEN用量相當可觀 6.Prompt優化與TOKEN的關係：Ernest分享了精簡Prompt的重要性。例如： 。冗長版：「請你寫一篇環保文章，介紹概念、說明重要性，舉例如何實踐...」 。精簡版：「寫一篇300-500字環保文章，介紹概念、重要性及日常例子」 同樣需求，精簡版能節省TOKEN並達到相似效果。 7.不同模型選擇考量：GPT-3.5和GPT-4的TOKEN單價差了約10-15倍。Ernest建議採「階梯式」策略：簡單任務用便宜模型，只在需要強大理解力時才用高階模型。另外，要注意即使名稱相同的模型（如GPT-4），不同時間使用可能是不同版本，性能有所差異。 8.自建vs雲端服務：自建模型或租用算力涉及多方面成本，包括算力成本（高端GPU價格高）、維運成本（散熱、電力）、人力成本（AI工程師）等。Ernest提醒，這些「隱形成本」常被低估，反而使API服務在總成本上更划算。 // 【新商業學校｜激增十倍工作效率的 AI 工作流】 ✔️應戰 30+ 職場應用場景，上手 10+ AI 工具 🔥限時 6 折優惠＞https://pse.is/78gwf2 善用 AI 有感提升70％工作效率！解析3大應用 x 實戰15個工作場景，立即報名【4/29 AI實戰工作術】雙人揪團最優惠：https://reurl.cc/36G4Y0