如何最佳化提示詞以減少 Token 消耗

你可以透過保持提示詞簡短清楚來最佳化它們。在提示詞開頭給出關鍵字，並要求有條理的回答。如果刪掉多餘的字詞、不把指令和資料混在一起，就能使用更少的 Token。使用直接的表達可以讓內容更容易理解。查看下表了解最佳化方法：

最佳化提示詞可以節省成本、提升回應速度，並強化你的整體工作流程。

為什麼 Token 最佳化很重要

成本與效率

Token 最佳化可以幫助你省錢並減少 Token 使用。當你減少輸入 Token 和輸出 Token 時，支出就會降低。許多公司會透過長期回報來衡量節省效果。新的應用通常希望獲得 30%-60% 的投資報酬率（ROI），而大型企業會每隔幾個月或一年進行一次評估。提示詞最佳化可以提升 LLM 效能，讓你的工作更有效率。

最新研究指出，在大型語言模型部署中減少 Token 使用可以節省大量成本。一種新的混合推理方法會對每個 Token 計算獎勵分數，藉此決定何時呼叫昂貴的雲端 LLM。這樣可以減少雲端資源的使用，同時仍能獲得不錯的回答。提示詞最佳化能幫助你聰明地使用 Token，而不是浪費它們。

使用簡短的提示詞和清楚的輸出格式，可以將 Token 最佳化的效益最大化。

速度與效能

提示詞最佳化也能提升速度和 LLM 效能。當你減少輸入 Token 和輸出 Token 時，模型運行會更快。你撰寫提示詞的方式及其長度，會影響所需的記憶體與算力。長提示詞因為 Transformer 架構中的注意力機制，需要更多資源。這可能會拖慢系統，並使擴充變得困難。

提示詞最佳化透過降低記憶體與運算需求，幫助系統擴充規模。如果你要同時送出大量請求，簡短的提示詞可以避免效能衰退，並更有效率地使用 GPU 資源。脈絡視窗（context window）的大小非常關鍵，因為它限制了你可以使用的輸入 Token 和輸出 Token 數量。透過持續進行提示詞最佳化，你可以提升 LLM 效能，並讓系統穩定運作。

識別 Token 浪費來源

冗長提示詞

當你的提示詞過長或囉嗦時，就能發現 Token 浪費。冗長的提示詞會在輸入中新增大量多餘的 Token，從而壓縮模型輸出的空間。如果提示詞佔用過多 Token，可能會碰到 Token 上限，引發錯誤或導致回答被截斷。比如，與其說「Please explain in great detail（請非常詳細地解釋）」，不如直接說「Explain（解釋）」。簡短提示詞有助於節省 Token，並獲得更好的結果。

冗餘脈絡

你往往會在提示詞中加入大量額外脈絡，以為這樣會更有幫助。實際上，過多的脈絡會填滿脈絡視窗，卻無法顯著提升回答品質。這會造成 Token 浪費並提高成本。例如：

• 低效： “Think step by step and explain each solution process. First factor the numerator, then check if simplification is possible, and derive the final result.”（逐步思考並解釋每一步過程。先因式分解分子，再檢查是否可以化簡，最後給出結果。）
• 高效： “Show the solution process and final result.”（展示解題過程和最終結果。）

你應該避免重複指令或加入價值很低的細節。下表展示了如何讓提示詞更精煉：

低效的輸出請求

當你以需要多輪步驟或多代理協作的方式來請求輸出時，會使用更多 Token。每個代理都需要對話、分享資訊並維護狀態。代理之間每一次互動，都會為提示詞和回答增加額外的 Token。這會放大 Token 浪費並拖慢流程。你應儘量讓輸出請求簡單直接，以節省 Token。

常見錯誤包括：把所有指令塞進一個檔案裡，或在不同位置反覆重複同樣的要求。這些都會拉長提示詞並浪費 Token。

提示詞最佳化基礎

簡潔用詞

你可以透過使用簡短的字詞來讓最佳化器表現更好。短句既能減少 Token，又能保持清楚。當你編寫提示詞時，可以把長句拆成幾個短句，並刪去無助於理解的部分。這樣可以突顯核心資訊，避免混淆。

以下是讓提示詞更緊湊的一些方法：

• 使用 AI 寫作工具檢查文法與句子結構。
• 把複雜句拆分成簡單、清楚的句子。
• 刪除重複的觀點或措辭。
• 說明你想要的文件類型和具體特徵。
• 明確說明你對語氣、風格或長度的要求。

你也可以給出一個範例輸出，向模型展示期望結果。這有助於提示詞最佳化器理解你的需求。如果你清楚回答的目標讀者，也可以註明，這會讓輸出更貼近受眾。

使用標題將指令部分與正文內容分開，有助於讓提示詞結構清楚、易於閱讀。

當你採用這些方法時，可以減少 Token 浪費，使 Token 最佳化效果更好，同時讓最佳化器更快、更穩定。

只保留關鍵脈絡

優秀的提示詞最佳化器只保留真正重要的脈絡。過多的脈絡不僅浪費 Token，還會削弱提示詞的有效性。你應該只加入完成任務所必需的資訊，使提示詞簡短且聚焦。

你可以依照以下步驟篩選脈絡：

從一個簡單的提示詞開始，只加入對回答品質有實際幫助的脈絡。如果發現某些細節對結果沒有太大影響，就應該刪除。這樣可以讓提示詞最佳化器使用更少 Token，並聚焦在關鍵內容上。

你還可以使用諸如「過濾」這類最佳化方法。過濾會使用小模型來檢查提示詞中哪些部分是真正有用的。如果某一部分幫助不大，就可以刪除。這樣既能節省 Token，又能讓最佳化器表現更好。

結構化輸出格式

結構化的輸出格式可以幫助提示詞最佳化器減少 Token 使用，並讓回答更易閱讀。當你指定輸出格式時，會引導模型給出清楚、規整的結果，從而減少不必要的 Token，有助於整體 Token 最佳化。

試著用以下方式改進提示詞：

• 請求使用條列式（bullet points）、表格或列表形式輸出。
• 給出你想要的輸出格式範例。
• 在輸出中使用小標題區分不同部分。
• 說明預期讀者是誰，幫助模型選擇合適的語氣與內容深度。

例如，你可以這樣寫：

Summarize the article in three bullet points.
Audience: Middle school students.
Format:
- Main idea
- Key detail 1
- Key detail 2

這個提示詞清楚地表達了你的需求，使用的 Token 相對較少，而且能得到結構清楚、易於閱讀的回答。

你也可以使用「知識蒸餾」等最佳化方法。在這種方法中，大模型先用常規提示詞生成回答，然後用這些資料訓練小模型，讓它在更短的提示詞下生成相近的結果。這有助於你找到更有效率的最佳化器使用方式，從而節省 Token。

另一個做法是基於演化的提示詞最佳化。你可以生成多個版本的提示詞，進行測試與比較，然後保留表現較好的版本並持續迭代。透過不斷改進，就能找到最適合自己情境的提示詞。

透過使用簡潔用詞、只保留必要脈絡以及結構化輸出格式，你可以打造更強大的提示詞最佳化器。這樣能節省 Token、降低成本，並獲得更高品質的回答。這些最佳化方法可以幫助你在每次呼叫最佳化器時都獲得更好的效益。

進階 LLM Token 最佳化

你可以使用一些更進階的方法來最佳化 LLM 的 Token 使用。這些方法能幫助你節省 Token，並從提示詞中得到更高品質的回答。你將會了解提示詞壓縮、輕量級模型過濾以及快取 Token 等方法。每種方法都有自己的步驟，用來減少 Token 並簡化工作流程。

提示詞壓縮

提示詞壓縮可以在不丟失關鍵資訊的前提下縮短提示詞。透過一系列步驟精簡和釐清提示詞，從而提升 Token 使用效率，同時讓提示詞更容易被模型理解。

你可以運用 LLMLingua Library 這類工具來刪除多餘 Token。LLMLingua 壓縮在進行激進最佳化的同時，幾乎不會損害效能，特別適用於檢索增強生成（RAG）系統。你也可以用知識蒸餾：由大型「教師」模型生成回答，再教會小型「學生」模型使用短提示詞得到相近結果。基於演化的最佳化則會生成多種提示詞版本，對它們進行評估，並選出表現最佳的一批繼續變異改進。

下面的表格展示了幾種提示詞壓縮方法：

在建置資料集時，你可以使用以定位字元分隔的列（tab-delimited）來取代 JSON。由於定位字元分隔格式更精簡，這能減少 Token 使用，使提示詞更短、更容易被模型處理。

輕量級模型過濾

輕量級模型過濾使用小模型檢查提示詞中是否存在多餘 Token。這些小模型可以幫助你從提示詞中刪除對 LLM Token 最佳化沒有幫助的部分，從而只保留真正重要的內容。

你可以使用諸如「提示詞剪枝」（prompt pruning）這類步驟。LLMLingua Library 可以幫助你移除不必要的 Token，使提示詞更短。你也可以使用知識蒸餾，讓小模型在短提示詞下模仿大模型的回答表現。基於演化的提示詞最佳化會用到遺傳演算法：生成多個版本，進行評估，再依據效果選擇與改進。

以下是執行輕量級模型過濾的步驟：

1. 使用小模型對提示詞進行檢查。
2. 刪除對任務沒有幫助的 Token。
3. 測試新提示詞的回答品質。
4. 重複以上步驟，持續改進提示詞。

透過這種方式，你可以獲得更好的最佳化效果和更快的回應速度，也能讓提示詞更加清楚易讀。

快取 Token 與提示詞改寫器

快取 Token 可以提升速度並減少 Token 使用。你可以將過去提示詞中的 Token 快取起來，在需要時重複使用。這樣能夠強化 LLM Token 最佳化效果，並讓整體系統運作更加高效。

你也可以使用「提示詞改寫器」（improvers）來協助最佳化提示詞。改寫器可以幫助你找到使用快取 Token 的最佳方式，並透過特定步驟進一步精簡提示詞，從而節省 Token。

下表展示了使用快取 Token 與改寫器的優點與限制：

由於快取 Token 減少了重複計算和查詢的開銷，你可以更快地獲得回答。你也可以減少運算資源的使用，因為不再需要獨立的向量資料庫或嵌入模型，系統部署與維護也相對更簡單。

當然，這也有一些限制。脈絡視窗會限制你能引用的快取 Token 數量。你還需要經常更新快取以反映最新資訊，這可能會削弱快取的效益。如果脈絡過大，模型也有可能混淆不同資訊來源。

你可以透過以下方式管理快取 Token：

• 只快取最有價值的內容。
• 定期更新快取。
• 使用提示詞改寫器，讓提示更清楚，降低混淆風險。

你可以使用 LLMLingua Library 等工具進行提示詞剪枝，也可以透過知識蒸餾，用短提示詞訓練小模型。基於演化的最佳化則能依據表現自動調整與演化提示詞。

透過這些方法，你可以獲得更好的 Token 最佳化效果、更快的回答速度，以及更順暢的工作流程。你可以讓提示詞更短、更清楚，節省 Token，並最大限度地提升 LLM Token 最佳化的效益。

節省 Token：真實案例

最佳化前後對比

透過比較真實範例，你可以更直觀地理解最佳化效果。許多人一開始會寫得又長又客氣的提示詞，這不僅會消耗更多 Token，有時還會降低模型的準確性。如果改成直接的指令式表達，往往能在減少 Token 的同時獲得更好的回答。下表展示了不同風格對效能和 Token 數量的影響：

你可以試著把提示詞從禮貌提問改成直接命令。例如，與其說：「Could you please summarize this article for me in detail?（你能幫我詳細總結一下這篇文章嗎？）」，不如改為：「Summarize the article in three bullet points.（用三個要點總結這篇文章。）」 這樣的微小改動能幫你節省 Token，並讓提示詞表現更好。

對 Token 使用的影響

真實專案顯示，提示詞最佳化可以顯著減少 Token 使用。在某個專案中，團隊使用一個三層架構來研究加密貨幣交易，從而減少了分析所需的 Token 數量。另一個專案使用 LLM4TG 這種面向圖資料的格式，即使在嚴格的 Token 限制下也能完成複雜分析。CETraS 演算法也透過抽樣交易圖，讓原本極度困難的分析成為可能。

當你運用這些最佳化方法後，可以明顯減少 Token 使用，並獲得更快、成本更低的回答。務必經常檢查自己的提示詞，看看能否刪減多餘措辭。這有助於你節省 Token，最大化每一個 Token 的價值。

你可以透過清楚的結構、簡潔的表述和只保留必要細節來改進提示詞。下表列出了常用的最佳實務：

如果你縮短提示詞、控制輸出長度並合理拆分資訊，就能減少 Token 使用、降低成本。同時，你會得到更快的回答，並以更智慧的方式使用 LLM。持續迭代提示詞可以提高回答準確性、節省 Token，並帶來更好的使用者體驗。