Context Engineering 是什麼？為何能省下 80% 費用

2026年研究數據顯示，通過系統性的Context Engineering可實現70-80%的LLM費用削減。Context Engineering是中大型語言模型應用開發中的核心工程紀律，透過精心設計對話上下文的管理方式，減少無效Token傳遞、提升快取命中率、優化RAG檢索效率。在「身份暗物質」概念日益受到關注的今日，企業部署AI系統時如何有效控制Token成本已成為關鍵議題。根據史丹佛大學以人為本人工智慧研究所（Stanford HAI）發布的AI Index年度報告，企業AI採用成本中LLM API費用佔比持續攀升，使得Context Engineering從可選優化升級為必要工程實踐。

技巧一：語義快取（Semantic Caching）減少 73% API 請求

語義快取是將相似的用戶請求進行智能分組，當新請求與歷史請求語義相近時，直接返回快取結果而非重新调用API。根據MIT計算機科學與人工智慧實驗室（CSAIL）的前沿研究，語義快取技術可減少73%的API請求費用，同時保持相同的回覆品質。

# 語義快取實現範例（Python）
import hashlib
from sentence_transformers import SentenceTransformer

class SemanticCache:
    def __init__(self, similarity_threshold=0.85):
        self.cache = {}
        self.model = SentenceTransformer('all-MiniLM-L6-v2')
        self.threshold = similarity_threshold
    
    def get_cache_key(self, prompt):
        # 將prompt編碼為語義向量
        embedding = self.model.encode(prompt)
        return embedding.tobytes()
    
    def get(self, prompt):
        key = self.get_cache_key(prompt)
        for cached_key, (result, _) in self.cache.items():
            # 計算語義相似度
            cached_vec = self.model.decode(cached_key)
            similarity = self.cosine_similarity(prompt, cached_vec)
            if similarity >= self.threshold:
                return result
        return None
    
    def set(self, prompt, result):
        key = self.get_cache_key(prompt)
        self.cache[key] = (result, len(result))

技巧二：Prompt Caching 節省 90% 輸入Token費用

主流LLM提供商如Anthropic和Google已支援Prompt Caching功能，透過識別重複的系統提示詞與固定上下文，實現輸入Token費用的巨幅節省。當快取命中率達到70%以上時，可節省高達90%的輸入Token費用。最佳實踐是將系統提示詞、角色定義、常見知識等固定內容與動態用戶輸入分離。

# Prompt Caching 最佳實踐
SYSTEM_PROMPT = """你是一位專業的技術文件編輯助手。
[固定系統提示詞內容...]"""

# 使用 API 提供的 cache 控制參數
response = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    system=[{
        "type": "text",
        "text": SYSTEM_PROMPT,
        "cache_control": {"type": "ephemeral"}  # 啟用快取
    }],
    messages=[{"role": "user", "content": user_input}]
)

技巧三：智能Context管理與Token預算上限

Chroma Research研究指出，輸入Token增加超過一定閾值後，模型性能會出現非線性下降，这就是「Context Rot」問題。即使模型支持超大Context Window，過多無關信息也會顯著降低輸出品質。最佳實踐是設置嚴格的Token預算上限，採用「精簡但精準」的Context策略。

根據Gartner人工智慧研究（Gartner AI Research）的企業AI採用統計，設置Token預算上限的團隊比未設置的團隊平均節省40-60%的API費用，同時獲得更高的輸出滿意度。

技巧四：RAG管道優化：精準片段勝過大量文件

RAG（檢索增強生成）管道的常見錯誤是傳遞過多完整文件給模型。研究顯示，RAG管道通常傳遞4-8個完整文件，但實際只需2-3個精確片段即可達到相同或更好的回答品質。優化策略包括：

技巧五：輸出Token優化與費用計算

Output Token通常比Input Token貴3-8倍，因此輸出優化的投資報酬率極高。IEEE（國際電氣電子工程師學會）在AI倫理標準（IEEE 7000）中強調，AI系統應實施成本效益優化機制。具體策略：

費用計算範例：假設每月處理100萬Token，使用技巧一至五的組合策略，可將實際費用從$300降至$60（節省80%）。