LLM 無關架構與多 LLM 編排：elDoc 如何為企業 AI 帶來模型選擇的彈性

生成式 AI 領域正以極快的速度演進，使企業越來越難以合理地將企業 AI 策略綁定於單一大型語言模型（LLM）。

新的模型持續推出，現有模型不斷改進，價格持續變化，部署選項日益多元，企業對安全性與法規遵循的要求也在不斷演進。與此同時，不同模型在推理、文件理解、多語言處理、資訊擷取、摘要生成及其他企業工作負載方面，各自展現出不同的優勢。

因此，對於在多個業務流程中導入 AI 的組織而言，問題已不再只是「我們應該選擇哪一個 LLM？」

更重要的問題是：

如何建立一套企業 AI 架構，讓組織能夠針對不同流程使用最適合的模型，同時持續掌控自身的資料、安全性、治理、部署方式，以及未來的技術選擇？

這正是 elDoc 的 LLM 無關架構（LLM-agnostic architecture）與多 LLM 編排（Multi-LLM Orchestration）能力所秉持的核心理念。

elDoc 並非圍繞單一 AI 供應商來建立企業流程，而是在企業應用程式、業務流程、組織資料與底層 AI 模型之間引入一層編排層。

最終形成的架構可讓不同模型分別用於不同工作負載，多個模型可在同一企業環境中共存，而敏感性工作負載則可透過私有部署的模型實現完全隔離。

單一企業平台，多個 AI 模型

不同的企業流程在本質上具有截然不同的需求。

KYC 流程可能涉及數百份文件、多語言內容、跨文件驗證、客戶風險分析及複雜推理。

信用審查流程可能需要深入分析財務報表、授信文件、抵押品資訊及相關佐證文件。

發票處理則可能更重視大量文件的資訊擷取、分類、驗證及工作流程自動化。

處理高度機密的客戶資訊則可能帶來完全不同的要求：資料絕不能離開組織所控制的基礎架構。

因此，沒有充分理由認為單一模型始終能在所有這些情境下提供最佳效能。

使用 elDoc，組織可以根據不同需求設計相應的 AI 架構。

例如：

• KYC 處理可使用 Kimi，充分運用其能力以滿足組織的 KYC 工作負載需求。
• 信用審查可使用 Claude，用於分析文件，並針對授信文件進行複雜推理。
• 發票處理可使用 OpenAI 模型，用於文件理解、資訊擷取、驗證及生成式 AI 處理。
• 敏感客戶資料處理可使用完全部署於組織內部環境或私有雲／VPC 中的開放權重模型（open-weight model），確保 AI 處理所涉及的資料始終留存在組織自身的基礎架構內。

這些不必作為彼此獨立的 AI 專案存在。

它們可以在同一個 elDoc 企業平台中運作，並透過統一的安全性、文件處理、工作流程、監控及 AI 編排架構進行治理。

從 LLM 整合到 LLM 編排

將應用程式連接至多個 LLM API 相對容易。

但企業級多 LLM 架構所需的不僅如此。

elDoc 提供 GenAI 編排層（GenAI Orchestration Layer），位於企業應用程式與底層模型生態系統之間。應用程式不再直接依賴特定模型，而是可透過此編排層統一管理 AI 請求。

根據實際導入的情境，elDoc GenAI 編排層可整合以下能力：

編排能力	功能說明
意圖理解	識別使用者、文件流程、AI 文件代理（AI Document Agent）或自動化工作流程所要完成的目標，並決定適當的處理路徑。
模型選擇	根據使用情境、任務複雜度、安全性要求、部署政策、效能及其他預先定義的條件，將每個請求路由至最適合的 LLM 或多模態模型。
提示最佳化	根據所選模型及特定業務任務調整指令、上下文及模型參數，以提升 AI 輸出的品質與一致性。
回應整合	將模型輸出轉換並整合為結構化資訊，以供使用者、應用程式、API、工作流程、AI 文件代理或後續處理階段使用。
安全性與治理	落實企業針對模型存取、資料處理、核准的資料儲存庫、使用者權限、AI 操作及資料駐留要求所制定的政策。
可觀測性與評估	提供 AI 使用情況、模型效能、處理品質、Token 使用量及相關成本的可視性，以便針對不同模型與使用情境進行持續評估與最佳化。

目標並不只是連接多個 LLM，而是建立一個智慧型編排層，決定由哪個模型執行哪項任務、應符合哪些安全性與資料駐留要求，以及應達到何種效能與成本條件。

這種抽象層尤其重要，因為 AI 模型將成為架構中可替換的元件，而不再是架構本身。

為正確的任務選擇最適合的模型

LLM 無關架構並不代表所有模型都會被視為完全相同。

恰恰相反。

它承認不同模型各具特色，並將這些差異轉化為架構上的優勢。

組織可能會發現，某個模型在複雜信用審查案件中具備更強的推理能力，而另一個模型則能在大量文件處理方面提供更佳的成本效能比。第三個模型可能特別擅長處理組織所重視的某種語言或文件類型。

而對於另一類工作負載，可能根本不允許使用外部 AI 服務。

elDoc 讓組織能夠將這些差異納入 AI 架構，而不必強迫所有業務流程都使用同一個模型。

因此，一個簡化的企業配置可以如下所示（示意範例）：

企業流程	AI 配置	主要需求
KYC 與客戶盡職調查	Kimi	大上下文及大量文件的分析
信用審查	Claude	複雜文件推理與分析
發票處理	OpenAI	文件理解與自動化處理
機密客戶資料	私有部署的開放權重 LLM	內部部署處理與 AI 資料駐留
內部知識助理	任何支援的 LLM	從核准的資料儲存庫進行安全檢索
視覺文件與影像理解	Qwen-VL	對文件、影像、版面配置及視覺內容進行多模態理解

實際的模型選擇仍由企業自行決定，並可隨著組織的 AI 策略持續演進。

AI 資料駐留：當資訊不得離開企業環境

對於銀行、政府機構、醫療服務提供者、金融機構及其他受監管企業而言，模型效能只是 AI 決策的一部分。

AI 處理發生在哪裡，同樣可能至關重要。

某些文件可能包含客戶資訊、財務資料、機密協議、個人可識別資訊、企業內部資訊或其他受監管資料。

因此，組織可以針對不同資訊類別制定不同的 AI 處理政策。

對於標準工作負載，可以使用經核准的外部商業模型或私有託管的商業模型。

對於高度敏感的工作負載，elDoc 可採用部署於客戶自身基礎架構中的開放權重模型（open-weight models），部署環境可以是內部部署（on-premises）、私有雲，或受控的 VPC 環境。

在此配置下，組織可以持續掌控：

• 文件儲存的位置；
• 提示（prompts）與上下文資訊的處理位置；
• LLM 的部署位置；
• AI 獲准存取的資料儲存庫；
• 哪些使用者與流程可以呼叫模型；
• 以及 AI 產生的輸出與日誌的保存位置。

這使 AI 資料駐留成為一項架構能力，而不僅僅是合約中的聲明。

例如，銀行可以允許雲端模型處理某些非敏感的營運文件，同時要求包含可識別客戶資訊的文件必須完全由內部部署的模型進行處理。

這兩類工作負載仍可透過 elDoc 進行統一編排。

避免 AI 供應商綁定

供應商綁定正日益成為企業制定生成式 AI 策略時需要考量的重要因素。如今看似最理想的 AI 模型，兩年後未必仍然是最佳選擇。

供應商可能調整價格。

另一個模型的新一代版本可能帶來顯著更佳的效能。

過去僅提供雲端服務的模型，未來可能開放私有部署。

新的法規要求可能影響特定工作負載的處理位置。

或者，組織可能只是與另一家供應商協商出更具優勢的企業方案。

當業務流程高度依賴單一模型進行設計與開發時，更換供應商可能需要投入大量資源重新開發應用程式。

LLM 無關架構則透過將業務應用程式與文件處理架構，與底層模型層分離，降低對特定模型的依賴。

因此，組織可以評估新的模型並逐步導入，而無需重新設計整個文件管理與自動化環境。

未來的模型將成為架構的延伸

多 LLM 編排同樣著眼於為尚不存在的模型做好準備。如今在特定基準測試中領先的模型，未必會成為企業明日的選擇。

因此，elDoc 的架構以可擴充的模型生態系統為核心，而非建立在一份永久固定的 AI 供應商清單之上。

隨著新的模型與部署方式逐漸適用於企業環境，組織可以根據自身需求對其進行評估，並將其納入架構。

這使組織能夠持續針對以下因素進行最佳化：

準確度、推理品質、安全性、延遲、部署模式、資料駐留、上下文容量、語言處理效能，以及各使用情境的成本。

不必每當模型格局發生變化就重新制定企業 AI 策略，底層架構本身即設計為能夠適應這些變化。

從「選哪一個 LLM？」到「採用什麼 AI 架構？」

企業不應在今天開始導入生成式 AI 之前，就必須預測未來幾年哪一個 LLM 將主導市場。

更具可持續性的做法，是建立一套能夠隨著模型、法規、成本及企業需求變化而持續調整的架構。

使用 elDoc，組織可以使用 Kimi 執行 KYC、使用 Claude 進行信用審查、使用 OpenAI 處理發票，以及使用私有部署的開放權重模型處理高度敏感的客戶資料工作負載，同時將這些流程統一納入一個具備治理能力的文件與 AI 自動化環境中。

未來，組織可能會選擇不同的模型。

業務流程、企業資料基礎、安全控制、工作流程、AI 治理及文件架構，不必因每一次模型選擇而隨之改變。

這正是 LLM 無關架構的目的。

而多 LLM 編排進一步延伸了這一理念：不只是讓企業能夠使用多個模型，更讓企業能夠決定應使用哪個模型、用於哪種工作負載、在什麼安全性與資料駐留條件下執行，以及作為哪一項業務流程的一部分。

因此，競爭優勢並不在於選擇一個「最佳」LLM。

而在於建立一個企業 AI 平台，能夠持續做到為正確的任務選擇最適合的 AI，同時不犧牲對架構、流程或資料的掌控權。

建立能夠持續演進的 AI 架構

對企業而言，問題已不再是應選擇哪一個 LLM 作為統一標準，而是如何建立一套能夠隨著模型、業務需求、安全政策、成本及法規要求持續演進的 AI 架構。

借助 elDoc 的 LLM 無關架構與多 LLM 編排（Multi-LLM Orchestration），組織可以在單一企業環境中整合商業模型與私有部署的開放權重模型，為每個使用情境選擇最適合的 AI，同時持續掌控資料、存取權限、工作流程、AI 治理及資料駐留。

KYC 可以使用一個模型執行，信用審查可以使用另一個模型，視覺文件智慧則可以使用多模態模型，而高度敏感的客戶資訊則可以完全留存在內部部署的 AI 環境中。隨著更優秀的模型陸續出現，架構也能持續演進，而無需圍繞新的 AI 供應商重新建置底層業務流程。

目標並不是預測明天哪個 LLM 會成為最佳選擇，而是確保您的企業架構已準備好隨時使用它。

正在規劃企業 GenAI 計畫，或評估多 LLM 編排如何融入您現有的架構？

與 elDoc 專家交流，討論您的使用情境、安全性與 AI 資料駐留要求、模型策略及部署選項，並探索如何根據您的組織需求設計 LLM 無關架構。