適用於地端 AI 部署的即用型 Agentic RAG

打造超越雲端的企業 AI

許多企業的生成式 AI 導入歷程，都是從試用雲端 AI 服務開始。這是驗證應用情境、啟動試點專案，以及展現初期商業價值最快且最簡單的方式。

然而，當 AI 專案從實驗階段邁向全企業部署時，許多企業都面臨相同的挑戰：大部分具有價值的企業知識無法交由公有雲 AI 服務處理。

合約、財務紀錄、客戶資訊、法律文件、工程技術文件、人力資源檔案、智慧財產及其他敏感企業資料，通常都受到嚴格的安全性、法規遵循及資料駐留要求所規範。因此，企業逐漸發現，雲端 AI 僅能存取企業知識中的一小部分，進而限制了 AI 在整個企業中的應用價值。

從零開始建置安全的地端 AI 平台，很少是一個簡單的替代方案。開發企業級 Agentic RAG 解決方案，需要整合文件儲存庫、向量資料庫、AI 模型、安全性框架、身分識別管理、工作流程自動化及 AI 治理等多項核心元件，往往必須投入數年的工程開發，平台才能正式投入生產環境。

這正是現成可用的 Agentic RAG 平台展現價值的關鍵。

企業無須自行組裝與維護眾多 AI 元件，即可部署完整的企業級解決方案，並可完全運行於地端、私有雲或實體隔離（Air-Gapped）環境中。

elDoc 提供可直接投入生產環境的 Agentic RAG 平台，將安全文件管理、企業知識庫、AI 文件代理（AI Document Agents）、智慧文件處理（Intelligent Document Processing）、工作流程自動化及多 LLM 協同調度整合於單一平台。企業可安全地存取、理解並自動化整個企業知識庫中的工作流程，同時完整掌控資料、基礎架構及 AI 模型。

什麼是 elDoc 的 Agentic RAG？

檢索增強生成（Retrieval-Augmented Generation，RAG）已成為企業 AI 的核心基礎，因為它讓大型語言模型（LLMs）能夠從企業自身的文件中擷取資訊，而非僅依賴預先訓練所獲得的知識。

傳統的 RAG 解決方案通常遵循以下簡單流程：

1. 使用者提出問題。
2. 系統在知識庫中搜尋相關文件。
3. 將檢索到的資訊提供給 LLM。
4. LLM 根據這些內容產生回應。

此流程可大幅提升回答的準確性，降低 AI 幻覺（AI Hallucinations）的發生，讓使用者能透過自然語言對話輕鬆存取企業知識。

然而，傳統 RAG 的主要用途仍是回答問題。它能夠檢索資訊、摘要文件並提供建議，但通常在完成回應後便結束整個流程。

Agentic RAG 則進一步擴展了這一概念，引入具備推理、規劃與任務執行能力的 AI 代理（AI Agents），不僅能檢索知識，更能主動完成工作。

AI 代理不再只是執行單次搜尋，而是能判斷所需資訊、跨多個資料儲存庫進行搜尋、比對並驗證不同文件中的資訊，在多步驟流程中持續維持上下文，並自主決定後續應執行的工作與流程。

根據企業規則與使用者權限，Agentic RAG 能夠：

• 跨企業知識儲存庫搜尋資訊
• 理解業務情境，而非僅依賴關鍵字搜尋
• 綜合多份文件與結構化企業資料進行推理分析
• 在呈現結果前驗證檢索到的資訊
• 識別資料不一致、資訊缺漏或潛在風險
• 產生新的商業文件、報告或摘要
• 啟動企業工作流程與審批程序
• 透過安全整合更新企業應用系統
• 透過請求補充資訊或核准，與使用者協作完成工作
• 協調多個 AI 代理，共同處理企業流程中不同階段的工作

Agentic RAG 不只是智慧型企業搜尋引擎，更如同一支企業 AI 團隊，整合知識檢索、推理分析、決策支援與業務流程自動化等能力。

最終，企業獲得的是一個 AI 不僅能回答問題，更能協助完成實際工作的平台，從理解企業知識，到在人工監督與企業治理機制下執行以文件為核心的業務流程，全程提供智慧化支援。

為什麼建置 Agentic RAG 比想像中更複雜？

乍看之下，建置 Agentic RAG 解決方案似乎並不困難。市面上已有各式各樣的開源框架與 AI 工具，可讓企業在幾天或幾週內完成概念驗證（Proof of Concept，PoC）。這也讓許多人誤以為，部署企業 AI 只需將大型語言模型（LLM）連接至向量資料庫與文件集合即可完成。

然而，實際情況遠比這複雜。

要將成功的原型發展為安全、可擴展且可投入生產環境的企業平台，所需的不僅是 AI 模型與文件檢索能力。企業還必須建構完整的生態系統，以安全地管理企業知識、理解文件內容、協調 AI 代理、整合企業應用系統，並在嚴格的治理與法規遵循要求下穩定運作。

可投入生產環境的 Agentic RAG 平台，通常需要整合智慧文件處理（Intelligent Document Processing）、企業文件儲存庫、搜尋與索引服務、向量資料庫、Embedding 模型、多個大型語言模型（LLMs）、AI 代理協同調度、工作流程自動化、身分識別與存取管理、具備權限控管的檢索機制、稽核記錄、監控功能，以及與 ERP、CRM、HR 等企業系統的安全整合。

除了技術本身之外，每一項元件都必須完成設定、整合、測試、安全防護、監控及持續維護。AI 模型快速演進，安全要求不斷變化，企業知識每日持續累積，業務流程也需要持續優化。因此，確保 AI 僅存取經授權的資訊、提供可信賴的回應，並符合企業政策與治理規範，已不再是一次性的導入專案，而是一項持續性的營運工作。

因此，許多企業往往需要耗費數個月整合各項技術，才能推出第一個可投入生產環境的 AI 助理。即使完成部署，也常常必須管理許多彼此分散且缺乏整合的元件，而非運行一個統一的企業 AI 平台。

因此，越來越多企業選擇可快速部署的平台，而非投入大量時間自行建置與維護 AI 基礎架構。這類平台將 Agentic RAG、AI 文件代理（AI Document Agents）、工作流程自動化、企業知識管理與安全機制整合為單一解決方案，讓企業能專注於創造商業價值，而非耗費資源於系統整合。

使用 elDoc 快速部署 Agentic RAG

建置可投入企業使用的 Agentic RAG 平台，不應要求企業在創造商業價值之前，先耗費大量時間整合數十種不同技術。elDoc 提供可直接投入生產環境的架構，將建構安全企業 AI 所需的所有核心元件整合至單一統一平台。

企業無須自行整合來自不同供應商的文件儲存庫、搜尋引擎、向量資料庫、OCR 服務、AI 框架、大型語言模型（LLMs）及工作流程引擎，即可部署一套從第一天起便能協同運作的完整整合解決方案。

企業級 Agentic RAG 架構

此架構以 elDoc 為核心，由智慧協同調度層（Intelligent Orchestration Layer）統一協調所有 AI 互動。使用者無需直接與個別 AI 模型或資料庫互動，而是透過單一企業 AI 平台即可理解需求、擷取企業知識、跨多個資料來源進行推理、選擇最合適的 AI 模型，並執行各項業務操作。

在協同調度層之下，elDoc 整合多個專業知識儲存庫，彼此協同運作，提供高精準度的企業知識檢索能力。

• 企業中繼資料儲存庫（Enterprise Metadata Repository）：管理文件中繼資料、擷取的商業實體資訊，以及企業組織脈絡。
• 企業搜尋索引（Enterprise Search Index）：提供跨數百萬份企業文件的高效能全文搜尋能力。
• 語意向量資料庫（Semantic Vector Database）：儲存文件語意向量，使 AI 能根據語意與業務情境，而非僅依賴關鍵字進行資訊檢索。

透過結合傳統搜尋與語意檢索，elDoc 提供混合式搜尋（Hybrid Search），大幅提升 Agentic RAG 回應的相關性與準確度。

平台同時內建 Multi-LLM Orchestration，讓企業能針對不同業務需求使用不同的 AI 模型。elDoc 不會依賴單一大型語言模型，而是能智慧選擇最適合的模型，分別用於對話式 AI、代理推理、文件理解、Embedding 建立或檢索結果重新排序（Reranking）。此方式不僅提升回應準確度，也能兼顧系統效能與基礎架構成本。

不同於許多僅將 LLM 連接至向量資料庫的 AI 解決方案，elDoc 提供完整的企業 AI 平台，將文件管理、企業搜尋、語意檢索、AI 文件代理（AI Document Agents）、工作流程自動化、安全防護、AI 治理及多種 AI 模型整合為單一協同運作的企業生態系統。

最終，企業可獲得一套可直接投入生產環境的 Agentic RAG 平台，在自身基礎架構中安全部署企業 AI，無論是地端、私有雲或實體隔離（Air-Gapped）環境皆適用，且無需自行承擔底層架構建置與長期維護的複雜性。

專為全地端部署企業 AI 而設計

對許多企業而言，生成式 AI 的限制並非來自技術，而是敏感企業資訊能夠在哪裡進行處理。金融機構、政府單位、醫療機構、製造業及其他受高度監管的產業，往往因安全政策、法規要求、合約義務或資料駐留法規，而無法將機密文件或企業資料上傳至公有 AI 服務。

elDoc 自設計之初便以解決這些挑戰為目標，讓企業能夠在自身基礎架構內完整部署 Agentic RAG 平台。

無論部署於企業資料中心、私有雲、混合雲，或完全實體隔離（Air-Gapped）的網路環境，該平台都能協助企業導入生成式 AI，同時確保對資訊的完整掌控。

支援的部署方式包括：

• 完全地端部署（Fully On-Premise）
• 私有雲（Private Cloud）
• 混合雲（Hybrid Cloud）
• 無網際網路連線的實體隔離（Air-Gapped）環境

不同於需要將企業知識傳送至外部服務供應商的雲端原生 AI 服務，elDoc 將 AI 全生命週期的每一個階段都保留在企業可信任的環境中。所有文件皆儲存在本地端，OCR 與文件處理於企業內部執行，Embedding 在內部產生，向量資料庫完全由客戶掌控，而 AI 模型則運行於企業自身的基礎架構內。

這代表企業可完整擁有並管理以下資源：

• 企業文件與檔案庫
• 企業知識與中繼資料（Metadata）
• AI 模型與大型語言模型（LLMs）
• Embedding 模型
• 向量資料庫
• 使用者身分識別與驗證服務
• 加密金鑰
• 基礎架構與運算資源
• AI 互動紀錄與對話歷史
• 稽核日誌與法規遵循紀錄

由於整個 AI 平台皆運行於企業的安全邊界內，既有的企業安全政策可持續適用。無論是角色型存取控制（RBAC）、文件層級權限、身分識別管理、加密機制、稽核日誌，或企業治理，都能在文件、AI 代理及業務流程中一致落實。

此平台亦支援企業推動 AI Sovereignty（AI 主權），讓企業能自主選擇 AI 模型、掌控資料處理位置、自訂企業知識的索引方式，並在不依賴外部 AI 服務供應商的情況下，符合當地法規及產業特定的合規要求。

使用 elDoc，機密文件、企業知識、客戶資訊及 AI 互動資料皆無須離開企業內部。企業可充分運用現代 Agentic RAG 與 AI 文件代理（AI Document Agents）的優勢，同時完整掌控資料、基礎架構及法規遵循責任。

協同調度多個 LLM，或使用您自己的 AI 模型

沒有任何單一大型語言模型（LLM）能夠在所有企業工作負載中都發揮最佳效能。擅長對話式 AI 的模型，未必能在文件擷取上提供最高準確度；而具備強大推理能力的模型，對於日常企業搜尋而言又可能過於複雜。若僅依賴單一模型，企業往往必須在準確度、效能、成本與安全性之間做出取捨。

elDoc 專為在單一平台中協同調度多個 AI 模型而設計，讓每一項業務流程都能使用最適合該任務的模型。

例如，企業可同時使用：

• 輕量化對話模型，用於快速的企業對話互動
• 推理模型，用於複雜文件分析與決策支援
• 視覺語言模型（Vision-Language Models，VLMs），用於理解掃描文件與影像內容

此多模型架構讓企業能同時最佳化 AI 品質與基礎架構成本，並確保每項業務流程皆能採用最適合的 AI 技術。

導入您自己的 AI 模型（Bring Your Own Models）

每家企業都有不同的安全性、法規遵循與效能需求。有些企業偏好在本地端執行完全開源的模型；有些則因特定工作負載而需要商業模型。許多企業則採用結合兩者優勢的混合策略。

elDoc 提供高度彈性，讓企業可將自有 AI 模型整合至平台中。企業能自由部署與管理偏好的 LLM，而無須受限於單一供應商或雲端服務平台。

支援的部署策略包括：

• 完全於地端部署的開源 LLM
• 商業級企業 LLM
• 視覺語言模型（VLMs）
• 針對特定領域微調（Fine-Tuned）的 AI 模型
• 在允許情況下使用的雲端託管模型
• 在同一環境中混合使用地端與雲端模型

由於平台將 AI 協同調度層與底層模型完全解耦，企業可隨著技術演進持續導入新的 LLM，而無需重新設計應用程式，也不必重建既有的 Agentic RAG 基礎架構。

打造面向未來的企業 AI

AI 技術正快速演進，幾乎每隔幾個月便有新模型在推理能力、多語言支援、文件理解及執行效率等方面取得突破。若企業應用長期綁定於單一模型，不僅會增加技術風險，也將提高長期營運成本。

elDoc 採用模型無關（Model-Agnostic）架構，協助企業避免供應商綁定（Vendor Lock-In）。AI 代理、工作流程與企業應用程式皆可維持不變，而底層 AI 模型則可依業務需求持續升級、替換或混合使用。

透過這種高度彈性，企業可持續採用最新的生成式 AI 技術，同時完整掌控安全性、AI 治理、基礎架構及營運成本。

具備權限感知的企業知識管理與 AI 治理

企業 AI 必須遵循與整個企業一致的安全與治理框架。AI 助理絕不應因使用者以自然語言提出問題，就繞過既有的存取控制機制，進而洩露機密文件或敏感商業資訊。

elDoc 的設計理念是：AI 應遵循企業治理，而非繞過企業治理。

每一次 AI 互動皆具備權限感知能力。在檢索資訊之前，平台會先驗證使用者身分、評估其存取權限，並確保只有已授權的文件、企業資料與知識會納入 AI 的推理流程。若使用者無權存取某份文件，該資訊將不會被檢索，也不會用於產生 AI 回應。

藉此，企業可安心在各部門部署 Agentic RAG，在保護機密商業資訊的同時，持續符合既有的企業安全政策與法規遵循要求。

平台提供企業級安全機制，包括：

• 角色型存取控制（RBAC）
• 工作區與團隊權限管理
• 部門與組織單位安全控管
• 文件與資料夾層級權限控管
• 依據中繼資料（Metadata）的安全篩選
• 具備權限感知的搜尋與檢索機制
• 與企業身分識別系統整合（Active Directory、LDAP、SSO、OAuth）
• 完整的稽核軌跡與活動日誌

不同於許多直接從整個向量資料庫檢索資訊的 AI 解決方案，elDoc 會先執行安全權限篩選，再將資訊檢索並傳送至 LLM。AI 僅會針對使用者已獲授權存取的內容進行推理，確保每一次回應皆嚴格遵循企業既有的權限控管機制。

企業 AI 治理

對負責任的企業 AI 而言，安全性只是其中一環。企業還需要全面治理 AI 模型的部署方式、決策流程，以及 AI 生成內容的監控與管理。

elDoc 提供完整的 AI 治理框架，協助企業在維持透明性、可追溯性與法規遵循的前提下，安心擴展生成式 AI 的應用。

平台支援涵蓋整個 AI 生命週期的治理能力，包括：

• 多個 LLM 的集中式協同調度
• 依據業務流程制定 AI 模型選擇策略
• 關鍵決策的人員審核（Human-in-the-Loop）機制
• AI 活動監控與營運監督
• 可自訂的 AI 防護機制（Guardrails）與業務規則
• 資料駐留（Data Residency）與資料主權（Data Sovereignty）控管
• 企業資料於傳輸中及靜態儲存時的加密保護
• 符合企業內部治理政策與產業法規要求
• 稽核、監控與系統日誌
• 支援災難復原規劃（Disaster Recovery）的高可用性架構

每一次 AI 互動皆可完整記錄並追蹤，從使用者提出的請求、檢索的文件、參與運作的 AI 模型，到最終產生的回應，都能完整保留紀錄。這種高度透明性可協助企業證明法規遵循、追溯決策過程、持續提升 AI 品質，並建立對企業 AI 系統的信任。

elDoc 並非一個獨立運作的聊天機器人，而是一個具備完整治理能力的企業 AI 平台，將安全性、權限控管、法規遵循及 AI 監督機制全面融入每一次互動之中。企業可安心在整個組織內部署 Agentic RAG 與 AI 文件代理（AI Document Agents），確保 AI 始終遵循與企業文件、業務流程及公司治理政策一致的治理框架。

AI 代理，不只是回答問題

對許多企業而言，接觸生成式 AI 的第一步，通常是能根據企業文件回答問題的 AI 聊天機器人。雖然這大幅提升了企業知識的存取效率，但它僅解決了整體業務流程中的一小部分。

員工仍需自行理解 AI 回應、查找佐證文件、製作報告、更新企業系統、寄送電子郵件、發起審批流程，以及完成許多人工作業，整項工作才能真正完成。

Agentic RAG 徹底改變了這種工作模式。

AI 代理不再只是負責檢索資訊的智慧助理，而是成為企業業務流程中的主動參與者。它們能理解使用者的目標、規劃所需的工作步驟、檢索並驗證相關資訊、與企業系統互動，並依照業務規則執行各項任務，同時確保關鍵決策始終由人員掌控。

例如，AI 代理不只是回答與發票相關的問題，還能自動完成文件分類、擷取關鍵商業資訊、比對採購訂單驗證金額、識別差異、產生審批摘要、通知負責主管，並啟動審批流程。

由於這些 AI 代理運作於 Agentic RAG 架構之上，因此每一項行動都建立在可信賴的企業知識基礎上，而非僅依賴語言模型本身。它們能跨多份文件進行推理，整合結構化與非結構化資料，在採取行動前驗證事實，並於需要人工核准時與員工協同合作。

企業不再受限於部署單一 AI 助理，而是可同時運用多個專業化的 AI 文件代理（AI Document Agents），由各代理負責不同的業務能力。例如，一個代理負責文件分類與建立索引，另一個負責擷取商業資訊，另一個分析合約，而其他代理則可生成報告、驗證財務文件、協調審批流程或維護企業知識。這些 AI 代理彼此協同合作，形成完整的智慧生態系統，自動化處理複雜且以文件為核心的企業業務流程。

專為企業級規模打造

企業知識是組織最重要的資產之一，同時也是最難管理的資源之一。每天都有新的文件產生、合約簽署、發票處理、報告生成、電子郵件往來，以及跨多個系統更新的企業資料。隨著時間推移，這些資訊分散於不同部門、儲存庫與應用系統之中，使員工越來越難以快速查找、理解並有效運用。

大型企業通常需要管理數十年營運累積下來的數百萬份文件。企業知識不僅存在於文件管理系統，也散布於檔案共享空間、SharePoint 網站、ERP 與 CRM 平台、電子郵件系統、掃描紙本檔案、工程資料庫、協作平台，以及各類業務應用系統中。其中大量資訊仍屬於非結構化資料、重複資料，或被侷限於各部門各自的資訊孤島。

隨著企業持續成長，企業知識管理的複雜度也隨之提高。僅靠建立文件索引或關鍵字搜尋，已無法滿足企業需求。員工需要的是能理解業務情境，以及文件之間、組織架構、客戶、供應商、專案、合約、產品、財務紀錄與歷史商業決策彼此關聯性的 AI。

elDoc 正是專為這類企業級規模的需求而設計。

平台可安全管理與處理：

• 數百萬份企業文件
• 數十年累積的歷史檔案
• 多個文件儲存庫
• 結構化與非結構化企業資料
• 電子郵件與商業往來文件
• 掃描文件與紙本檔案
• 合約與法律文件
• 工程與技術文件
• 企業政策與作業流程文件
• 財務紀錄與交易文件

elDoc 並不將這些資料視為彼此獨立的資訊來源，而是將其整合為統一且 AI Ready 的企業知識平台。透過智慧文件處理（Intelligent Document Processing）、語意索引、中繼資料增強（Metadata Enrichment）及 Agentic RAG，每一份文件都成為互相連結的知識生態系統之一，讓 AI 能夠理解其內容並進行推理分析。

員工因此能跨越整個企業知識體系提出問題，而無需逐一搜尋不同系統。AI 能整合多個資料儲存庫中的資訊，理解文件與商業實體之間的關聯，並根據完整的企業情境提供回應，而非僅依賴單一文件或資料庫。

由於平台專為企業級部署打造，企業可持續擴充知識庫，而無需重新設計 AI 架構。當新增文件、資料儲存庫、部門或企業應用系統時，都能無縫整合至同一安全知識平台，使 AI 代理能持續提供更全面的洞察，並自動化更複雜的企業業務流程。

最終，這不只是企業搜尋平台，更是一個持續演進、由 AI 驅動的企業知識平台。在這裡，文件、企業資料與組織專業知識彼此連結、值得信賴，並可透過智慧搜尋、AI 文件代理（AI Document Agents）及 Agentic RAG 即時存取與運用。

部署 elDoc Enterprise Agentic RAG 一定需要龐大的 GPU 基礎架構嗎？未必如此。

對於地端部署生成式 AI，最常見的誤解之一是，企業必須先投入大量資金建置 GPU 基礎架構，才能享受到 Agentic RAG 所帶來的效益。

實際上，基礎架構需求取決於企業的業務應用情境、使用者數量，以及支援這些工作負載的 AI 模型，而非僅僅因為選擇在自有環境中部署 AI。

許多 elDoc 客戶的部署都是從一台僅配備 2 或 4 張 GPU 的 AI 伺服器開始。對於企業 Agentic RAG、AI 文件代理（AI Document Agents）、智慧文件搜尋及文件處理等初期應用而言，這樣的配置通常已綽綽有餘。隨著 AI 應用持續擴展，企業可逐步增加 GPU、擴充 AI 伺服器，或導入新的 AI 模型。這種循序漸進的部署方式可有效降低初期投資，同時提供平順的擴充路徑，以支援企業級 AI 的長期發展。

另一個常見的誤解是，每一次 AI 請求都需要使用最大、效能最強的語言模型。事實上，大多數企業工作負載並不需要如此。

例如，企業搜尋、文件分類、中繼資料擷取（Metadata Extraction）及日常 AI 對話，通常都可由輕量且高效率的模型完成。只有在進階推理、複雜文件分析、視覺語言處理，或特定專業業務情境下，才需要使用運算需求較高的模型。

這正是 elDoc Multi-LLM Orchestration 展現優勢的關鍵。

輕量化的地端模型負責日常互動，而大型推理模型僅在確實需要其能力時才會啟用。Embedding 模型負責為 Agentic RAG 建立語意向量，Reranking 模型提升檢索品質，而 OCR 與智慧文件處理服務則獨立運作。每個 AI 元件都專注於最擅長的工作，在發揮最佳效能的同時，將基礎架構資源消耗降至最低。

此智慧協同調度機制帶來多項重要優勢：

• 降低 GPU 基礎架構投資成本
• 降低營運成本
• 加快日常 AI 工作負載的回應速度
• 提升多位使用者同時使用時的處理效能
• 可依需求獨立擴充各項 AI 服務
• 無需重新設計應用程式即可導入新的 AI 模型

由於 elDoc 採用模型無關（Model-Agnostic）架構，企業不會受限於特定硬體平台或 LLM 供應商。企業可自由部署開源模型、商業級企業模型，或混合使用兩者，並依據效能、安全性與預算需求選擇最合適的基礎架構。無論是在單一 AI 伺服器、可擴充的 GPU 叢集，或結合地端與經核准雲端模型的混合架構中運行，平台都能隨著企業 AI 策略持續演進。

企業的目標並非建置規模最大的 AI 基礎架構，而是打造最高效率的 AI 基礎架構。透過結合 Agentic RAG、智慧模型協同調度及企業知識，elDoc 協助企業在最佳化 GPU 投資、降低營運成本的同時，獲得高品質的 AI 成果，並始終完整掌控自身的資料與基礎架構。