宏庭科技為您整理 Microsoft Foundry(前身 Azure AI Foundry)的企業導入總覽,內含平台定義、三大核心模組、適用對象,以及與 Azure OpenAI Service、Copilot Studio 的產品比較,協助您在符合企業治理與資安規範的前提下,將生成式 AI 與 AI 代理程式落地。我們每月更新內容,為您整理 Microsoft Azure 最完整的實務資源。

本篇文章針對企業 IT 決策者、資訊主管、資安與合規人員,以及評估生成式 AI 與 AI 代理程式落地的開發團隊,說明此平台的運作方式與導入考量。

 一、Microsoft Foundry 是什麼?

Microsoft Foundry 是微軟為企業級 AI 維運、模型開發與應用建置所推出的整合式 Azure 平台服務(platform-as-a-service, PAAS)。它把代理程式(Agents)、模型(Models)與工具(Tools)整合在單一管理層級之下,並內建追蹤、監控、評估與企業設定等正式環境就緒能力,讓開發團隊專注於打造應用,而非管理底層基礎設施。

  • 近期,微軟已將 Azure AI Foundry 更名為 Microsoft Foundry。此外,Microsoft  Foundry (經典版)與現行的 Azure AI Foundry 並非兩個彼此獨立、需要擇一的平台,而是同一平台的演進關係。
  • 經典版是較早的入口網站,目前仍保留 Prompt Flow、受控運算模型部署與 hub-based 專案等尚未完全移轉的功能。
    新版則持續迭代優化,聚焦於 Foundry 專案的整合體驗。

溫馨提醒:
由於平台近年持續更新,建議企業在規劃新專案時,先確認好目前使用的平台版本與功能支援情況,並了解其與 Azure Machine Learning 的整合關係,以避免文件、介面或功能說明出現落差,造成實際導入時的不便與損失。

Microsoft Foundry、Azure Machine Learning、Azure OpenAI 差在哪?

一般情況下,企業評估時常對這三項服務感到困惑,其實,三者是不同層級與角色,有各自可以協助企業解決的問題,負責的任務可以整合,不是那麼絕對的獨立關係:

  • Azure OpenAI Service(底層能力):提供 OpenAI 模型的呼叫能力,是被包含、託管於整體 AI 方案中的核心元素。它解決的是「取得模型」這件事。
  • Microsoft Foundry(管理層):是更高維度的整合環境,全面操控與治理上述底層模型能力,並加上代理程式、檢索、追蹤、評估與統一權限。它解決的是「把模型變成容易管理的企業應用」。
  • Azure Machine Learning(不同功能但可高度整合):傳統上專注於機器學習的完整生命週期,例如資料準備、模型訓練與 MLOps,偏向傳統 ML;而生成式 AI 的開發落在Microsoft Foundry。兩者並非獨立隔離——Microsoft Foundry Models 的底層即建構在 Azure Machine Learning 的 registries 之上,彼此高度整合、可互為支援的角色。

三種服務的定位比較表

角色定位主要解決的問題
Azure OpenAI Service底層模型能力取得並呼叫 OpenAI 模型
Azure AI Foundry整合與治理的管理層把 OpenAI 模型變成可治理的正式應用
Azure Machine Learning傳統 ML 賽道,與 Foundry 高度整合資料準備、ML 模型訓練與 MLOps

根據微軟官方資料顯示,目前已有超過 80,000 家企業與數位原生公司的開發人員使用此平台,其中包含財富 500 大企業中的 80%。在使用上,平台本身免費探索,費用發生在部署層級,依各項產品(模型、代理程式、工具)各自的計費模式計價,並會一併產生底層服務的使用成本。若您過去使用 Azure OpenAI 資源,可在保留端點、API 金鑰與既有狀態的前提下升級為 Foundry 資源。

Microsoft Foundry 模型目錄怎麼用?企業該如何選模型

Microsoft Foundry 的模型目錄可讓企業在同一平台查看、比較、測試與部署不同模型。企業選模型時,不應該只考慮哪個模型最強,而要先定義任務需求,評估回答品質、成本、延遲、部署限制與資安要求。

GPT 模型:適合複雜推理

GPT 模型適合合約摘要、知識問答、程式碼輔助與高品質內容生成,適合重視回答品質的任務。

開源模型:適合客製化彈性部署

開源模型適合需要部署彈性、資料控管與特定場景調整的企業。

SLM 輕量級模型:適合特定高頻任務

SLM 輕量級模型適合分類、短文摘要與固定格式輸出,能大幅降低企業的運算成本與回應延遲 。

延伸閱讀:什麼是 Microsoft Foundry?(Microsoft Learn)Microsoft Foundry(經典版)說明(Microsoft Learn)

延伸閱讀:Microsoft Foundry 產品頁(Microsoft Azure)

 二、Microsoft Foundry 的核心優勢

企業最頭痛的問題:測試沒問題,正式上線卻一團混亂

許多企業在建立 AI 應用的測試階段成效優良,卻在跨入正式上線時,面臨權限控管混亂、模型幻覺失控與資安合規的瓶頸。測試環境裡可行的做法,一旦放大到正式營運,往往因為缺乏統一治理而失序。Microsoft Foundry 的核心價值,正是為企業打通從「測試階段」到「正式營運」的最後一哩路。

對企業而言,能不能呼叫模型只是起點;真正的關鍵在於能否在統一治理下,安全地開發、部署與監控 AI 應用。Microsoft Foundry 圍繞三大核心模組,提供從開發到落地的完整工具鏈。

1. 模型管理(Models)

根據微軟官方資料顯示,Foundry Models 提供超過 11,000 個模型,涵蓋微軟、OpenAI、DeepSeek、Hugging Face、Meta 等來源,您可以用真實任務與自有資料並列比較、評估,再部署。其中微軟自家的 Phi 模型在平台上的下載次數已突破 6,000 萬次。底層透過 Azure Machine Learning registries 託管與散布模型資產,並支援以 Azure Policy 限制模型存取、以受控虛擬網路進行安全部署。

2. 代理平台(Agentic Platform)

Microsoft Foundry Agent Service 是用來建置、部署與擴展 AI 代理程式的受控平台。與只會產生文字的聊天機器人不同,代理程式能呼叫工具、存取外部資料,並跨多個步驟自主完成任務。它支援對接 Micosoft Fabric、SharePoint、Azure AI Search 等資料來源,並可整合 Logic Apps、Azure Functions 與 API 作為工具;在跨代理互通上,支援 Agent-to-Agent(A2A)與 Model Context Protocol(MCP)[3]。在資料檢索方面,Foundry IQ 提供受控的知識層,將企業資料轉為可重複使用、具權限感知的知識庫,這也是企業導入 RAG 架構(檢索增強生成)時的核心元件。

以企業常見的 RAG 應用為例,整體架構通常由三種角色分工:Azure OpenAI 提供生成答案的模型能力、Azure AI Search 作為檢索元件負責從企業知識庫找出相關內容(這是 Azure 生態系中最常見的 RAG 檢索來源),而 Microsoft Foundry 則作為整合與治理的環境,把模型、檢索與代理程式串接起來並納入監控。

備註:RAG 並非只能透過 Prompt Flow 實作;目前許多 Foundry 專案已改以 Agent Service 或 Foundry IQ 等方式落地檢索增強生成,Prompt Flow 僅是經典版提供的其中一種原型途徑。

3. 觀測與治理(Observability and Governance)

在正式環境中,您需要知道應用的表現與風險所在。Foundry 內建追蹤(tracing)、評估(evaluations)與監控能力,並採用 OpenTelemetry 開放標準了解代理運作。安全治理上,平台提供整合式護欄以降低不安全輸出,並針對 Prompt Injection 防禦(含跨提示注入攻擊 XPIA)提供緩解機制。在架構層面,Foundry 以頂層資源負責治理、以專案進行開發隔離,預設以符合 FIPS 140-2 的 256 位元 AES 加密靜態與傳輸中的資料,並可改用客戶自管金鑰。

Prompt Injection 防禦為什麼需要 Prompt Shields

Prompt Injection 是企業 AI 應用常見的安全風險。攻擊者可能透過使用者輸入、外部文件、網頁內容或工具指令,誘導模型忽略原本規則,進而輸出不當內容、洩漏資訊或執行錯誤動作。

Prompt Shields 可作為輸入端防護,協助偵測惡意提示、越獄企圖與間接注入風險。但企業不能只依賴單一功能,仍要搭配最小權限原則、資料分級、敏感資料遮罩、操作日誌、人工審核與紅隊測試。

常見攻擊類型包含:

  • 直接注入:來自使用者輸入,風險是誘導 AI 執行越權指令。
  • 間接注入:來自外部文件或網頁內容,風險是隱藏惡意命令。
  • 工具注入:來自外掛工具或系統串接,風險是誤用權限或執行錯誤操作。

Content Safety 內容安全如何降低輸入與輸出風險?

Azure AI Content Safety 可協助企業偵測與過濾不當內容,降低 AI 應用產生暴力、仇恨、成人、自殘或其他敏感內容的風險。對外部客服、公開問答、教育平台與員工 AI 助理來說,這是重要的防護層。

Prompt Shields 偏向防止模型被惡意提示操控,Content Safety 則偏向檢查內容本身是否合規。兩者搭配,才能同時處理有人想操控模型與模型產出不當內容這 2 類問題。

防護項目防護重點處理問題適用情境
Prompt Shields保護模型推理流程Prompt Injection、I、Jailbreak、Tool Manipulation 等RAG、AI Agent、Copilot、Code Assistant、MCP Agent
Content Safety審查輸入與輸出內容仇恨言論、暴力、色情、自殘、騷擾、有害或違規內容對外聊天機器人、客服系統、知識問答、內容生成
日誌監控監控 AI 應用運作狀態攻擊事件追蹤、異常請求、模型回應分析、稽核與合規企業 AI 平台、安全稽核、事件調查

延伸閱讀:Microsoft Foundry Models 總覽(Microsoft Learn)Microsoft Foundry Agent Service 總覽(Microsoft Learn)Microsoft Foundry 架構(Microsoft Learn)

延伸閱讀:什麼是 Foundry IQ?(Microsoft Learn)

三、什麼樣的情況企業建議導入 Microsoft Foundry

並非所有 AI 需求都需要完整的開發平台。根據微軟官方架構建議,當您的情境符合下列任一條件時,Foundry 的資源模型會是合適的選擇:

  • 首次建置 AI 專案:希望以單一資源同時取得模型存取、代理程式託管與評估工具。
  • 多團隊協作:多個團隊需要彼此隔離的專案,但共用模型部署與集中式治理。
  • 合規導向設計:組織要求私有網路、客戶自管加密金鑰,或在資源與專案層級進行 Azure RBAC 權限範圍控管。
  • 從 Azure OpenAI 移轉:正從獨立的 Azure OpenAI 資源移轉,希望保留既有政策與 RBAC,同時加入代理程式與評估能力。

反之,若您的工作負載只需要 Azure OpenAI 的文字補全,不需要代理程式託管或評估,使用獨立的 Azure OpenAI 資源可能就已足夠。對於單一開發者的探索情境,一個 Foundry 資源搭配一個專案是建議的預設起點。

延伸閱讀:Microsoft Foundry 架構(Microsoft Learn)快速入門:設定 Microsoft Foundry 資源(Microsoft Learn)

四、Microsoft Foundry 如何部署到生產環境?

Microsoft Foundry 從原型到正式上線,關鍵在於管理責任。原型只要能回答問題,正式環境則要處理權限、回答品質、成本、效能、安全與維運流程。企業應建立 LLMOps,管理提示詞版本、模型版本、資料更新、使用紀錄與異常事件,避免 AI 應用上線後失控。

權限設計:避免越權存取

先定義使用者角色、資料查詢範圍與系統串接權限,避免 AI 讀取或輸出不該公開的內容。

回答評估:降低錯誤回答

建立測試問題、標準答案、引用來源與錯誤紀錄,持續追蹤回答品質。

監控警示:確保長期維運

追蹤 Token 用量、模型成本、使用頻率、異常輸入與安全事件,讓風險能提早被發現。

五、Foundry、Azure OpenAI Service、Copilot Studio的比較

許多企業在評估時,容易把 Microsoft Foundry、Azure OpenAI Service 與 Copilot Studio 三者混淆。三者都屬於微軟 AI 生態系,但定位、適用對象與使用方式不同。以下分兩組為您比較。

Microsoft Foundry vs. Azure OpenAI Service

比較項目Microsoft FoundryAzure OpenAI Service
定位整合模型、代理程式與工具的 AI 應用平台在 Azure 環境呼叫 OpenAI 模型的服務
模型範圍11,000+ 多來源模型(含 OpenAI、Meta 等)聚焦 OpenAI(GPT 系列)模型
代理程式內建 Agent Service 與多代理協作需自行建置代理邏輯
觀測與治理內建追蹤、評估、護欄與統一 RBAC依 Azure 既有監控與權限機制
適合對象需建置完整 AI 應用與代理程式的團隊只需文字補全、串接既有應用的團隊
關係可由 Azure OpenAI 資源升級而來可作為 Foundry 的底層模型來源之一

Microsoft Foundry vs. Microsoft Copilot Studio

比較項目Microsoft FoundryMicrosoft Copilot Studio
開發取向程式碼優先,SDK/API 驅動低程式碼/無程式碼,視覺化拖拉
主要使用者開發者、資料科學家、架構師業務人員、解決方案設計者
客製與控制完整控制提示、工具、安全與多代理協作以主題、動作與連接器快速組裝
生態整合深度整合 Azure 服務、模型目錄與 MCP緊密嵌入 Microsoft 365 與 Power Platform
適用情境複雜、可擴展、需深度觀測的正式應用快速打造對話式助理與內部流程自動化
搭配關係處理後端複雜推理與專屬演算法作為面向使用者的前端入口

兩組比較的共同結論是:這些平台並非互斥。事實上,常見的企業做法是由開發者在 Foundry 建置專業代理程式與後端邏輯,再以 Copilot Studio 組裝面向使用者的操作體驗;而 Azure OpenAI Service 則可作為 Foundry 取用 OpenAI 模型的來源之一。選擇的關鍵,在於您需要的控制深度與團隊技能組合。

延伸閱讀:Microsoft Foundry 產品介紹

六、常見問題 FAQ

Q1:Microsoft Foundry 適合誰使用?

A:適合需要建置完整 AI 應用與代理程式的開發者、資料科學家與技術決策者,特別是有多團隊協作、合規治理或從 Azure OpenAI 移轉需求的企業。若只需要現成對話工具或低程式碼助理,Copilot Studio 會更直接。

Q2:Microsoft Foundry 提供哪些產品?

A:主要圍繞三大模組:模型管理(Foundry Models,11,000+ 模型)、代理平台(Foundry Agent Service 與 Foundry IQ),以及觀測與治理(追蹤、評估、護欄與統一 RBAC)。此外也提供 Foundry Local,可在地端環境運行與測試模型。

Q3:使用 Microsoft Foundry 需要 Azure 帳戶嗎?

A:需要。平台可免費探索,模型目錄也可在未登入下瀏覽,但要使用完整功能、實際部署模型與代理程式,仍需 Azure 帳戶;費用發生在部署層級,依用量計費。

Q4:Microsoft Foundry 和 Azure OpenAI Service 有什麼不同?

A:Azure OpenAI Service 聚焦於提供 OpenAI 模型的 API 呼叫;Microsoft Foundry 則整合多來源模型、代理平台與全生命週期的監控治理,適合企業級的完整應用。兩者可互補,Azure OpenAI 資源也能升級為 Foundry 資源。

Q5:RAG 一定要用 Prompt Flow 實作嗎?

A:不一定。Prompt Flow 是 Microsoft Foundry 經典版(classic)提供的提示流程原型工具之一,但並非實作 RAG 的必要途徑。目前許多 Foundry 專案已改以 Agent Service 搭配 Foundry IQ、Azure AI Search 等方式實現檢索增強生成。若您仍需使用 Prompt Flow 或受控運算模型部署,建議在經典版入口網站操作;新版的投資重心則放在 Foundry 專案的整合體驗上。宏庭一般建議依專案實際的平台版本與功能支援,選擇合適的實作方式。

導入 Microsoft Foundry,交給宏庭科技為您搞定

宏庭科技是 Microsoft 雲端合作夥伴,母公司為遠東集團旗下的博弘雲端,橫跨四大雲服務,累積服務超過 2,000 家企業客戶、擁有 1,000 張以上原廠認證,並通過 ISO 27001 資訊安全管理驗證。在企業導入此平台與整體雲端落地上,我們提供下列具體協助:

  • 完整雲端維運服務:從環境評估、工作負載評估、雲端架構設計、概念驗證(PoC)、實際環境部署到雲端代管,提供端到端服務。
  • 您始終保有最高管理權:即使透過代理商開通訂閱,您在 Microsoft Entra ID 中仍保有 Owner 角色,帳號與資料的最高控制權始終在您手上。
  • 零停機退場機制:合約終止時,帳號與資料可完整、零停機(No Downtime)轉回原廠或其他代理商,雲端架構與設定維持不變。
  • 台灣在地開票:提供台灣在地公司發票(含 5% 營業稅),並整合電子發票,符合企業報帳與稅務合規需求。
  • 持續監控與優化:提供定期報表與問題洞察,並依業務需求即時調整雲端環境,協助創造更多商業價值。

宏庭科技為您搞定 Azure 雲端大小事。 馬上聯絡專屬顧問

延伸閱讀

[1] 什麼是 Microsoft Foundry?(Microsoft Learn)

[2] Microsoft Foundry Models 總覽(Microsoft Learn)

[3] Microsoft Foundry Agent Service 總覽(Microsoft Learn)

[4] Microsoft Foundry 架構(Microsoft Learn)