在 Windows 上使用本機 AI 組建

建立回應迅速的 AI 體驗,讓資料保留在裝置上、即使沒有網路連線也能使用,並減少對每次要求都在雲端進行推論的依賴。使用 Windows AI API、Microsoft Foundry on Windows 或 Windows ML,為您的應用程式選擇最適合的本機 AI 路徑。

探索 AI Dev Gallery查看本機 AI 文件
為什麼要使用本機 AI

讓推論更接近您的應用程式及其資料

如果體驗需要使用裝置資料、即時互動,或在沒有可靠連線時持續運作,本機推論就能補充雲端 AI。
隱私權與資料位置 讓支援的工作負載留在裝置上 當您的案例和所選功能支援裝置上推論時,您可以在本機處理應用程式資料。 深入了解本機 AI 回應能力 無需經過網路往返即可回應 針對需要低延遲和立即回應的互動,使用本機推論。 比較本機 AI 與雲端 AI 離線可用性 讓關鍵體驗隨時可用 設計支援本機 AI 的功能,讓這些功能在連線受限或無法連線時仍能運作。 開始使用 Foundry Local 彈性架構 選擇每個要求的執行位置 在適合的情況下使用本機推理;當工作負載需要雲端規模或功能時,再連線至雲端服務。 選擇 Windows AI 解決方案
開始建置

選擇適合您應用程式的本機 AI 路徑

從 AI Dev Gallery 開始探索可運作的範例。接著選擇 Windows 管理的 API、透過 Microsoft Foundry on Windows 使用本機模型,或使用 Windows ML 搭配您自己的模型。
現成可用的功能 Windows AI API 當您的應用程式需要支援的 API,而您不想直接管理模型生命週期時,請加入 Windows 提供的 AI 功能。 Windows AI API 文件 本機生成式 AI Windows 上的 Microsoft Foundry 使用 Foundry Local 尋找、下載並整合支援的開放原始碼模型,在您的 Windows 應用程式中執行本機推論。 Microsoft Foundry on Windows 文件 自備模型 Windows ML 透過 Windows ML 執行階段,在支援的 Windows 硬體上執行自訂或開放原始碼模型。 Windows ML 文件 實作範例 AI 開發圖庫 探索互動式本機 AI 範例、測試硬體上的功能,並檢查原始程式碼。 探索 AI Dev Gallery
代理程式的本機 AI

在 Windows 上使用本機模型為代理程式提供支援

使用 Foundry Local 執行可直接使用的本機 LLM,或使用 Windows ML 搭配您自己的 ONNX 模型,然後將這個本機推論路徑連線至您的代理程式體驗。
可立即使用的本機大型語言模型 開始使用 Foundry Local 使用 Foundry Local SDK 和 CLI,評估並整合支援的語言模型,以進行本機推理。
  • 開始使用 Foundry Local
  • 探索可立即使用的本機大型語言模型
  • 自備模型 使用 Windows ML 進行自訂推斷 使用 Windows ML 在支援的 NPU、GPU 和 CPU 上尋找、轉換、最佳化及加速 ONNX 模型。
  • 開始使用 Windows ML
  • 尋找或訓練模型
  • 加速本機推論
  • 準備好建立能採取行動的代理程式了嗎?

    請繼續參閱個別的 Windows 代理程式指引,了解身分識別、隔離、遏止、治理及原則控制措施。

    探索安全的代理程式開發
    繼續了解

    從概觀邁向實作

    使用持續維護的文件來選擇推理途徑、評估可運作的範例、準備模型,並在 Windows 硬體上部署本機 AI。
    選擇推論路徑 比較 Windows AI API、Foundry Local 和 Windows ML,然後決定應用程式適合採用本機推論還是雲端推論。
  • Windows 上的 Microsoft Foundry
  • Windows AI API
  • Foundry Local
  • Windows ML
  • 選擇您的 Windows AI 解決方案
  • 工具、範例和情境 在您的硬體上評估本機 AI,並檢視運作中的程式碼。
  • AI 開發圖庫
  • AI 程式碼範例與教學課程
  • VS Code 的 Foundry Toolkit
  • 模型、加速與發佈 準備適用於 Windows ML 的 ONNX 模型,利用可用硬體加速模型,並選擇將模型檔案傳遞給使用者的方式。
  • 尋找或訓練模型
  • 加速 AI 模型
  • 發佈模型
  • Windows ML CLI