在 Windows 上使用本地 AI 构建

创建响应迅速的 AI 体验，让数据保留在设备上，即使没有网络连接也能正常运行，并减少对按请求进行云推理的依赖。使用 Windows AI API、Windows 上的 Microsoft Foundry 或 Windows ML 根据应用选择合适的本地 AI 方案。

探索 AI 开发库查看本地 AI 文档
为什么使用本地 AI

让推理更接近你的应用及其数据

如果体验需要设备数据、即时交互，或需要在没有可靠连接的情况下继续运行，本地推理可以作为云 AI 的补充。
隐私和数据本地性 在设备上保留受支持的工作负载 当你的方案和所选功能支持设备端推理时，在本地处理应用数据。 了解本地 AI 响应能力 无需网络往返即可响应 对于受益于低延迟和即时反馈的交互使用本地推理。 比较本地 AI 和云 AI 脱机可用 确保关键体验可用 设计支持的本地 AI 功能，确保在连接受限或不可用时仍能继续运行。 开始使用 Foundry Local 灵活的体系结构 选择每个请求的运行位置 在适合的场景中使用本地推理；当工作负载需要云规模或云端功能时，连接到云服务。 选择 Windows AI 解决方案
开始构建

选择适合你的应用的本地 AI 路径

从 AI 开发库开始探索可运行的示例。然后选择 Windows 托管的 API、通过 Windows 上的 Microsoft Foundry 使用本地模型，或使用 Windows ML 运行你自己的模型。
可直接使用的功能 Windows AI API 当应用需要受支持的 API，且你不想直接管理模型生命周期时，请添加 Windows 提供的 AI 功能。 Windows AI API 文档 本地生成式 AI Windows 上的 Microsoft Foundry 使用 Foundry Local 查找、下载并集成受支持的开放源代码模型，以便在 Windows 应用中进行本地推理。 Windows 上的 Microsoft Foundry 的相关文档 自带模型 Windows ML 通过 Windows ML 运行时在受支持的 Windows 硬件上运行自定义模型或开放源代码模型。 Windows ML 文档 可运行示例 AI 开发库 浏览交互式本地 AI 示例，测试硬件功能，并检查源代码。 探索 AI 开发库
面向智能体的本地 AI

在 Windows 上使用本地模型驱动智能体

使用 Foundry Local 运行现成的本地 LLM，或使用 Windows ML 搭配你自己的 ONNX 模型，然后将该本地推理路径连接到智能体体验。
可直接使用的本地 LLM 从 Foundry Local 开始 使用 Foundry Local SDK 和 CLI 评估并集成受支持的语言模型，以进行本地推理。
  • 开始使用 Foundry Local
  • 探索即用型本地 LLM
    •  自带模型 使用 Windows ML 进行自定义推理 使用 Windows ML 在受支持的 NPU、GPU 和 CPU 上查找、转换、优化和加速 ONNX 模型。
  • 开始使用 Windows ML
  • 查找或训练模型
  • 加速本地推理

    • 准备好构建能够执行操作的智能体了吗?

    继续阅读单独的 Windows 智能体指南，了解身份、隔离、约束、治理和策略控件。

    探索安全的智能体开发
    继续学习

    从概述转到实施

    利用维护良好的文档选择推理路径、评估可运行示例、准备模型，并在 Windows 硬件上部署本地 AI。
    选择推理路径 比较 Windows AI API、Foundry Local 和 Windows ML，然后确定应用适合采用本地推理还是云端推理。
  • Windows 上的 Microsoft Foundry
  • Windows AI API
  • Foundry Local
  • Windows ML
  • 选择 Windows AI 解决方案
    •  工具、示例和场景 在自己的硬件上评估本地 AI，并检查可运行的代码。
  • AI 开发库
  • AI 代码示例和教程
  • VS Code Foundry 工具包
    •  模型、加速和分发 为 Windows ML 准备 ONNX 模型，利用可用硬件加速模型，并选择将模型文件交付给用户的方式。
  • 查找或训练模型
  • 加速 AI 模型
  • 分发模型
  • Windows ML CLI