跳至主要内容

发现、联系、增长

Microsoft Reactor

加入 Microsoft Reactor 并实时与初创公司和开发人员互动

是否准备好开始使用 AI?  Microsoft Reactor 提供活动、培训和社区资源,以帮助初创公司、企业家和开发人员利用 AI 技术打造新业务。 快加入我们吧!

发现、联系、增长

Microsoft Reactor

加入 Microsoft Reactor 并实时与初创公司和开发人员互动

是否准备好开始使用 AI?  Microsoft Reactor 提供活动、培训和社区资源,以帮助初创公司、企业家和开发人员利用 AI 技术打造新业务。 快加入我们吧!

返回

Deploying and Monitoring LLM Inference Endpoints

16 七月, 2024 | 6:00 下午 - 7:00 下午 (UTC) Koordinovaný univerzální čas

  • 形式:
  • alt##LivestreamLivestream

主题: Datová Věda a Učení stroje

语言: Angličtina

In this session we will dive into deploying LLMs to Production Inference Endpoints and then putting in place automated monitoring metrics and alerts to help track model performance and suppress potential output issues such as toxicity.

We will also cover the process of optimizing LLMs using RAG, for relevant, accurate, and useful outputs.

You will leave this session with a comprehensive understanding about deploying LLMs to production and monitoring the models for issues such as Toxicity, relevance, and accuracy.

Try this other common AI use cases using the Wallaroo.AI Azure Inference Server Freemium Offer on Azure Marketplace and also try the Free Wallaroo.AI Community Edition

  • LLM

主讲人

如有疑问,请联系我们 reactor@microsoft.com