學習、聯繫、建置

Microsoft Reactor

加入 Microsoft Reactor 並與開發人員即時互動

準備好開始使用 AI 和最新技術嗎？ Microsoft Reactor 提供活動、訓練和社群資源，協助開發人員、企業家和初創公司建置 AI 技術等等。加入我們！

學習、聯繫、建置

Microsoft Reactor

加入 Microsoft Reactor 並與開發人員即時互動

準備好開始使用 AI 和最新技術嗎？ Microsoft Reactor 提供活動、訓練和社群資源，協助開發人員、企業家和初創公司建置 AI 技術等等。加入我們！

Deploying and Monitoring LLM Inference Endpoints

16 7月, 2024 | 6:00 下午 - 7:00 下午 (UTC) 國際標準時間

格式:
線上直播

主題: 資料科學與機器學習

語言: 英文

In this session we will dive into deploying LLMs to Production Inference Endpoints and then putting in place automated monitoring metrics and alerts to help track model performance and suppress potential output issues such as toxicity.

We will also cover the process of optimizing LLMs using RAG, for relevant, accurate, and useful outputs.

You will leave this session with a comprehensive understanding about deploying LLMs to production and monitoring the models for issues such as Toxicity, relevance, and accuracy.

Try this other common AI use cases using the Wallaroo.AI Azure Inference Server Freemium Offer on Azure Marketplace and also try the Free Wallaroo.AI Community Edition

演講者