Hoppa till huvudinnehållet

UPPTÄCK, ANSLUT, VÄXA

Microsoft-reaktor

Gå med i Microsoft Reactor och kommunicera med startups och utvecklare live

Är du redo att komma igång med AI? Microsoft Reactor tillhandahåller evenemang, utbildning och communityresurser som hjälper startups, entreprenörer och utvecklare att bygga sin nästa verksamhet på AI-teknik. Följ med oss!

UPPTÄCK, ANSLUT, VÄXA

Microsoft-reaktor

Gå med i Microsoft Reactor och kommunicera med startups och utvecklare live

Är du redo att komma igång med AI? Microsoft Reactor tillhandahåller evenemang, utbildning och communityresurser som hjälper startups, entreprenörer och utvecklare att bygga sin nästa verksamhet på AI-teknik. Följ med oss!

Gå tillbaka

Deploying and Monitoring LLM Inference Endpoints

16 juli, 2024 | 6:00 em - 7:00 em (UTC) Samordnad universell tid

  • Format:
  • alt##LivestreamLivestream

Ämne: Datavetenskap & Machine Learning

Språk: Engelska

In this session we will dive into deploying LLMs to Production Inference Endpoints and then putting in place automated monitoring metrics and alerts to help track model performance and suppress potential output issues such as toxicity.

We will also cover the process of optimizing LLMs using RAG, for relevant, accurate, and useful outputs.

You will leave this session with a comprehensive understanding about deploying LLMs to production and monitoring the models for issues such as Toxicity, relevance, and accuracy.

Try this other common AI use cases using the Wallaroo.AI Azure Inference Server Freemium Offer on Azure Marketplace and also try the Free Wallaroo.AI Community Edition

  • LLM

Högtalare

För frågor kontakta oss på reactor@microsoft.com