Přeskočit na hlavní obsah

OBJEVTE, PŘIPOJTE SE, ZVĚTŠUJTE SE

Microsoft Reactor

Připojte se k Microsoft Reactoru a živě se obraťte na startupy a vývojáře.

Jste připravení začít s AI? Microsoft Reactor poskytuje akce, školení a komunitní zdroje, které pomáhají začínajícím podnikům, podnikatelům a vývojářům rozvíjet své další podnikání na technologiích AI. Připojte se k nám!

OBJEVTE, PŘIPOJTE SE, ZVĚTŠUJTE SE

Microsoft Reactor

Připojte se k Microsoft Reactoru a živě se obraťte na startupy a vývojáře.

Jste připravení začít s AI? Microsoft Reactor poskytuje akce, školení a komunitní zdroje, které pomáhají začínajícím podnikům, podnikatelům a vývojářům rozvíjet své další podnikání na technologiích AI. Připojte se k nám!

Zpět

Deploying and Monitoring LLM Inference Endpoints

16 července, 2024 | 6:00 odp. - 7:00 odp. (UTC) Koordinovaný univerzální čas

  • Formát:
  • alt##LivestreamLivestream

Téma: Datová Věda a Učení stroje

Jazyk: Angličtina

In this session we will dive into deploying LLMs to Production Inference Endpoints and then putting in place automated monitoring metrics and alerts to help track model performance and suppress potential output issues such as toxicity.

We will also cover the process of optimizing LLMs using RAG, for relevant, accurate, and useful outputs.

You will leave this session with a comprehensive understanding about deploying LLMs to production and monitoring the models for issues such as Toxicity, relevance, and accuracy.

Try this other common AI use cases using the Wallaroo.AI Azure Inference Server Freemium Offer on Azure Marketplace and also try the Free Wallaroo.AI Community Edition

  • LLM

Reproduktory

Pokud máte dotazy, kontaktujte nás na adrese reactor@microsoft.com