Deploying and Monitoring LLM Inference Endpoints

7월 16, 2024 | 6:00 - 7:00 오후 (UTC) 협정 세계시

AI 및 최신 기술을 시작할 준비가 되셨나요? Microsoft Reactor는 개발자, 기업가 및 신생 기업이 AI 기술 등을 기반으로 구축하는 데 도움이 되는 이벤트, 교육 및 커뮤니티 리소스를 제공합니다. 참여하세요.

Deploying and Monitoring LLM Inference Endpoints

7월 16, 2024 | 6:00 - 7:00 오후 (UTC) 협정 세계시

AI 및 최신 기술을 시작할 준비가 되셨나요? Microsoft Reactor는 개발자, 기업가 및 신생 기업이 AI 기술 등을 기반으로 구축하는 데 도움이 되는 이벤트, 교육 및 커뮤니티 리소스를 제공합니다. 참여하세요.

돌아가기

Deploying and Monitoring LLM Inference Endpoints

7월 16, 2024 | 6:00 - 7:00 오후 (UTC) 협정 세계시

  • 서식:
  • alt##LivestreamLivestream

항목: 데이터 과학 및 머신러닝

언어: 영어

In this session we will dive into deploying LLMs to Production Inference Endpoints and then putting in place automated monitoring metrics and alerts to help track model performance and suppress potential output issues such as toxicity.

We will also cover the process of optimizing LLMs using RAG, for relevant, accurate, and useful outputs.

You will leave this session with a comprehensive understanding about deploying LLMs to production and monitoring the models for issues such as Toxicity, relevance, and accuracy.

Try this other common AI use cases using the Wallaroo.AI Azure Inference Server Freemium Offer on Azure Marketplace and also try the Free Wallaroo.AI Community Edition
  • LLM

스피커

  • Akmel Syed

    • Sr Sales Engineer

    Wallaroo.AI

  • Martin Bald

    • Sr Manager DevRel Community

    Wallaroo.AI

  • Younes Amar

    • VP of Product

    Wallaroo.AI

이 페이지의 일부는 기계 또는 AI 번역될 수 있습니다.