Skip to main content

LEARN, CONNECT, BUILD

Microsoft Reactor

Join Microsoft Reactor and engage with developers, entrepreneurs, and startups live

Ready to get started with AI and the latest technologies? Microsoft Reactor provides events, training, and community resources to help developers, entrepreneurs and startups build on AI technology and more. Join us!

LEARN, CONNECT, BUILD

Microsoft Reactor

Join Microsoft Reactor and engage with developers, entrepreneurs, and startups live

Ready to get started with AI and the latest technologies? Microsoft Reactor provides events, training, and community resources to help developers, entrepreneurs and startups build on AI technology and more. Join us!

Go back

The Data Architecture Experience: Data Lakehouse & Data Mesh para Times de Dados

29 September, 2023 | 12:00 PM - 9:00 PM (UTC) Coordinated Universal Time

Location: Sao Paulo

Address: Microsoft Reactor São Paulo Rua Jaceru, nº 225. Vila Gertrudes, São Paulo.CEP: 04705-000

  • Format:
  • alt##In personIn person (Sao Paulo)
  • alt##LivestreamLivestream

Topic: Modern Data and Analytics

Language: Portuguese

A transmissão ao vivo será dividia em duas partes:

Manhã: https://www.youtube.com/watch?v=SQ_TucIsMz4
Tarde: https://www.youtube.com/watch?v=b7XQ_Hg-x4Y

Sobre o Evento

O Data Architecture Experience é uma conferência focada em trazer os mais novos conceitos do mercado de Dados para o Brasil. Data Lakehouse e Data Mesh são os tópicos mais relevantes para profissionais de dados que necessitam trabalhar em uma cultura Data-Driven para entregar valor ao seu negócio.

Neste evento iremos navegar nos conceitos e tecnologias mais pertinentes sobre esses tópicos e trazer dicas das trincheiras em como de fato trabalhar e operacionalizar isso no mundo real.

Programação

09:00Hs às 09:50Hs: Data Mesh para Dummies
Speaker: Mateus Oliveira - Data Solution Architect na One Way Solution
https://www.linkedin.com/in/mateushenriqueoliveira/

É comum projetos de Big Data centralizarem as tecnologias e responsabilidades no provisionamento de pipeline de dados na figura do engenheiro de dados, essa abordagem traz vantagens e desvantagens. A vantagem é o controle da infraestrutura e processos dos dados, a desvantagem é a falta de integração das áreas de negócio que só os colaboradores setoriais conhecem. A descentralização dos dados, a organização dos produtos de dados em domínios e infraestrutura automatizada são algumas características do Data Mesh que ajudam garantir a consistência e harmonia na gestão e criação dos produtos de dados. Nesta sessão você irá entender a estrutura completa de uma Data Mesh e como é possível operacionalizar o mesmo.

10:00Hs as 10:50Hs: Apache Pinot como OLAP em Tempo-Real para Projetos de Data Mesh
Speaker: Victor Grudtner - Staff Data Engineer na One Way Solution
https://www.linkedin.com/in/victor-grudtner-boell-092b6853/

O tempo é um fator crítico na entrega dos dados e no valor das informações extraída das análises dos dados, um banco de dados tradicional ou um data warehouse padrão não são adequados para análises de grandes volumes de dados em tempo real. O Apache Pinot é um sistema OLAP que pode ser integrado ao Data Mesh para construir produtos de dados que demandam análises em tempo real. Nesta apresentação serão abordados os principais aspectos de streaming em Data Mesh e como construir produtos de dados com Apache Pinot.

11:00Hs às 11:50Hs: A ser definida

14:00 Hs às 14:50 Hs: Confluent Cloud como Sistema Nervoso Central para Data Mesh
Speaker: Mateus Oliveira - Data Solution Architect na One Way Solution
https://www.linkedin.com/in/mateushenriqueoliveira/

O Apache Kafka se tornou um sistema nervoso central capaz de conectar produtos e soluções dentro do conceito de Data Mesh não somente pela sua capacidade de armazenamento, mas sim pela entrega de uma solução fim a fim que possa armazenar, processar e entregar dados em tempo real para domínios de dados. A Confluent Cloud juntamente com o Kora Engine pode entregar até 10x mais velocidade e valor para seus usuários finais. Nessa seção você irá entender como a Confluent Cloud entrega Data Mesh para seus clientes e como construir essa solução dentro da sua empresa.

15:00Hs às 15:50Hs: Orquestrando Domínios de Data Mesh com Apache Nifi
Speaker: Leonardo Côco - Data Architect na One Way Solution
https://www.linkedin.com/in/leonardo-c%C3%B4co-9863712a/

O Apache Nifi é a ferramenta de movimento de dados Open-Source mais utilizada no mercado de dados trazendo uma experiência para times de dados fácil e intuitiva. Nessa sessão você aprenderá como utilizar o Apache Nifi ao seu favor para a construção de domínios dentro do Data Mesh.

16:00Hs às 16:50Hs: DataOps com Lenses para Data Pipelines em Tempo-Real
Speaker: Mateus Oliveira - Data Solution Architect na One Way Solution
https://www.linkedin.com/in/mateushenriqueoliveira/

A Lenses é uma plataforma de DataOps completa que entrega soluções de tempo real fim a fim. Operacionalizar o Apache Kafka e Data Mesh pode ser muito desafiador sem uma ferramenta que possa entregar valor dentro dos domínios de dados e rapidamente reagir a problemas assim como observar e resolver problemas complexos de forma fácil e em uma interface gráfica amigável. Nessa sessão você irá aprender como o Lenses juntamente com o Apache Kafka pode entregar valor ao seu negócio de ponta a ponta.

17:00Hs às 17:50Hs: Use-Case Data Mesh Fim a Fim
Speaker: Mateus Oliveira - Data Solution Architect na One Way Solution
https://www.linkedin.com/in/mateushenriqueoliveira/

Demonstração fim a fim de uma solução de dados utilizando Data Mesh.

For questions please contact us at reactor@microsoft.com