Pular para o conteúdo principal

DESCOBRIR, CONECTAR, CRESCER

Microsoft Reactor

Ingresse no Microsoft Reactor e interaja com startups e desenvolvedores ao vivo

Pronto para começar a usar a IA? O Microsoft Reactor fornece eventos, treinamento e recursos da comunidade para ajudar startups, empreendedores e desenvolvedores a criar seus próximos negócios em tecnologia de IA. Junte-se a nós!

DESCOBRIR, CONECTAR, CRESCER

Microsoft Reactor

Ingresse no Microsoft Reactor e interaja com startups e desenvolvedores ao vivo

Pronto para começar a usar a IA? O Microsoft Reactor fornece eventos, treinamento e recursos da comunidade para ajudar startups, empreendedores e desenvolvedores a criar seus próximos negócios em tecnologia de IA. Junte-se a nós!

Voltar

The Data Architecture Experience: Data Lakehouse & Data Mesh para Times de Dados

29 setembro, 2023 | 12:00 PM - 9:00 PM (UTC) Tempo Universal Coordenado UTC

Localização: Sao Paulo

Endereço: Microsoft Reactor São Paulo Rua Jaceru, nº 225. Vila Gertrudes, São Paulo.CEP: 04705-000

  • Formato:
  • alt##In personPessoalmente (Sao Paulo)
  • alt##LivestreamTransmissão ao vivo

Tópico: Dados e Análises Modernos

Linguagem: Português

A transmissão ao vivo será dividia em duas partes:

Manhã: https://www.youtube.com/watch?v=SQ_TucIsMz4
Tarde: https://www.youtube.com/watch?v=b7XQ_Hg-x4Y

Sobre o Evento

O Data Architecture Experience é uma conferência focada em trazer os mais novos conceitos do mercado de Dados para o Brasil. Data Lakehouse e Data Mesh são os tópicos mais relevantes para profissionais de dados que necessitam trabalhar em uma cultura Data-Driven para entregar valor ao seu negócio.

Neste evento iremos navegar nos conceitos e tecnologias mais pertinentes sobre esses tópicos e trazer dicas das trincheiras em como de fato trabalhar e operacionalizar isso no mundo real.

Programação

09:00Hs às 09:50Hs: Data Mesh para Dummies
Speaker: Mateus Oliveira - Data Solution Architect na One Way Solution
https://www.linkedin.com/in/mateushenriqueoliveira/

É comum projetos de Big Data centralizarem as tecnologias e responsabilidades no provisionamento de pipeline de dados na figura do engenheiro de dados, essa abordagem traz vantagens e desvantagens. A vantagem é o controle da infraestrutura e processos dos dados, a desvantagem é a falta de integração das áreas de negócio que só os colaboradores setoriais conhecem. A descentralização dos dados, a organização dos produtos de dados em domínios e infraestrutura automatizada são algumas características do Data Mesh que ajudam garantir a consistência e harmonia na gestão e criação dos produtos de dados. Nesta sessão você irá entender a estrutura completa de uma Data Mesh e como é possível operacionalizar o mesmo.

10:00Hs as 10:50Hs: Apache Pinot como OLAP em Tempo-Real para Projetos de Data Mesh
Speaker: Victor Grudtner - Staff Data Engineer na One Way Solution
https://www.linkedin.com/in/victor-grudtner-boell-092b6853/

O tempo é um fator crítico na entrega dos dados e no valor das informações extraída das análises dos dados, um banco de dados tradicional ou um data warehouse padrão não são adequados para análises de grandes volumes de dados em tempo real. O Apache Pinot é um sistema OLAP que pode ser integrado ao Data Mesh para construir produtos de dados que demandam análises em tempo real. Nesta apresentação serão abordados os principais aspectos de streaming em Data Mesh e como construir produtos de dados com Apache Pinot.

11:00Hs às 11:50Hs: A ser definida

14:00 Hs às 14:50 Hs: Confluent Cloud como Sistema Nervoso Central para Data Mesh
Speaker: Mateus Oliveira - Data Solution Architect na One Way Solution
https://www.linkedin.com/in/mateushenriqueoliveira/

O Apache Kafka se tornou um sistema nervoso central capaz de conectar produtos e soluções dentro do conceito de Data Mesh não somente pela sua capacidade de armazenamento, mas sim pela entrega de uma solução fim a fim que possa armazenar, processar e entregar dados em tempo real para domínios de dados. A Confluent Cloud juntamente com o Kora Engine pode entregar até 10x mais velocidade e valor para seus usuários finais. Nessa seção você irá entender como a Confluent Cloud entrega Data Mesh para seus clientes e como construir essa solução dentro da sua empresa.

15:00Hs às 15:50Hs: Orquestrando Domínios de Data Mesh com Apache Nifi
Speaker: Leonardo Côco - Data Architect na One Way Solution
https://www.linkedin.com/in/leonardo-c%C3%B4co-9863712a/

O Apache Nifi é a ferramenta de movimento de dados Open-Source mais utilizada no mercado de dados trazendo uma experiência para times de dados fácil e intuitiva. Nessa sessão você aprenderá como utilizar o Apache Nifi ao seu favor para a construção de domínios dentro do Data Mesh.

16:00Hs às 16:50Hs: DataOps com Lenses para Data Pipelines em Tempo-Real
Speaker: Mateus Oliveira - Data Solution Architect na One Way Solution
https://www.linkedin.com/in/mateushenriqueoliveira/

A Lenses é uma plataforma de DataOps completa que entrega soluções de tempo real fim a fim. Operacionalizar o Apache Kafka e Data Mesh pode ser muito desafiador sem uma ferramenta que possa entregar valor dentro dos domínios de dados e rapidamente reagir a problemas assim como observar e resolver problemas complexos de forma fácil e em uma interface gráfica amigável. Nessa sessão você irá aprender como o Lenses juntamente com o Apache Kafka pode entregar valor ao seu negócio de ponta a ponta.

17:00Hs às 17:50Hs: Use-Case Data Mesh Fim a Fim
Speaker: Mateus Oliveira - Data Solution Architect na One Way Solution
https://www.linkedin.com/in/mateushenriqueoliveira/

Demonstração fim a fim de uma solução de dados utilizando Data Mesh.

Para perguntas, entre em contato conosco em reactor@microsoft.com