Savio Salvarino Teles

Esta palestra tem como objetivo apresentar a última tendência de arquitetura de dados na indústria, denominada Data Mesh, que visa facilitar a democratização dos dados dentro das empresas. A palestra irá apresentar o conceito e como aplicá-lo em soluções de Cloud Computing, como AWS e GCP. Esta arquitetura tem revolucionado as empresas que implantaram, pois, atualmente os times de negócio usam os dados para tomarem decisões importantes, mas geralmente tem que requisitar estes dados ao departamento de TI. Esta situação centraliza a coleta e transformação dos dados nas mãos de equipes que, em muitos casos, estão desalinhadas das necessidades das áreas de negócio da empresa. Por isso, as maiores organizações no mundo estão utilizando este paradigma do Data Mesh para reduzir a dependência do time de Engenharia e permitir que os times de negócio possam extrair valor dos dados de forma autônoma. O Data Mesh foi proposto por Zhamak Dehghani (diretora de tecnologia na ThoughtWorks) no artigo “How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh” como uma nova abordagem para projetar e desenvolver arquiteturas de dados com o objetivo de facilitar a democratização em escala dos dados na empresa. Ao contrário de arquiteturas centralizadas e monolíticas baseados em um data warehouse (armazém de dados) e/ou um data lake (lago de dados), um data mesh é um paradigma arquitetural e organizacional que desafia a antiga suposição de que devemos centralizar grandes volumes de dados analíticos para usá-los, manter todos os dados em um só lugar ou gerenciá-los por meio de um time de dados centralizado para entregar valor às áreas de negócio.

Esta atividade tem como objetivo apresentar o conceito e exemplos práticos de lakehouse utilizando as duas soluções mais consolidadas do mercado: Delta Lake e Apache Iceberg. O lakehouse se tornou uma forma de centralizar e unificar as fontes de dados e esforços de engenharia na organização. A ideia chave do Lakehouse é ter um sistema de armazenamento de dados de baixo custo no data lake, utilizando um formato aberto de arquivos, como Parquet e ORC. Estes formatos de arquivo são dados estruturados com esquema de dados (colunas e tipos das colunas) pré-definidos armazenados com os dados.