Como o Data Mesh mudou minha forma de pensar

Luis Rudi é voluntário na DAMA Brasil

Em 2019 eu fiz uma transição de carreira. Sai da engenharia de dados, uma disciplina com foco em desenvolvimento, e fui para governança de dados, uma disciplina com foco em valor e em resultados.

Além dos aspectos de gestão (um bom líder sempre ganha discípulos), resolvi mudar, pois não aguentava mais:

• Participar de projetos que demoravam meses, me obrigavam a trabalhar até tarde todos os dias e, no final, não geravam um valor contínuo para as áreas de negócio (o ativo desenvolvido era rapidamente colocado de lado e não era utilizado pelos stakeholders);

• Perceber que vários engenheiros de dados atacavam o mesmo problema em diferentes frentes, ou seja, projetos diferentes estavam dedicando esforço para resolver a mesma coisa, mas infelizmente construíam ativos diferentes, com regras diferentes e consumiam o dobro (ou mais) de tempo, esforço e custo de processamento/armazenamento;

• Identificar que cada engenheiro de dados ou desenvolvedor usava um padrão de desenvolvimento e, com isso, as rotinas não eram monitoradas, os produtos não eram devidamente organizados e a escala de uso simplesmente era negligenciada;

Acredito que as dificuldades acima são bem comuns nas organizações, mas confesso que estava saturado do cenário. E foi justamente durante essa mudança de posição que o conceito de Data Mesh foi lançado pela Zhamak Dehghani através da publicação How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh do Martin Fowler. 

Aparentemente houve um pequeno alinhamento dos planetas, pois enquanto buscava uma estratégia para resolver:

• Gargalos decorrentes de um modelo operacional centralizado

• Desconexão entre quem produz e quem consome os dados

• Silos de dados e ausência de interoperabilidade das informações

• Ausência de propriedade sobre os ativos de dados 

Encontrei uma abordagem baseada em quatro princípios que basicamente endereçava todas as minhas dores:

• Propriedade Orientada a Domínio

• Dados como Produto

• Plataforma Self-Service

• Governança Federada

Logicamente não foi uma virada de chave automática, mas depois de vários artigos lidos e da imersão dentro da nova posição em governança de dados, meu modelo mental foi reprogramado e gostaria de compartilhar alguns aprendizados:

1) A estratégia de dados precisa estar conectada com a estratégia de negócio (e vice-versa). Essa conexão pode ser realizada de diversas formas, mas ao organizarmos a companhia em domínios conseguimos nomear as pessoas que devemos abordar, engajar ou responsabilizar. Isso sem dúvida é um grande facilitador na condução de qualquer modelo operacional de dados;

2) Uma abordagem centrada em produtos de dados é essencial para aumentarmos o valor dos dados ao mesmo tempo em que diminuímos o custo. Na minha perspectiva anterior, eu estava muito focado na entrega e estava míope para questões como modularização, reaproveitamento, escala de uso e gestão eficiente que ficam claros dentro dos princípios do Data Mesh. A eficácia é muito importante, mas se o preço dela for o sacrifício da eficiência e da efetividade não vale a pena. Pensar de uma forma sustentável é essencial para os programas de dados modernos;

3) Estabelecer padrões é extremamente importante para potencialização de qualquer plataforma de dados. O padrão viabiliza a escala. Por isso, construir uma esteira de DataGovOps e implantar observabilidade de dados são questões imprescindíveis. A plataforma de autoatendimento permite que as equipes de domínio (ou squads, ou projetos, ou times de negócio) tenham autonomia e as ferramentas necessárias para criar, processar, armazenar e compartilhar seus próprios dados sem depender de gargalos operacionais. As normas e os processos estabelecidos permitem autonomia para as pontas sem comprometer o controle exigido pelo centro (modelo Hub & Spoke);

4) Um framework é uma referência, portanto, não deve ser empurrado goela abaixo dentro das organizações como um remédio amargo. A cultura geralmente é o maior desafio, por isso, a adoção deve ser feita aos poucos e sempre como um complemento da arquitetura e dos processos vigentes para não gerar grande resistência. É importante ressaltar que o Data Mesh funciona muito bem com outros conceitos como Data Fabric e Data Lakehouse.

Esqueça a abordagem de sobreposição ou de conflito que é promovida no mercado, pense em aproveitar o melhor de cada metodologia ou esquema de trabalho;

Cada profissional e cada empresa possui sua própria jornada e seus aprendizados.

Entretanto, conseguimos acelerar nosso desenvolvimento estudando e ouvindo outras experiências. 

Se quiser entender um pouco mais de como consegui implementar Data Mesh em grandes empresas, adquira já o meu curso Implementando Data Mesh, onde compartilho minha jornada.

E, você, meu fiel leitor do Governança sem Hype, tem acesso a uma condição especial. Utilizando o meu link, você garante um valor promocional: https://www.udemy.com/course/implementandodatamesh/?referralCode=9A2AC1AF386CEF0087E6

Mas aproveite logo, pois o desconto é limitado!

Um abraço, a até a próxima edição, onde seguiremos aprofundando os conhecimentos em Data Mesh!