Data Mesh é tendência ou necessidade?

Luis Rudi é voluntário na DAMA Brasil

Posso dizer com absoluta certeza que o Data Mesh não é hype, pois a Gartner divulgou em seu Hype Cycle de gestão de dados de 2022 que a malha de dados estaria na fase do gatilho da inovação e ficaria obsoleta antes de atingir o seu platô ou maturidade plena.

Ao refletir sobre o diagnóstico acima, percebo três fatores que justificaram essa análise e que precisam de maior clareza:

• O Data mesh gera baixos benefícios: O Data Mesh não é uma abordagem que gera resultados da noite para o dia. Na verdade, nenhuma abordagem tem esse poder. Infelizmente a ansiedade que oprime nosso tempo acaba causando uma percepção distorcida da realidade. Os modelos antigos funcionaram bem no passado, mas mantê-los na era da inteligência artificial é um erro que pode custar caro. No artigo Como o Data Mesh mudou minha forma de pensar compartilho um pouco da minha experiência com Data Mesh. De maneira resumida, os benefícios de qualquer jornada só serão alcançados se uma estratégia de dados saudável for elaborada, o que na minha opinião é a maior carência que existe no momento

• O Data mesh será substituído em breve: Muitos especialistas apontam o Data Fabric como um paradigma que substitui o Data Mesh, entretanto, ele é complementar e não um substituto. Embora os dois conceitos procurem resolver o mesmo problema, um foca em dar autonomia para as pontas e o outro foca na centralização tecnológica. É possível coexistir e aproveitar o melhor das duas propostas. Existe uma vontade irracional no mercado de colocar os frameworks numa disputa desenfreada para promoção das vendas de plataformas e consultorias especializadas. Tome cuidado com isso. Para saber mais sobre alguns dos principais erros que cometemos na jornada de implementação do Data Mesh, leia o artigo Os 10 principais erros de implementação de Data Mesh 

• As empresas não possuem maturidade para o Data Mesh: Uma pesquisa da Gartner de 2021 identificou que apenas 18% das organizações atingiram o nível de governança de dados necessário para adotar com sucesso o Data Mesh. Embora não seja trivial, alcançar uma maturidade de dados adequada é possível. No artigo Como implantar um programa de governança de dados de sucesso? compartilho algumas dicas para construção de um modelo de governança de dados funcional dentro das organizações.

Diferentes abordagens podem ser adotadas por diferentes organizações e está tudo bem. O importante é que a melhor escolha sempre aconteça respeitando a cultura, os desafios e os objetivos de cada empresa. Mesmo sendo um entusiasta do Data Mesh, sei que muitas vezes ele não será a melhor opção, alguns indícios disso:

• Visão executiva extremamente projetizada

• Baixa maturidade corporativa em dados

• Ausência de senso de propriedade dos dados pelas áreas de negócio

• Alta descentralização tecnológica

• Modelo operacional centralizado inflexível

Embora nenhum dos sinais acima seja impeditivo para o Data Mesh, você provavelmente vai gastar mais energia e esforço para implementá-lo. 

Agora, se sua empresa possui gargalos decorrentes de um modelo operacional centralizado, desconexão entre quem produz e quem consome os dados, silos de dados, ausência de interoperabilidade das informações e falta de propriedade sobre os ativos de dados é bem provável que o Data Mesh seja uma boa alternativa e necessário. Abaixo seguem três dicas para potencializar seu sucesso nessa jornada:

1) A propriedade por domínio não significa que cada domínio pode ter sua versão do dado ou das informações. Quando utilizamos uma abordagem DDD (Domain-Driven Design) a semântica e as entidades sob responsabilidade de cada domínio precisam ser definidas. Não precisa ser uma definição precisa desde o começo, mas essa definição precisa ir evoluindo junto com o ecossistema. Se não tomarmos cuidado com isso potencializaremos silos da verdade, os dados não vão bater e os conflitos entre departamentos só vão aumentar;

2) A governança federada não significa que cada domínio pode fazer o que quiser dentro dos seus limites. Mesmo com a federação de responsabilidade, ainda existem diretrizes centrais que precisam ser seguidas. Federação é diferente de descentralização! Enquanto uma abordagem cria corresponsabilidade dentro de um ambiente gerenciável, a outra estimula a ausência de padrões de qualidade de dados e o aumento de riscos referentes à segurança da informação;

3) O princípio de plataforma de autoatendimento não define que cada domínio tenha liberdade para definir sua própria arquitetura, assim como também não obriga que cada squad tenha que ter um time full-stack. A plataforma de autoatendimento orienta que as equipes de domínio tenham autonomia e as ferramentas necessárias para criar, processar, armazenar e compartilhar seus próprios dados sem depender de gargalos operacionais, ou seja, elas não precisam cuidar de tudo, mas possuem liberdade para construir as coisas dentro de limites técnicos bem definidos;

De forma resumida, as três dicas mencionadas são: não confunda orientação por domínio com silos da verdade; governança federada com modelo descentralizado; plataforma de autoatendimento com multiplicação de modelos de arquitetura.

Agora o próximo passo é transformar conhecimento em prática.

Ao longo deste mês, vimos que o Data Mesh não é apenas uma tendência arquitetural. Ele representa uma nova forma de pensar a gestão e governança de dados, distribuindo responsabilidades, aproximando tecnologia do negócio e criando as bases necessárias para escalar iniciativas de Analytics e Inteligência Artificial.