Os produtos de dados da sua empresa são geridos como produtos de software?

Luís Rudí é voluntário na DAMA Brasil

Um produto de software geralmente é pensado para resolver problemas reais de usuários reais. Ou seja, ele tem uma proposta de valor clara, um público-alvo mapeado, um proprietário definido, um roteiro planejado e um modelo de suporte estabelecido. Cada versão é gerida facilitando a manutenção e o aprimoramento do ativo ao longo do tempo.

Entretanto, quando comparamos com o cenário de dados, a realidade é bem diferente. 

Cada vez mais dados são gerados sem a devida catalogação, qualificação e responsabilização. Infelizmente isso acaba gerando diversos desperdícios operacionais como redundâncias de armazenamento desnecessárias, processamentos de dados indevidos, ambiguidade de conceitos, silos de informação, interdependência disfuncional, perda da confiabilidade dos dados, tomadas de decisão ineficientes, entre outros (para não entrarmos numa lista sem fim).

Essas são mais do que questões tecnológicas. São problemas mais profundos que envolvem a formação de pessoas, o estabelecimento de bons processos e principalmente a criação de uma visão de produto adequada.

Dentro desse último tópico, o artigo "Data + AI in the Age of Data Mesh: From Domain Data Products to AI Genies on Databricks" aborda dez dimensões que um produto de dados precisa ter, dos quais explicito abaixo (tradução livre):

01) Descoberta: Um produto de dados deve ser encontrado facilmente. Seja para corrigir um problema ou para facilitar uma tomada de decisão. Algo que ninguém sabe que existe praticamente não existe (só gera custo). Por isso, construa e promova um inventário de produtos de dados na sua companhia. Dê visibilidade para cada ativo de dados que existe dentro da sua organização

02) Acessibilidade: Assim como um site com um URL permanente, cada produto de dados deve ter um endereço único e estável para acesso programático. Dentro deste aspecto, a democratização de dados se faz presente. O produto de dados deve ser acessível para as pessoas certas, no momento certo para a finalidade certa

03) Clareza: Descrições claras e contexto de negócio são importantes e precisam ser estabelecidos como premissas de qualquer desenvolvimento. Os metadados (dados sobre dados) sempre foram importantes, mas ganharam uma relevância ainda maior depois da escala corporativa da inteligência artificial.

04) Qualidade: Precisão, pontualidade, integridade, rastreabilidade e controles de qualidade são a base da confiança. Se o produto não refletir consistentemente a realidade do negócio, as pessoas deixam de confiar nele. Por melhor que seja um ecossistema, basta um problema de qualidade para colocar tudo em “cheque”. Por isso, nunca negligencie essa dimensão

05) Integração: Os produtos devem funcionar dentro de uma plataforma amigável, de fácil uso, com baixa latência e, de preferência, dentro de um ecossistema em que as pessoas já estejam acostumadas a trabalhar. Podemos estabelecer novas ferramentas, mas ações de gestão de mudança serão necessárias

06) Interoperabilidade: Bons produtos são interoperáveis. Eles usam definições e semântica consistentes para que possam ser combinados com outros produtos sem confusão. Arquitetura modularizada e capaz de correlacionar informações sem dúvida alguma aumenta a capacidade analítica da organização

07) Valor: Um produto de dados deve fornecer informações úteis e ter uma utilidade definida por si só. Um ativo sem proposta de valor não precisa existir.

08) Segurança: Privacidade, segurança, controle de acesso e conformidade são integrados nos produtos de dados desde a sua concepção, não são acréscimos posteriores. Tratar disciplinas “by design” de maneira tardia sabota qualquer expectativa de escala de valor sustentável

09) Confiança: Os processos acordados devem ser respeitados de modo que cada produto de dados seja aprovado pelo curador de dados (ou representante) e validado tecnicamente pelos custodiadores. O ciclo de melhoria contínua deve ser gerido visando a potencialização de valor do ativo (mais utilidade, mais utilização e menos débitos técnicos/bugs)

10) Atualização: O conteúdo dos produtos de dados devem ser atualizados conforme SLA. Informações obsoletas possuem uma alta probabilidade de gerar decisões erradas.

O sucesso de um programa de dados está quando conseguimos preencher a lacuna entre visão e execução, reunindo o alinhamento, o engajamento e o apoio necessário. Na minha opinião, isso só é possível com uma visão de produto.

*Luis Rudi é voluntário na DAMA Brasil