Looker: Previna Quebras e Mantenha a Estabilidade dos Seus Dados

Se você trabalha com Looker e vive aquele friozinho na barriga pensando em como as mudanças no seu data warehouse podem detonar os relatórios e análises dos usuários, este post é pra você. Vamos descomplicar um truque simples que pode te salvar de muitas dores de cabeça.

O Perrengue das Mudanças Silenciosas

Quem nunca sentiu um aperto no coração ao pensar na evolução do schema do data warehouse? O medo é real: que os usuários encontrem algo quebrado nas explorações antes mesmo de você. Essa insegurança é super comum, e a boa notícia é que existe um jeito prático de mitigar esse risco.

A Solução: Data Tests como Guardiões

Para quem já usa a ferramenta, sabe que é possível implementar data tests diretamente no Looker. Você pode colocá-los em views, models ou em um espaço dedicado. Uma das minhas melhores práticas é justamente adicionar esses testes o mais cedo possível no desenvolvimento.

Os data tests são ótimos para checar a lógica de negócio dos seus dados. Mas o meu truque pessoal é usá-los para garantir que nada mudou nas fontes de dados sem que você saiba. Afinal, se uma coluna some ou muda de nome no seu banco, o Looker apita com um erro que pode ser um pesadelo para diagnosticar.

A ideia é simples: implementar testes que verifiquem a integridade da estrutura. Por exemplo, um teste que verifica se uma tabela ou conjunto de colunas ainda existe.

Press enter or click to view image in full size

O SQL que roda por trás desse teste seria algo como:

Press enter or click to view image in full size

Com essa pequena sacada, se o schema da sua tabela mudar em produção, você será notificado porque o teste vai falhar. E para garantir que ninguém pule essa etapa, eu sempre ativo a opção “require data tests to pass before deploying this project to production”. Assim, a cada Pull Request, os testes rodam automaticamente, te alertando sobre qualquer alteração indesejada no schema.

Atenção ao Volume de Dados

Se você lida com grandes volumes de dados, é crucial otimizar seus testes. Considere adicionar um filtro para segmentar a consulta, especialmente se o seu ETL carrega dados diariamente. Um filtro por data, como “últimos 2 dias”, pode ser a chave para manter o teste rápido e eficiente sem sobrecarregar o sistema.

Conclusão: Um Passo Rumo ao CI/CD

Data tests no Looker são frequentemente subutilizados, mas representam um caminho excelente para começar a implementar a lógica de CI/CD (Integração Contínua e Entrega Contínua). Ao combinar Pull Requests, data tests e um modo de deploy mais avançado, você constrói um processo robusto que evita uma série de problemas comuns em suas instâncias Looker.

Se você trabalha com um projeto de instância única, investir tempo no seu processo de deploy é fundamental. Com essas dicas simples, você já tem boas práticas para implementar e garantir que seus projetos de dados rodem sem surpresas desagradáveis.