LookML no Knowledge Catalog: IA mais inteligente para sua empresa

A era da Inteligência Artificial (IA) na prática empresarial chegou! Agora que os projetos saem do papel e ganham vida, as equipes de dados estão percebendo um detalhe crucial: ter acesso aos dados é uma coisa, mas realmente entendê-los é outra bem diferente. Para diminuir essa distância, o Google Cloud anuncia a General Availability (GA) da indexação semântica LookML dentro do Knowledge Catalog, para o Looker Core.

O Contexto é Rei para a IA

Para que uma IA responda com precisão às suas perguntas de negócio, ela precisa de contexto. Pense em esquemas de tabelas, o histórico de onde os dados vieram (linhagem), regras de governança, definições claras do que cada métrica significa, e por aí vai. Mas esse contexto não é uma coisa só. Saber onde os dados estão não é o mesmo que saber como usá-los para calcular um número importante, como receita ou churn.

No mundo corporativo, é comum confundir o contexto geral da empresa (tipo metadados de documentos) com a semântica de negócios de fato (aquelas fórmulas exatas em SQL que definem a receita líquida, por exemplo). Muitas vezes, se pensa que um único catálogo de dados ou uma ferramenta de BI daria conta de achar tudo e calcular os números corretamente. A verdade é que a IA moderna precisa dos dois mundos.

O Duo Poderoso: Knowledge Catalog e LookML

Ambientes do Google Cloud agora contam com o Knowledge Catalog e o LookML trabalhando juntos para oferecer o melhor dos dois mundos. O Knowledge Catalog é o mestre em dar um panorama geral e contextual. Ele reúne metadados de dados estruturados e não estruturados, ajudando a IA a descobrir ativos, verificar a qualidade dos dados, entender a linhagem completa e respeitar as regras de privacidade.

Já o LookML entra em cena para a parte matemática e determinística. Ele não apenas descreve uma tabela, mas codifica a lógica de como os dados se conectam e como as métricas são calculadas. Pense em proteções de junção, filtros específicos e as fórmulas exatas de KPIs. Isso evita que a IA tenha que adivinhar, garantindo cálculos precisos.

Por que combinar esses mundos?

Quando uma IA se conecta direto a tabelas brutas, mesmo com descrições, ela precisa inferir relações. Sem regras claras, ela cai em armadilhas como métricas inconsistentes ou junções de dados que bagunçam os resultados. O Knowledge Catalog e o Looker resolvem isso, permitindo que você defina a lógica uma vez em LookML e a use em todo o ecossistema de IA do Google Cloud.

O que há de novo: Semântica LookML no Knowledge Catalog

Antes, os catálogos capturavam informações mais básicas. Agora, a semântica precisa do LookML é uma camada de primeira classe no grafo de contexto. Uma métrica encontrada no grafo agora vem com sua definição exata, caminho de junção e linhagem. Tudo sincronizado automaticamente e em tempo real, para que a IA sempre trabalhe com a lógica de negócios mais atualizada.

Essa integração significa que o Gemini Enterprise e outras IAs personalizadas têm acesso imediato a essa inteligência, sem precisar de código customizado. O Gemini Enterprise usa essas informações para consultar esquemas técnicos, glossários e a lógica LookML, gerando SQL preciso direto no BigQuery.

Estrutura detalhada no Knowledge Catalog:

• Modelos LookML: Capturam metadados descritivos, conexões com banco de dados, testes de validação e mapeamentos para Explorações e Visualizações.
• Explorações LookML: Indexam toda a lógica de junção, relacionamentos e filtros obrigatórios, ajudando a IA a entender como os dados se conectam.
• Visualizações e Campos LookML: Extraem expressões SQL compiladas, chaves primárias, períodos de datas e lógica de tabelas derivadas.
• Painéis e Elementos: Catalogam painéis criados pela interface ou por código, incluindo filtros e tipos de gráfico, permitindo visualizar a linhagem completa dos dados.

Três Padrões para Agentes de Dados

A união entre LookML e Knowledge Catalog oferece um ponto central para a IA buscar tanto o contexto empresarial quanto a semântica de negócios. Vamos ver como isso muda o jogo com um exemplo:

Solicitação: "Qual foi nossa receita total no último trimestre fiscal por categoria de produto e quais limites de política promocional regional se aplicam?"

Padrão 1: Agente de Banco de Dados Básico

• Mecânica: IA acessando diretamente o data warehouse sem contexto semântico.
• Resolução: Sem governança, a IA adivinha métricas, ignora regras de negócio e pode expor dados sensíveis.
• Experiência: Frágil, com risco de erros graves e desperdício de recursos computacionais.

Padrão 2: Agente Contextualizado (com Knowledge Catalog, sem semântica LookML)

• Mecânica: IA usa o Knowledge Catalog para obter descrições de tabelas e regras de governança, mas ainda escreve SQL de forma independente.
• Resolução: Tem algum contexto, mas ainda pode errar em cálculos complexos por falta de semântica determinística.
• Experiência: Melhor que o Padrão 1, mas limitada pela falta de precisão nos cálculos de métricas.

A nova integração com LookML resolve essas limitações, garantindo que a IA tenha acesso tanto ao contexto quanto à precisão matemática necessária para tomar decisões de negócio confiáveis.

Redator: https://cloud.google.com/blog/products/business-intelligence/lookml-metadata-indexing-in-knowledge-catalog-is-now-ga