Sobre o cliente

Fundada em 2002, a DM é uma prestadora de serviços financeiros com foco na democratização do acesso ao crédito no Brasil e se consolidou no mercado como a maior gestora de cartões de loja (private label) de supermercado

Com 20 anos de experiência, a DM é reconhecida por sua proximidade, simplicidade e segurança, valorizando as pessoas e suas histórias.

Desafio do cliente

A DM precisava de uma estrutura dados mais segura, flexível e escalável, pois o seu ambiente de dados, que estava hospedado na nuvem AWS (Amazon Web Services), não seguia as melhores práticas sugeridas pelo Well- Architected Analytics Lens.

O banco de dados também não permitia a conexão via DMS para o carregamento via CDC (Change Data Capture), que permite a captura near-real-time das operações DML (Data Manipulation Language).

Com isso, a carga de todas as tabelas era realizada de forma full-load, o que gerava um delay de até 7 horas para o carregamento total, sendo que algumas cargas falhavam, o que inviabilizava a geração de informações essenciais para a tomada de decisão.

Além disso, o mascaramento de dados sensíveis era realizado de forma que ocorria a perda de seu valor, devido a estratégia inicial da substituição dos valores por “X”. Dessa forma, houve a perda da capacidade do uso como chave único e relacionamento do ambiente, além de prejudicar o acesso de algumas áreas específicas que precisavam do acesso à informação “crua”, e não anonimizada.

Por que a DM escolheu a BRLink?

A DM escolheu o time da BRLink para apoiá-los na restruturação do seu ambiente de dados na nuvem AWS. A BRLink realizou uma prova de valor (PoV) em conjunto com o time da DM para apresentar os benefícios da nuvem.

Após a realização da PoV, a BRLink trabalhou na ingestão, transformação e consumo de todo dado produtivo no ambiente AWS, otimizando-o com regras de LGPD, compliance e segurança dos dados ingeridos.

Solução Proposta

Para solucionar os desafios da DM, a BRLink desenvolveu uma arquitetura utilizando as melhores práticas do mercado, focada em Data Lakehouses e que melhorou a governança e acabou com a redundância de dados. Foram utilizados os seguintes serviços da AWS:

Amazon EventBridge: Garante a chamada de eventos para que o processo de ingestão ocorra em tempo programado.

Amazon Step Functions: Utilizado para o processo de ingestão de dados, que é complexo, devido à quantidade de tabelas a serem ingeridas no Data Lakehouse.

Amazon Secret Manager: Gerencia as credenciais de acesso para garantir o acesso à origem do dado.

Amazon Database Migration Service (DMS): Utilizado para fazer cargas de tabelas menores, diminuindo o tempo de ingestão para menos de 1 hora.

Amazon Glue ETL: Serviço simples de levar a produção e demonstrar valor no processo de ingestão.

Amazon DynamoDB: Armazena os parâmetros de ingestão dos dados para facilitar a implementação de novas tabelas.

Amazon Simple Storage Service (S3): Principal ferramenta para o armazenamento de dados do mercado.

Amazon Glue Catalog: Cria um schema dos dados para que outras ferramentas possam fazer a leitura corretamente.

Amazon Glue Crawler: Facilita a criação de novas cargas de dados.

Amazon Athena: Utilizado para fazer consultas de forma mais simples.

Diagrama da Arquitetura

Benefícios

A BRLink desenvolveu uma arquitetura utilizando as melhores práticas e os melhores conceitos de Data Lakehouse, a fim de melhorar a governança e acabar com a redundância de dados.

A arquitetura elaborada pela BRLink segue as práticas do AWS Well-Architected Framework, trazendo os pilares de excelência operacional, segurança, confiabilidade, eficiência de desempenho e otimização de custo.

A DM obteve a vantagem de adicionar novas bases de dados ao lakehouse com facilidade, utilizando o DynamoDB para estabelecer regras de negócio e garantir menor esforço de manutenção e escalabilidade.

Além disso, com o projeto realizado pela BRLink, o tempo de carga dos dados foi reduzido em cerca de 44%, resultando em um processo mais eficiente.