O que é OLTP?
O OLTP, ou Processamento de Transações Online, é um sistema que lida com os dados gerados enquanto a empresa está em ação. Ele é essencial para captar todas as transações instantâneas de clientes, funcionários e fornecedores que trocam informações com a empresa. Desde as operações nas lojas até nos centros de distribuição, tudo passa pelo OLTP, que armazena esses dados em pequenas quantidades, mas atualiza tudo a uma velocidade impressionante. Estruturalmente, os dados são armazenados em tabelas normalizadas, com um intervalo de cobertura no tempo reduzido.
Sumário
Os OLTPs são utilizados para processar transações de diversos tipos:
- Compras em loja física ou site;
- Pagamentos com cartão de crédito;
- Transferências bancárias via Online Banking;
- Caixas eletrônicos.
Por estar tão ligado às operações diárias, o OLTP foca mais na velocidade do que na capacidade de armazenamento. É como se ele fosse o ágil corredor das operações, sempre pronto para atualizar, inserir ou excluir dados conforme necessário. Existe um porém: quando se trata de consultar os dados ou armazená-los por muito tempo, ele pode não ser o mais eficiente. É por isso que muitas empresas maiores optam por dividir seus dados em duas estruturas: uma para as transações diárias e outra para análises mais profundas, utilizando o par OLTP e OLAP.
O que é OLAP?
Diferentemente do OLTP, o Processamento Analítico Online (OLAP) está ligado ao processamento e armazenamento de grandes volumes de dados para consulta e análise. Todos os dados coletados pelo OLTP são destinados à estrutura de OLAP periodicamente, através de ETLs (processo onde uma ferramenta computacional coleta dados de diferentes fontes e os processa para serem realmente usados na empresa), de modo a liberar espaço no OLTP sem perder as informações geradas. Os times de Business Intelligence e negócio, utilizam dos bancos de dados desse sistema para gerar insights, apoiar decisões de negócio e avaliar o desempenho operacional.
Utilizando os sistemas OLAP, um analista consegue dados para responder às seguintes perguntas:
- Como foram as vendas deste ano quando comparadas com a média das vendas dos últimos 3 anos?
- Qual é o ticket médio de cada cliente por classe de faixa etária?
- Qual foi a produtividade média diária das fábricas do estado de São Paulo neste mês?
O OLAP permite uma análise multidimensional dos dados, possibilitando que os usuários explorem diferentes perspectivas e visualizem os dados de maneira mais detalhada. Essa capacidade de análise aprofundada é fundamental para identificar tendências, padrões e oportunidades de melhoria nos processos de negócios. Ao contrário do OLTP, que se concentra principalmente na eficiência das transações em tempo real, o OLAP oferece uma visão mais ampla e estratégica dos dados, contribuindo significativamente para o planejamento e o desenvolvimento de estratégias de longo prazo das empresas.
Quais as diferenças?
Nesta seção, examinaremos as diferenças entre OLAP e OLTP em relação ao objetivo, armazenamento e arquitetura, tempo de resposta e capacidades computacionais. Apesar de ambos serem sistemas de processamento de dados, distinguir suas características é fundamental para tomar decisões eficazes na implementação e utilização dessas tecnologias no dia a dia dos negócios.
Objetivo
O OLAP é projetado para permitir a análise de grandes volumes de dados, visando apoiar a tomada de decisões estratégicas. Por outro lado, o OLTP destina-se a gerenciar e processar transações em tempo real, atendendo às necessidades operacionais da empresa.
Arquitetura e Armazenamento
Ao compararmos a capacidade de armazenamento do OLAP com o OLTP, falamos em ordens de grandeza diferentes. O OLAP tem grandes requisitos de armazenamento, geralmente em terabytes (TB) e petabytes (PB), devido à natureza dos dados históricos e agregados que manipula, enquanto o OLTP tem requisitos menores, em gigabytes (GB), uma vez que lida principalmente com transações individuais em tempo real. Estruturalmente, o OLAP opera em bancos de dados multidimensionais ou relacionais, utilizando modelos de dados complexos, como esquemas em estrela ou esquemas de floco de neve. Já o OLTP é normalmente estruturado em um banco de dados relacional com tabelas normalizadas para garantir velocidade.
Tempo de resposta
Embora ofereça análises profundas e estratégicas, o OLAP tem tempos de resposta mais longos, normalmente em segundos ou minutos. Isso ocorre devido à complexidade das consultas envolvendo grandes volumes de dados e às operações de análise multidimensional. Em contraste, o OLTP oferece tempos de resposta mais curtos, normalmente em milissegundos, pois lida com transações individuais em tempo real que exigem uma resposta rápida para garantir a eficiência das operações.
Recursos computacionais
O OLAP demanda recursos computacionais significativos devido ao processamento de grandes volumes de dados e consultas complexas. Requer CPUs poderosas, quantidades substanciais de memória RAM e armazenamento, além da capacidade de processamento paralelo para otimizar o desempenho das consultas analíticas.
Por outro lado, embora o OLTP também exija recursos computacionais robustos, seu foco está mais na eficiência do processamento em tempo real das transações do que na análise detalhada dos dados. Isso significa que, embora ainda necessite de CPUs potentes e memória suficiente para garantir uma resposta rápida às transações individuais, o OLTP não demanda a mesma carga computacional intensiva associada ao processamento analítico em grande escala do OLAP. Em termos de armazenamento, o OLTP está associado a alta velocidade e performance em detrimento da capacidade em termos de volume.
Resumo
| OLTP | OLAP | |
| Objetivo | Processar dados operacionais em tempo real | Apoiar a análise de dados para tomada de decisões |
| Fonte de dados | Transações | Sistemas OLTP e outras |
| Arquitetura | Tabelas normalizadas | Tabelas desnormalizadas; multidimensional |
| Atualizações | Rápidas e de volume pequeno | Periódicas para um volume maior de dados |
| Tempo de resposta | Milisegundos | Segundos a horas |
| Armazenamento | Muito pequeno (GBs) | Muito grande (TB, PB) |
Como funciona nas empresas?
Quando a empresa possui uma estrutura completa com sistema OLTP e OLAP, os dados percorrem um fluxo da operação até chegar às aplicações de Business Intelligence e análise. Vamos tratar do cenário de uma empresa do varejo:
- Operações OLTP: a empresa possui um sistema OLTP para processar as transações de vendas em suas lojas físicas e online. Cada compra é registrada em detalhes, com informações sobre o produto, valor da transação, quantidade e código do cliente.
- ETL: os dados do OLTP são extraídos periodicamente e transformados de acordo com as necessidades de análise. Durante a transformação, podem ser realizados processos que garantam a qualidade dos dados (limpeza, agregação, relacionamento, etc.). Depois de transformados, os dados são carregados em um banco de dados OLAP.
- Operações OLAP: com os dados estruturados, analistas podem conectar-se e fazer consultas diretamente no banco de dados, sem quaisquer prejuízos à operação. Relacionamentos de diferentes dimensões e informações são comuns. Esse acesso ocorre, principalmente, para estudos exploratórios e análises iniciais de dados, que compõem etapas anteriores à criação de aplicações de visualização de dados e geração de relatórios.
- Aplicações de BI e análise: as aplicações conectam-se ao banco de dados OLAP e buscam os dados para disponibilização em dashboards de visualização e também para geração de relatórios operacionais. Essas aplicações, normalmente, são acessíveis a executivos e pessoas de negócios que utilizam as informações para apoiar a tomada de decisões.
Qual a importância de aplicar essas técnicas separadamente na sua empresa?
Existem muitos benefícios em separar os sistemas de processamento de dados em OLTP e OLAP. Como os sistemas têm requisitos diferentes, a otimização para padrões de uso específicos reduz a possibilidade de superdimensionamento dos bancos de dados. Um sistema OLTP precisa de alta capacidade de escrita, com concorrência e paralelismo, enquanto um sistema OLAP necessita de alta capacidade de leitura, para adquirir grandes volumes de dados e fazer relações entre múltiplas dimensões.
A separação de tarefas também beneficia tanto a operação quanto o desenvolvimento de aplicações e relatórios de análise. Quando um banco OLTP é utilizado como fonte de dados para realizar análises, existe a possibilidade de ocorrer lentidão nas transações, o que pode causar prejuízos para o negócio. Como o banco não é otimizado para leitura, existe também a possibilidade das aplicações de análise e relatórios se tornarem lentas e pouco eficazes.
Fica evidente, portanto, que garantir o bom uso da estrutura de dados garante melhor desempenho tanto na operação quanto na geração de insights para guiar a tomada de decisões na empresa.
