Chegamos à décima edição do nosso Encontro de Usuários de BI, que foi sobre "A Convivência do DW Tradicional com Big Data".
Sempre em formato de workshop com flexibilidade para apontamentos e argumentações por parte dos participantes a todo momento, o assunto gerou discussões sobre a melhor forma de planejar a arquitetura, a estratégia de implementação e a utilização dos ambientes de DW Tradicional e de Big Data.
O debate gerou grande interatividade com questionamentos e discussões acerca dos seguintes tópicos:
Logo no início do evento, o primeiro ponto levantado foi sobre as diferenças e as semelhanças entre Data Warehousing Tradicional e Big Data. Destacou-se que uma das semelhanças entre as duas abordagens se refere ao volume de dados – ambos podem comportar tanto pequenos quanto grandes volumes. Eventualmente é importante considerar a questão financeira, podendo ser necessários investimentos mínimos consideráveis para adotar um projeto desse porte.
Falando sobre diferenças, um dos pontos notados pelos participantes é que o DW é um ambiente mais estruturado, enquanto o Big Data é percebido como mais flexível. Com isso como pano de fundo para o debate, foi argumentado por alguns dos participantes que flexibilidade demais gera desafios, enquanto outros presentes observaram que estruturação demais também gera desafios. Diante dessa reflexão surge o questionamento: será que essas duas características, flexibilidade para Big Data e estruturação para Data Warehousing, são mandatórias?
Em busca de respostas para a questão, o conceito inteligência do negócio foi trazido à discussão com o objetivo de repensar o todo e descobrir se é possível haver flexibilidade, performance, documentação e estruturação de dados e, ainda assim, atender as diversas demandas do usuário. Será que é possível? Será que conseguimos pensar em coisas que nos levem a esse caminho?
Para um dos presentes, sim, este caminho é possível, e o mesmo ainda convida os presentes a pensarem na evolução do computador, que até pouco tempo era um "tijolão" e, hoje em dia, é algo mínimo, um "relógio que faz tudo". Segundo ele, o problema não é ferramental, mas conceitual. O participante conclui dizendo que é preciso pensar TI como negócio.
Contrapondo o comentário acima, outro participante que sempre atuou em projetos de DW, mas do lado do usuário, diz não acreditar nessa possibilidade, pois não vê a execução acontecer. Em sua opinião, a equipe de TI sempre faz o que o usuário pede, sem levantar se haverá ou não benefícios para a empresa. Ele completa dizendo que se os dois lados não se comunicarem e pensarem em conjunto nada dará certo.
Outro ponto importante neste tópico foi o fato dos profissionais terem o hábito de acreditar em soluções "mágicas" apresentadas pelos fornecedores de tecnologia e que resolveriam todas as questões. Um dos exemplos citados foi o caso de uma grande empresa do setor de telecomunicações que adquiriu um grande ambiente de Big Data, com mais de 15 PB de dados, o qual está encontrando dificuldades de justificar.
De maneira geral, o grupo entendeu, neste tópico, que existem mais semelhanças do que diferenças entre o ambiente de DW Tradicional e o Big Data.
O tema performance foi amplamente discutido durante o debate. Alguns participantes levantaram a questão de que, para grandes volumes de dados, o Big Data entrega um resultado mais rápido do que o DW Tradicional, referindo-se a questões como estrutura, arquitetura e tecnologia.
Alguns concluíram que a performance está muito associada à disponibilidade de ferramentas mais poderosas, hoje, do que no passado. Mas a diferença de performance que as ferramentas trazem estão associadas só ao Big Data, ao Data Warehousing ou aos dois? Data Warehousing dá menos performance que Big Data?
A resposta veio rápida por parte de um participante. Ele disse que dependendo de como é feita a estruturação do Data Warehousing e do Big Data, isso pode refletir em maior ou menor performance. Utilizar as ferramentas corretas possibilita extrair melhor proveito de cada um dos ambientes. A questão não é a ferramenta, mas como se constrói e isso pode ou não entregar performance.
Junto com o ponto da performance veio outro item considerado importante por todos: a flexibilidade. Será que a performance limita a flexibilidade? Para alguns, a resposta foi sim. Alguns defenderam a ideia de que o Big Data é como se fosse uma caixa de ferramentas muito mais completa para atender necessidades específicas.
Mas será que o mais moderno sempre oferece mais flexibilidade? Talvez a questão não esteja relacionada à modernidade, mas ao fato de o Data Warehousing ser considerado uma plataforma que precisa ter uma estrutura, enquanto o Big Data não, pois foi criado para dados não estruturados.
Para exemplificar essa visão, falou-se na abordagem do DW. Em primeiro lugar surge uma necessidade de negócio para, então, o profissional de TI projetar e construir o DW de maneira bem estruturada, com um projeto de modelagem de dados que permita atender aquela necessidade e sobre uma plataforma tecnológica (software/hardware) que vai atender a necessidade tanto no quesito performance quanto na questão de volume de dados.
Com essa discussão, chegou-se à conclusão de que o volume tanto faz , o que torna uma semelhança entre DW Tradicional e Big Data. Performance apareceu como uma possível diferença entre as duas ferramentas, mas concluiu-se que também é possível ter performance com ambas. No que se refere à flexibilidade, pontuou-se que ela vem da possibilidade de poder colocar o dado do jeito que quiser e da forma que se deseja analisar.
A partir do último ponto do bloco anterior surge a questão: por que estruturamos o dado?
Outro tópico levantado sobre a estruturação de dados é que ele também promove a dicionarização da informação. Na base de dados, se não há um modelo estruturado e claro do que são as informações, a ponta final pode utilizar os dados de forma errada. O Big Data pode dar uma impressão de facilidade por ser mais ágil, mas se você não tiver uma dicionarização boa, as áreas que vão utilizar essa informação podem usar de forma errada, diferentes uma da outra, e então, teremos conflito de resultado, válido para os dois ambientes.
É preciso ter um grupo de usuários finais que estejam com uma visão bem clara das suas necessidades. Nem sempre todo mundo está com a ideia bem elaborada que possa permitir a estruturação dos dados, e nesse sentido, tanto faz o ambiente adotado. A partir do momento que a ponta final/usuários estiver estruturada, é possível dar uma solução, oferecendo qualquer tipo de dado, em qualquer ambiente e com a performance desejada.
A discussão acima apontou para a conclusão de que nem sempre o usuário está preparado para dizer o que ele precisa. Quando se constrói um ambiente analítico, existe a pretensão de que é só colocar todo o tipo de informação ali que o usuário vai se virar. Mas quando de fato se inicia o projeto, em geral, é feita uma consulta com o usuário para que ele diga o que de fato precisa. Muitas vezes, ele diz que quer tudo e só depois de muito custo começa a pontuar o que, de fato, precisa e quer no ambiente analítico.
Vamos explorar o tema de utilização dos dados.
A área de negócios exige constantes mudanças. A tecnologia tem como principal missão de orientar o usuário. A questão é: o que você quer analisar e como quer analisar? Se você joga tudo numa gaveta, pega um monte de agulhas e joga lá uma agulha laranja, será que vai achar essa agulha laranja algum dia?
A missão da área de TI é resolver o problema, e não convencer o cliente de que ele não poderá fazer determinada coisa. O usuário nunca quer saber se é ou não possível, apenas quer que os técnicos executem. Essa tal gaveta em que se coloca tudo e onde o usuário pode perguntar o que quiser, é possível, mas não é fácil de ser feita.
Com a utilização, o usuário vai descobrir que tem coisas que para ele são importantes e que outras são extremamente importantes, assim, o modelo vai sendo criado. A missão do profissional de TI não é a de dizer não. Sempre que o especialista falar não para o problema, ele falhou.
Na hora em que se começa a usar, existe a necessidade de modelar o dado, só que os "turistas" do Big Data vendem a imagem de que não é necessário modelar o dado e aí vem tudo errado. Do ponto de vista da preocupação de performance, em um ambiente Hadoop ou de processamento paralelo distribuído, a performance é maior. Entretanto, do ponto de vista de como usar o dado, é bem diferente, pois é preciso tratar os problemas de integridade, das anomalias dos dados, do relacionamento. Se deixar para o usuário fazer isso a cada pergunta, é impossível. É como dizer a ele: "se vira".
Um dos participantes levanta uma questão dizendo que sempre enfrenta um problema no banco em que trabalha: a questão de segurança.
Sempre teremos duas situações, o usuário que tem mais facilidade com a tecnologia – e aí é preciso dar a ele o dado para que faça o que desejar – e aquele usuário que tem dificuldade, mas que por meio da ferramenta que o profissional de TI escolher vai proporcionar que este também trabalhe com o dado.
Um dos participantes comenta que, em sua experiência como gestor de modelagem estatística, enxerga uma mudança de perfil em que o usuário que mexe em SQL também manuseia várias outras ferramentas. Isso porque ele sempre quis ter acesso a tudo, mas a sua preocupação nunca foi performance. Rodava uma base, demorava uma, duas, ou três horas, e não sabia o que era índice na tabela, o usuário é estatístico. No mundo de Big Data, não tem como não se preocupar, caso contrário o negócio não roda, pois é muito dado. A complexidade de análise é bastante grande.
Para ter uma arquitetura boa, perene e capaz, o bom senso diz que os profissionais de TI precisam focar no que há de melhor dentro de suas experiências, e que cada equipe tenha uma discussão sobre qual tecnologia usar e também falar sobre inteligência de negócio. Tudo é importante. Pensando no futuro, é preciso criar um ambiente flexível, composto por componentes do DW Tradicional e componentes do mundo Big Data, que tenha um maior conjunto de informações possível, que estimule os usuários a fazerem análises mais complexas, possibilitando, assim, mais assertividade. Portanto o mais importante é de fato a convivência entre esses dois ambientes – DW tradicional e Big Data.