Hoje a idéia é falarmos um pouco sobre o tema da moda chamado Big Data. Mas o que seria isso?

Bem, existe vasto material na internet a respeito do assunto e nosso objetivo é dar uma visão mais simplificada do que é.

Vamos começar fazendo algumas perguntas simples. Você usa o facebook? Se sim, quantos posts você faz ou lê por dia? E o Google, você usa? O seu celular é um smartfone? O Waze é seu co-piloto? Qual é a quantidade de emails que você recebe e envia por dia? E o WhatsApp é seu amigo íntimo? Quando você vai ao supermercado, suas compras são registradas em algum computador ou ainda são na cadernetacom a caneta atrás da orelha do comerciante?

Bem, todas essas perguntas eu fiz para mostrar que hoje em dia nós somos grandes produtores de dados e eles estão se acumulando e sendo produzidos numa velocidade ímpar. Estima-se que a quantidade de informação produzida entre os anos de 2014 e 2015 foi superior àquela produzida durante toda história da humanidade até aquele momento, e um estudo conduzido pela EMC, empresa com foco em armazenamento de dados, dá conta de que até 2020 cada família produzirá o equivalente a 318 iPhones de 32 gigas, por ano de dados.

E outro estudo conduzido por Bernanrd Marr, afirma que serão produzidos 1.7 megabytes por segundo até 2020. Isso dá uma visão simples da avalanche de dados que são criados, seja por sistemas estruturados (bancos de dados) ou não estruturados (redes sociais, planilhas, arquivos e etc.) e continua crescendo…

Isto posto, começamos a entender o tamanho das bases de dados e podemos afirmar que são Big, porém o desafio maior é transformar esses dados em informações, ou lapidar os diamantes que são encontrados nesses emaranhados de dados. Para conseguir transformar isso em informações úteis, temos várias etapas que são a análise, captura, curadoria de dados, pesquisa, compartilhamento, armazenamento, transferência, visualização e informações sobre privacidade dos dados.

Para conseguirmos “olhar” para tudo isso, necessitamos de ajuda que vem das ferramentas de análise preditiva. Essas ferramentas são capazes de analisar uma montanha de dados através de algorítimos estatísticos e encontrar correlações ocultas entre eles, que refletirão os padrões, tendências e permitirão as empresas anteciparem-se a alguns fenômenos que poderão ocorrer.

Além de produtores, nós também somos grandes consumidores de dados e informações, ou seja, nós já nos beneficiamos do Big Data de alguma maneira. Por exemplo, quem usa o Waze está se beneficiando do Big Data, pois essa ferramenta utiliza inúmeras fontes de informação produzidas por um número muito grande de usuários para traçar o melhor caminho para você.

E qual é o objetivo disso? É ter a previsão mais próxima do real da hora de chegada ao seu destino. É nesse ponto que todas empresas, pessoas, instituições e governos irão colher os benefícios da previsibilidade feita sobre a ciência e não da intuição, seja no melhor caminho, seja no menor tempo ou em outro tipo de benefício. Quando isso acontecer, podemos dizer que temos um projeto de sucesso de Big Data.

Então, de maneira simplista, podemos concluir que Big Data trata-se de um conjunto de dados, que podem ser estruturados ou não, e possuem grande volume. Quando falamos de volume, isso pode se referir a muitas fontes (redes sociais, emails, bancos de dados, planilhas, sensores e etc…) ou tamanho das bases (muitos terabytes) e ou complexos de serem processados. Esses dados devem estar tratados, disponíveis e atualizados para consultas de maneira que façam algum sentido para os negócios e eles possam se beneficiar dessas informações.

Será muito importante ouvir suas críticas e sugestões a respeito desse texto. Fique à vontade para comentar o post e compartilhar com seus amigos.

Até a próxima.