O que é Big Data?

Todos os dias, criamos 2,5 quintilhões de bytes de dados. Esses dados vêm de todos os lugares, ou seja, de sensores, postagens para sites de mídia social, fotos e vídeos digitais, registros de transações de compra e sinais de GPS de telefone celular etc. Se a geração de dados estiver aumentando dia a dia, será mais complexo armazenar e processar esses conjuntos de dados através de abordagens tradicionais. O gráfico mostra o crescimento de dados digitais em comparação com:

Definição de Big Data

Big data significa a enorme quantidade de dados que está além da capacidade de processamento do sistema de gerenciamento de dados tradicional para gerenciar e analisar os dados em um intervalo de tempo especificado.Big Data vem de muitas fontes, algumas delas são mídias digitais, registros de transações on-line, celular sinais etc.

Por exemplo, se você tiver 10 TB (Tera Byte) de arquivos de imagem, nos quais algum processamento precisa ser feito, como o redimensionamento e o aprimoramento de imagens dentro dos prazos determinados. Se você usar os sistemas tradicionais para executar essa tarefa, não conseguirá realizar essa tarefa dentro do prazo determinado, porque os recursos de computação do sistema tradicional não seriam suficientes para realizar essa tarefa. Portanto, esses 10 TB de dados são chamados de Big Data.

O principal desafio do Big Data é armazenar e processar os dados em um intervalo de tempo especificado. Para executar essa tarefa usando métodos convencionais tradicionais não é uma boa prática.

Big data: do volume para mais volume, mas principalmente para valor

É fácil ver por que somos fascinados com volume e variedade se você perceber quantos dados realmente existem (os números mudam o tempo todo, é realmente exponencial) e de quantas maneiras, formatos e formas vêm, de uma variedade de fontes.

Controlar Big Data e Fast Data pode ajudar as organizações a perceber mudanças em seus mercados e bases de clientes, e depois fazer algo a respeito.

Considere os dados na Web, os logs de transações, os dados sociais e os dados extraídos de milhões de documentos digitalizados. Considere vários outros tipos de dados não estruturados, como e-mails e mensagens de texto, dados gerados em vários aplicativos, dados de geolocalização e, cada vez mais, dados de sensores e outros dispositivos e componentes geradores de dados no domínio da IoT.

Independentemente de quando você lê isto: se você acha que os volumes de dados que estão por aí e no ecossistema da sua organização estão prestes a desacelerar, pense novamente. Você pode imaginar como o Big Data e a Internet of Things (IoT), juntamente com a inteligência artificial, necessária para dar sentido a todos esses dados, só começaram a mostrar um vislumbre de seu tremendo impacto.

A oportunidade de informação do Big Data

Assim, o termo Big Data tem tecnologia e processamento em uma era da informação cada vez mais digital e não estruturada, onde conjuntos de dados cada vez maiores são disponibilizados e cada vez mais fontes de dados são adicionadas, levando a um verdadeiro caos de dados.

O mercado de dados totais deve crescer de pouco menos de US $ 70 bilhões em receita em 2015 para US $ 132 bilhões em 2020 - 451 Research, 2016

No entanto, assim como o caos da informação é sobre a oportunidade da informação, o caos do Big Data é também uma questão de oportunidade e propósito. Além disso, a beleza do Big Data é que ele não segue estritamente as regras clássicas de dados e processos de informações, e até mesmo dados perfeitamente estúpidos podem levar a ótimos resultados, como explica Greg Satell na Forbes.

O aumento mencionado de conjuntos de dados grandes e complexos também exigiu uma abordagem diferente no contexto "rápido" de uma economia em tempo real, em que o acesso rápido a dados e informações complexas é mais importante do que nunca. Basta pensar em dispositivos de detecção de informações que orientam ações em tempo real, por exemplo. Ou as crescentes expectativas das pessoas em termos de experiências rápidas e precisas.

Do Big Data a grandes negócios e grandes decisões

Em meio a todas essas evoluções, a definição do termo Big Data, realmente um termo genérico, vem evoluindo, afastando-se de sua definição original no sentido de controlar volume de dados, velocidade e variedade, conforme descrito neste documento META Group / Gartner 2001. (PDF abre).

A atenção renovada pelo Big Data nos últimos anos foi causada por uma combinação de tecnologias de código aberto para armazenar e manipular dados e pelo crescente volume de dados, como escreve Timo Elliot. Acrescente a isso as várias outras tecnologias de plataforma, das quais Big Data (na verdade, Big Data Analytics faz parte), como cloud computing, 'accelerators' móveis e adicionais, como IoT, e fica claro por que Big Data ganhou muito mais do que apenas alguma atenção renovada, mas levou a uma ampliação do ecossistema de Big Data, conforme ilustrado abaixo.

Hoje, e certamente aqui, olhamos para a perspectiva de negócios, inteligência, decisão e valor / oportunidade. De volume para valor (que dados precisamos para criar quais benefícios) e do caos para a mineração e o significado, colocando ênfase na análise de dados, negócios e ações.

Uma questão fundamental nesse caos - predominantemente não estruturado - de dados é que são os dados certos que precisamos para alcançar uma ou mais ações possíveis. A criação de valor a partir do Big Data - e dos dados e informações em geral - é holística, impulsionada pelos resultados desejados.

O Big Data é um grande volume de informações e ativos de informações que demandam formas inovadoras e econômicas de processamento de informações para uma melhor percepção e tomada de decisão (Gartner).

Com a Internet das Coisas acontecendo (e certamente todos os dados da Internet Industrial das Coisas e Indústria 4.0) e a digitalização em curso em muitas áreas da sociedade, ciência e negócios, a coleta, processamento e análise de conjuntos de dados e os dados RIGHT é um desafio e uma oportunidade para muitos anos vindouros.

Como tal, o Big Data é muito sem sentido ou melhor: como mencionado, é (usado) como um termo genérico. E como é o caso com a maioria dos termos genéricos de “tendências”, há bastante confusão. Analisar conjuntos de dados e transformar dados em inteligência e ação relevante é fundamental.

Big Data: uma conseqüência e um catalisador

Embora o Big Data seja muitas vezes mal entendido do ponto de vista comercial (mais uma vez, é sobre usar os 'dados corretos' no momento certo pelas razões certas) e há debates sobre o uso de dados específicos pelas organizações, é claro que Big Data é um conseqüência lógica de uma era digital.

Ao mesmo tempo, é um catalisador em várias áreas dos negócios digitais e da sociedade. Apenas um exemplo: o Big Data é um dos principais impulsionadores nas evoluções do gerenciamento de informações e, claro, ele desempenha um papel em muitos projetos e oportunidades de transformação digital.

A importância do Big Data e, mais importante, das organizações de inteligência, análise, interpretação, combinação e valor inteligente derivam de uma perspectiva de 'dados corretos' e 'relevância' que impulsionará as formas de trabalho das organizações e terá impacto nas prioridades de recrutamento e habilidades. Os vencedores entenderão o Valor em vez de apenas a tecnologia e isso requer analistas de dados, mas também executivos e profissionais em muitas funções que precisam adquirir uma mentalidade analítica, e muito menos digital. Um grande desafio, certamente em domínios como marketing e gestão.

O Vs de Big Data: Adicionando Valor

O valor é um essencial "V" que deve ser adicionado aos chamados três grandes dados "V’s".

A IBM adicionou um quarto à lista dos três V clássicos, como você pode ver na ilustração acima, em momentos em que dados confiáveis ​​e corretos no momento certo são cada vez mais importantes em uma era de digitalização em andamento.

Volume

O grande volume de dados e informações que são criados por meio do qual falamos principalmente de infraestrutura, processamento e gerenciamento de big data, seja de maneira seletiva.

Velocidade

É onde a análise, a ação e também a captura, o processamento e o entendimento rápidos acontecem e onde também analisamos a velocidade e os mecanismos nos quais grandes quantidades de dados podem ser processados ​​para resultados cada vez mais próximos ou em tempo real, muitas vezes levando à necessidade de dados rápidos.

Variedade

Além dos dados produzidos em um contexto digital amplo, independentemente da função comercial, da área ou sistemas sociais, há um enorme aumento nos dados criados em níveis mais específicos. Variedade é sobre os vários tipos, sendo estruturados, não estruturados e tudo mais.

Veracidade

A veracidade tem tudo a ver com a exatidão que, do ponto de vista da decisão e da inteligência, se torna certeza e o grau em que podemos confiar nos dados para fazer o que precisamos / queremos fazer.

Valor

Como dito, adicionamos valor a isso, pois é sobre o objetivo, o resultado, a priorização e o valor geral e relevância criados em aplicativos de Big Data, em que o valor está no olho do observador e do stakeholder e nunca ou raramente no volume dimensão. Bem-vindo ao Big Data em ação.

Onde as organizações concentram seus esforços de Big Data?

Obviamente, as análises são fundamentais. No entanto, quais origens de Big Data são usadas para analisar e obter insights?

Em 2012, a IBM e a Said Business School da Universidade de Oxford descobriram que a maioria dos projetos de Big Data da época se concentrava na análise de dados internos para extrair insights. Entre as fontes internas de dados, a maioria (88%) refere-se à análise de dados transacionais, 73% de dados de registros e 57% de e-mails.

Menos empresas estavam ocupadas vendo big data externos, de fora de seus firewalls, que são principalmente não-estruturados (como a maioria das fontes internas) e oferecem amplas oportunidades de obter insights também (por exemplo, análise de sentimento).

Até agora esta imagem provavelmente mudou e, claro, também depende do objetivo e tipo de indústria / aplicação. Com o desaparecimento dos perímetros de rede, o desenvolvimento contínuo de iniciativas em áreas como a Internet das Coisas e o aumento da maturidade da análise de Big Data, gostaríamos de ver uma atualização detalhada de fato.

---

etlpowercenter@outlook.com

ETL PowerCenter - by Diogo Vidal

São Paulo-SP