Elementos de Big Data e suas utilizações

Leia também:

Apresenta elementos que agregam valor ao Big Data e como eles contribuem para que cada vez mais a utilização de Big Data esteja presente em nosso dia a dia.

Big Data é uma tecnologia que permite a utilização de grande quantidade de dados estruturados, semiestruturados e não estruturados e a partir deles se obter informações e conhecimentos que podem ser largamente utilizados. 

Como comentado anteriormente, o conceito de Big Data não é novo, mas sua utilização experimentou um grande impulso nesta última década, devido a diversos fatores. Neste item serão apresentados alguns destes fatores e como eles tornam cada vez mais eficiente a utilização dos conceitos de Big Data

  • Não é uma tecnologia nova
    • Evoluiu a partir da evolução de outras tecnologias e conceitos que também evoluíram, entre elas:
      • Melhorias na capacidades de processamento (processadores mais rápidos).
      • Evolução de programas de análise e interpretação de dados.
      • Melhores condições de armazenamento para tornar obtenção de dados mais rápidas.
      • Barateamento em dispositivos de interligação entre dispositivos e facilidades de fazer interligações via Internet.
      • Desenvolvimento da Inteligência Artificial.


Data Mining – Mineração de Dados

Uma das funções mais utilizadas em Big Date é a Mineração de Dados, que procura dados em banco de dados de maneira a encontrar padrões de comportamento que podem indicar tendências. Estas tendências podem ser importantes para encontrar opções de negócios a serem oferecidas a usuários. 

Quando procuramos por um produto na Internet e este começa a aparecer em outras consultas isto é resultado de programas que, com auxílio de Inteligência Artificial mostraram a diversos fabricantes deste produto que existe um usuário interessado, então, uma boa ideia é mostrar várias vezes o produto pois com isto o usuário será lembrado de seu desejo e provavelmente acabará efetuando a compra.

  • Procura dados em banco de dados de maneira a encontrar padrões de comportamento que podem indicar tendencias. 
  • Após pesquisa de um produto na Internet sistemas detectam que um usuário está interessado em uma compra.
  • Oferecem o produto através de diversas maneiras (consultas a programas de buscaredes sociais etc.).
    • O cliente provavelmente acabará efetuando a compra.


Data Warehouse – Armazenamento de Dados

São interpretações de dados que apresentam comportamentos e resultados de empresas ao longo do tempo e serão utilizados para nortear futuras decisões que irão auxiliar para determinar comportamentos futuros das empresas. 

Tanto Data Warehouse como Data Mining, trabalham com grande quantidade de dados oriundos de Big Data, mas diferentemente da mineração de dados que procura encontrar dados diversos que podem ajudar em, por exemplo, uma ação de venda para um cliente, um Data Warehouse normalmente organiza os dados por assunto procurando dar todas as informações sobreum determinado item, como por exemplo, as transações bancárias da empresa no ano anterior.

Outra importante característica dos Data Warehouse é o fato destes dados não sofrem modificações, ou seja, dados que foram registrados em anos anteriores não podem ser alterados, somente novos dados podem ser acrescentados para novos momentos.

Em resumo, podemos dizer que enquanto Data mining é a mineração e dados, Data Warehouse é um depósito de dados digitais.

  • Interpretação de comportamento de dados ao longo do tempo. 
    • Dados referentes a atividades de corporações de forma consolidadas.
    • Normalmente focados em temas específicos.
    • Focado em armazenamentos históricos.
    • São dados não voláteis (não podem ser alterados apenas utilizados para analisar situações).


Data Lake – Lago de dados

Conceito semelhante ao de Data Warehouse, porém, os dados não são armazenados ordenadamente. Como o nome fala, estão em um “lago de dados” e precisam ser encontrados e processados todas as vezes que forem necessários.

  • Conceito semelhante ao de Data Warehouse, porém os dados não estão ordenados 
  • É necessário encontrar e processar os dados no lago. 


In-memory computing

Processos como Data Mining, Data Warehouse e mesmo Data Lake, ficam muito mais eficientes com a utilização da técnica de in-memory Computing que possibilita que dados sejam armazenados em memória de grandes computadores, diferentemente de processos anteriores, onde dados eram armazenados e processados em discos rígidos que resultavam em tempos de acesso e leitura muito maiores.

  • Técnica que permite que dados sejam armazenados em memória de grandes computadores.
    • Permitindo muito mais velocidade de leitura e processamento.
      • Diferentemente de processos anteriores onde dados eram armazenados e processados diretamente em discos rígidos.


Olap 

Olap – Online Analytical Processing que em tradução livre representa Processamento analítico online, é a capacidade de analisar grande volume de dados sob múltiplas perspectivas 


Internet das Coisas – Internt of Things (IoT)

É o nome que se dá a uma tecnologia que permite conectar aparelhos utilizados em nosso dia a dia à Internet, tendo como objetivo que estes troquem informações entre si e a partir destas informações executem ações. Para que estas informações sejam utilizadaeficientemente, sem dúvida é preciso manipular a grande quantidade de dados trocadas entre dispositivos, portanto, a utilização de Big Data se torna fundamental.

Internet das Coisas (IoT), assim como Big Data, não são tecnologias novas, conceitualmente elas já existiam o que faltavam eram capacidades de conexão e processamento que tem se conseguido com os desenvolvimentos tecnológicos que se tem experimentado desde a primeira década deste milênio.

Exemplos como embalagens de remédio que avisam aos cuidadores que os remédios não foram tomados por um paciente nos horários corretos, mostram bem a capacidade de armazenar e manipular uma grande quantidade de dados de pacientes simultaneamente (Big Data), com a facilidade e o barateamento da conexão entre as embalagens e centros de controle ou mesmo SmartPhones de cuidadores (IoT).

Em bibliotecas, ou outras atividades de alugel de equipamentos, mensagens podem ser enviadas para clientes cujos prazos para devolução de livros ou equipamentos estão vencendo.  

  • Tecnologia que permite conectar aparelhos utilizados em nosso dia a dia à Internet.
    • objetivo:
      • Tocar informações e a partir destas executar ações.

  • Exemplo:
    • Embalagem de remédios que se não for aberta no horário correto, manda avisos para os cuidadores.

  • IoT, Big Data.
    • Tecnologias antigas:
      • Esperavam a evoluções tecnológicas para serem largamente utilizadas.


Inteligência Artificial - Artificial Intelligence (AI)

Existem diversas definições de Inteligência artificial entre elas: 

“A capacidade de criar algoritmos de aprendizagem e generalização para simular as capacidades humanas. ” 

“É um ramo de pesquisa da Ciência da Computação que se ocupa em desenvolver mecanismos e dispositivos tecnológicos que possam simular o raciocínio humano. ” 

“É um ramo da Ciência da computação que se propõe a elaborar dispositivos que simulem a capacidade humana de raciocinar, perceber, tomar decisões e resolver problemas, enfim, a capacidade de ser inteligente (Definição do TecMundo) ”. 

Assim com Big Data, Internet da Coisas, a Inteligência Artificial como conceito não é nova, as primeiras formulações de utilização datam dos anos 40 e 50 do século passado, mas elas ficaram aguardando evoluções como:

  • Processadores com as velocidades necessárias; 
  • Possibilidades de armazenar e manipular grandes quantidades de dados (Big Data); 
  • Barateamento de sensores e conexões entre dispositivos (melhoria em tecnologias e Internet). 


Um exemplo clássico da utilização de Inteligência artificial, mencionado em diversos artigos é a identificação de animais através de fotos. Imagine que se pretende que um computador observe uma foto e determine se é de um cachorro ou de um gato. 

  • Capacidade de criar algoritmos de aprendizagem e generalizações.
    • Objetivo:
      • Simular capacidades humanas


  • Exemplo
    • Identificar se a foto é de um cachorro ou gato


  • AI
    • Tecnologia antiga:
      • Esperava evoluções:
      • Disponibilidades de armazenamentos;Velocidades de processamento;
      • Barateamento de sensores;
      • Melhorias na comunicação (Intermete).

Para a identificação o computador irá utilizar um processo de aprendizagem de máquina (Machine learning) onde ele irá verificar uma grande quantidade de fotos de cachorros e de gatos (isto é possível graças as atuais velocidades de processamento e a disponibilidade de Big Data com grande quantidade de imagens). Após esta verificação será possível ao computador identificar a imagem com um percentual muito grande de acerto.


Nenhum comentário:

Postar um comentário