Conceitos Essenciais de Big Data, IA e CRM

WOLAP: OLAP para Navegadores Web

É semelhante ao OLAP, permitindo disparar consultas através de um navegador.

CRM: Gestão de Relacionamento com o Cliente

Ferramenta de gestão de clientes e vendas que auxilia na melhoria da comunicação com os clientes.

Tipos de CRM

• CRM Analítico: Foca na relação com a área de Marketing.
• CRM Operacional: Atua como um CRM de suporte e vendas.
• CRM Colaborativo: Permite que as áreas de vendas, Marketing e suporte colaborem entre si.
• CRM Estratégico: O tipo mais completo, combinando os aspectos analítico, operacional e colaborativo.

Banco de Dados In-Memory

Um recurso para armazenar grandes volumes de dados na memória principal.

Vantagens do Banco de Dados In-Memory

Diminui o investimento em hardware e a manutenção do banco de dados.

Certificações em Dados e Big Data

Exemplos de certificações existentes na área: MCSA & MCSE (Microsoft), CCP & CCA (Cloudera).

Mineração de Dados (Data Mining)

É o processo de descoberta de informações acionáveis em grandes conjuntos de dados, utilizando análise matemática.

Linhagens da Ciência de Dados: Estatística

Utilização de técnicas matemáticas e estatísticas para resolver problemas.

Linhagens da Ciência de Dados: Inteligência Artificial (IA)

Construída a partir dos fundamentos da heurística, que busca imitar o pensamento humano.

Machine Learning (Aprendizado de Máquina)

Combina a estatística com a IA, buscando desenvolver algoritmos que permitem que o computador aprenda com base em dados.

Deep Learning (Aprendizado Profundo)

É uma abordagem de aprendizado de máquina, inspirada na estrutura e função do cérebro.

Técnicas de IA: Redes Neurais

É uma solução computacional que envolve o desenvolvimento de estruturas matemáticas com capacidade de aprendizado.

Técnicas de Mineração de Dados: Associação

Identifica correlações entre dois ou mais itens para identificar um padrão.

Técnicas de Mineração de Dados: Clustering (Agrupamento)

É o método pelo qual registros semelhantes são agrupados.

Técnicas de Mineração de Dados: Árvore de Decisão

Baseia-se em uma análise que testa automaticamente todos os valores dos dados para identificar aqueles fortemente associados.

Computação Cognitiva

É uma mistura de ciência cognitiva e ciência da computação com o objetivo de simular os processos do pensamento humano em uma máquina.

Exemplos de Computação Cognitiva

• IBM Watson
• Alexa (reconhecimento de fala)

Microsoft Cognitive Services

Coleção de APIs hospedadas na nuvem que auxiliam o desenvolvedor a adicionar recursos de IA.

Apache Flume: Coleta e Agregação de Logs

Logs são fontes de informação e ajudam a monitorar sistemas.

Componentes do Apache Flume

• Source: Responsável pela entrada de dados.
• Channel: Armazena os dados que passam do Source para o Sink.
• Sink: Responsável por enviar os dados ao destino.

Apache HBase: Banco de Dados NoSQL Distribuído

É um banco de dados não relacional (NoSQL) de código aberto que é executado sobre o HDFS.

Apache Hive: Data Warehousing no Ecossistema Hadoop

É um framework para soluções de Data Warehousing que se executa no ambiente Hadoop.

Apache Oozie: Agendamento de Fluxos de Trabalho Hadoop

É um sistema de agendamento de fluxo de trabalho para gerenciar trabalhos do Apache Hadoop.

Oozie Workflow

São DAGs (Directed Acyclic Graphs) que especificam uma sequência de ações a serem executadas.

Oozie Coordinator

São tarefas recorrentes do Oozie Workflow que são acionadas pela disponibilidade de tempo e dados.

Apache Pig: Plataforma para Análise de Big Data

É um projeto da Apache que visa facilitar aos desenvolvedores a manipulação de dados e a realização de consultas em um ambiente de Big Data dentro do Hadoop.

Pig Latin: Vantagens e Características

• Facilidade de programação
• Oportunidade de otimização
• Extensibilidade