Curso de Big data para ingenierías

Introducción. ¿Qué es Big Data? Paradigmas de procesamiento en Big Data. Las 8 V de Big Data (Volumen, Volatilidad, Variedad, Valor, Velocidad, Variabilidad, Veracidad, Validez).
Batch processing. MapReduce. Hadoop. Apache Hadoop YARN. Agregación de los logs de YARN. Obtención de datos en HDFS. Planificación de un cluster Hadoop. Instalación y configuración de Hive, Pig e Impala. Clientes Hadoop incluidos en Hue. Configuración avanzada de un cluster. Seguridad Hadoop. Gestión de recursos. Mantenimiento de un cluster. Solución de problemas y monitorización de un cluster.
Ciencia de datos. Data Science. Apache Spark. Machine Learning. Apache Spark MLlib.
Desarrollo para Spark y Hadoop. Datasets y Dataframes. Operaciones en Dataframe. Trabajar con Dataframes y Schemas. Crear Dataframes a partir de Data Sources. Guardar DataFrames en Data Sources. DataFrame Schemas. Rapidez y lentitud de ejecución. Análisis de datos con consultas de DataFrame. RDD. Transformación de datos con RDDs. Agregación de datos con Pair RDDs. Consulta y vistas de tablas con Spark SQL. Creación, configuración y ejecución de aplicaciones Spark. Procesamiento distribuido. Persistencia de datos distribuidos. Patrones comunes al procesar datos con Spark. Spark Streaming: Introducción a DStreams. Spark Streaming: procesamiento de múltiples lotes. Apache Spark Streaming: Data Sources.
Análisis de datos. Introducción a Pig. Análisis de datos básico con Pig. Procesado de datos complejos con Pig. Operaciones con multiconjuntos de datos con Pig. Troubleshooting y optimización de Pig. Introducción a Hive e Impala. Consultas con Hive e Impala. Administración de datos. Almacenamiento y datos de rendimiento. Análisis de datos relacional con Hive e Impala. Datos complejos con Hive e Impala. Análisis de texto con Hive e Impala. Optimización Hive. Optimización de Impala. Extendiendo Hive e Impala.