Bienvenida e introducci贸n al curso

1

Iniciando con Big Data

2

Cloud Computing en proyectos de BigData

3

Introducci贸n al manejo de datos en Cloud

4

Datos en Cloud

5

驴Qu茅 nube deber铆a utilizar en mi proyecto de Big Data?

Arquitecturas

6

Arquitecturas Lambda

7

Arquitectura Kappa

8

Arquitectura Batch

Extracci贸n de informaci贸n

9

Llevar tu informaci贸n al cloud

10

Demo - Creando nuestro IDE en la nube con Python - Boto3

11

驴C贸mo usar Boto3?

12

API Gateway

13

Storage Gateway

14

Kinesis Data Streams

15

Configuraci贸n de Kinesis Data Streams

16

Demo - Despegando Kinesis con Cloudformation

17

Kinesis Firehose

18

Demo - Configuraci贸n de Kinesis Firehose

19

Reto - Configurando Kinesis Firehose

20

AWS - MSK

21

Demo - Despliegue de un cl煤ster con MSK

Transformaci贸n de Informaci贸n

22

AWS - Glue

23

Demo - Instalando Apache Zeppelin

24

Creaci贸n del Developer Endpoint

25

Demo - Conectando nuestro developer Endpoint a nuestro Zeppelin Edpoint

26

Demo - Creando nuestro primer ETL - Crawling

27

Demo - Creando nuestro primer ETL - Ejecuci贸n

28

Demo - Creando nuestro primer ETL - Carga

29

AWS - EMR

30

Demo - Desplegando nuestro primer cl煤ster con EMR

31

Demo - Conect谩ndonos a Apache Zeppelin en EMR

32

Demo- Despliegue autom谩tico de EMR con cloudformation

33

AWS - Lambda

34

Ejemplos AWS- Lambda

35

Demo - Creando una lambda para BigData

Carga de Informaci贸n

36

AWS - Athena

37

Demo - Consultando data con Athena

38

AWS - RedShift

39

Demo - Creando nuestro primer cl煤ster de RedShift

40

AWS - Lake Formation

Consumo de informaci贸n

41

AWS - ElasticSearch

42

Demo - Creando nuestro primer cl煤ster de ElasticSearch

43

AWS - Kibana

44

AWS - QuickSight

45

Demo - Visualizando nuestra data con QuickSight

Seguridad, Orquestaci贸n y Automatizaci贸n

46

Seguridad en los Datos

47

AWS Macie

48

Demo - Configurando AWS Macie

49

Apache Airflow

50

Demo - Creando nuestro primer cl煤ster en Cloud Composer

51

Arquitectura de referencia

Clase p煤blica

52

驴Qu茅 es Big Data?

A煤n no tienes acceso a esta clase

Crea una cuenta y contin煤a viendo este curso

Curso de Big Data en AWS

Curso de Big Data en AWS

Carlos Andr茅s Zambrano Barrera

Carlos Andr茅s Zambrano Barrera

Demo - Instalando Apache Zeppelin

23/52
Recursos

Apache Zeppelin es un servicio que permite la ejecuci贸n de notebooks para an谩lisis de datos utilizando SQL, Scala o Python. Tiene integraci贸n con los servicios de AWS.

Aportes 11

Preguntas 1

Ordenar por:

驴Quieres ver m谩s aportes, preguntas y respuestas de la comunidad? Crea una cuenta o inicia sesi贸n.

Vale la pena resaltar que debemos tener Java instalado en nuestra pc. De no ser as铆 al momento de activar Zeppelin nos va a mostrar algo como 鈥淶eppelin process died鈥. Dejo la instalaci贸n para Ubuntu y Linux Mint (64 bit):
sudo add-apt-repository ppa:linuxuprising/java
sudo apt update
sudo apt install oracle-java11-installer

Instalaci贸n con Docker

Puedes usar este archivo de docker-compose.yml

version: "3"

volumes:
  zeppelin_notebook: {}
  zeppelin_conf: {}

services:
  zeppelin:
    image: apache/zeppelin:0.8.1
    volumes:
      - zeppelin_notebook:/zeppelin/notebook
      - zeppelin_conf:/zeppelin/conf
    ports:
      - '8080:8080'

y ejecutarlo con

docker-compose up

AWS Glue provides a console and API operations to set up and manage your extract, transform, and load (ETL) workload. You can use API operations through several language-specific SDKs and the AWS Command Line Interface (AWS CLI). For information about using the AWS CLI, see AWS CLI Command Reference.

AWS Glue uses the AWS Glue Data Catalog to store metadata about data sources, transforms, and targets. The Data Catalog is a drop-in replacement for the Apache Hive Metastore. The AWS Glue Jobs system provides a managed infrastructure for defining, scheduling, and running ETL operations on your data. For more information about the AWS Glue API, see

Interesante este tool de Apache Zeepeling. Sin embargo se tiene servicios en Cloud como https://colab.research.google.com/ donde no es necesario instalar un app en el PC. 驴Consulta, Sabes si Google Colab se puede conectar directamente a AWS para poder analizar los datos?

Apache Zeppelin es un servicio que permite la ejecuci贸n de notebooks para an谩lisis de datos utilizando SQL, Scala o Python. Tiene integraci贸n con los servicios de AWS.

M谩s integraciones con AWS.

buenas鈥 si comienzo a usar este servicio (Zeppelin), como serian los cobros al usarlo con AWS ??

En caso de usar windows, que aplicaci贸n puedo usar para instalar apache Zeppelin?

Amazon EMR es una plataforma de cl煤ster administrada que simplifica la ejecuci贸n de los marcos de trabajo de Big Data, tales como Apache Hadoop y Apache Spark en AWS para procesar y analizar grandes cantidades de datos. Mediante el uso de estos marcos de trabajo y proyectos de c贸digo abierto relacionados, como Apache Hive y Apache Pig, puede procesar datos para fines de an谩lisis y cargas de trabajo de inteligencia empresarial. Adem谩s, puede utilizar Amazon EMR para transformar y trasladar grandes cantidades de datos hacia y desde otros almacenes de datos y bases de datos de AWS, tales como Amazon Simple Storage Service (Amazon S3) y Amazon DynamoDB.
Fuente AWS

Para cambiar la configuraci贸n por defecto del puerto 8080 para iniciar Apache Zeppelin, deben abrir el archivo 鈥渮eppelin-site.xml.template鈥 ubicado en la carpeta 鈥渃onf鈥 que se encuentra en la carpeta descargada y descomprimida de instalaci贸n de Apache Zeppelin.

Una vez abierto, deben cambiar el puerto en la siguiente l铆nea de c贸digo:

<property>
  <name>zeppelin.server.port</name>
  <value>8081</value>
  <description>Server port.</description>
</property>

Una vez modificado deben guardar el archivo, para ahora renombrarlo de 鈥渮eppelin-site.xml.template鈥 a 鈥渮eppelin-site.xml鈥 sacando la extensi贸n 鈥.template鈥. En el caso de ya estar iniciado Apache Zeppelin, se debe reiniciar, de caso contrario, ya se puede levantar Apache Zeppelin para que sea ejecutado con el server port configurado en este caso 8081, el cu谩l puede ser comprobado con la ruta 鈥渓ocalhost:8081鈥.