Demo - Creando nuestro primer ETL - Crawling

buenas… si comienzo a usar este servicio (Zeppelin), como serian los cobros al usarlo con AWS ??

recuerden desinstalar todo lo configurado en este demo s3 y demas services AWS no perdona el charging of services y se los carga a su Tarjeta de credito.

Upload RAW data to S3 and setup the data catalog

Tuve inconvenientes cuando los archivos se encuentran en el mismo directorio, de esta manera se creaban las tablas en Glue catalog pero desde Athena me retornaba cero registros.

Para resolverlo, encontré en internet que es buena practica un folder por archivo, volví a ejecutarlo y funcionó correctamente

Cada json de origen lo crea como una tabla

El origen de la data en Crawler puede ser, un bucket en S3, una DynamoDB o una conexión tipo JDBC.

Classifier para identificar una estructura particular en nuestra data y la pueda leer de forma adecuada.

Glue Catalog es un catalogo de metadatos persistente, es decir tiene información de donde esta la data almacenada y que estructura tiene para que otros servicios mediante ese catalogo puedan acceder a esa información.

El Crawling es una tarea que va a ir a nuestro bucket de S3, identifica la data y lo coloca en el Glue catalog

Al pasar un tiempo, han cambiado las políticas de Amazon y ahora dejan el bucket privado o sin una política sin restricción.

No es la mejor solución, pero si en el bucket de S3 agregan la siguiente policy funcionará:

{
    "Version": "2012-10-17",
    "Id": "Policyesv",
    "Statement": [
        {
            "Sid": "Statement1",
            "Effect": "Allow",
            "Principal": "*",
            "Action": "s3:GetObject",
            "Resource": "arn:aws:s3:::origen-platzi-esv/*"
        }
    ]
}

Se darán cuenta si les ocurre el problema cuando ejecutan bajo demanda siguiendo el tutorial de Carlos Zambrano, pero no les actualiza las 6 tablas.

Deben cambiar en la policy en el campo “Resource” lo que este en “origen-platzi-esv” por el nombre del origen que ustedes hayan colocado.