Contenido del curso
Crear tablas en AWS Redshift
¡Hola nuevamente!
Ya que tienes tu clúster de Redshift y tu bucket de S3 en AWS, es momento de crear las tablas donde depositaremos los datos que transformamos en el ETL.
Por ahora lo que haremos será crear la estructura de las tablas para que en la siguiente clase podamos llevar los datos transformados a archivos CSV que subiremos a S3 y que automáticamente serán cargados como registros en nuestro Redshift.
1. Crea las tablas
Abre una nueva Query Console. Da clic derecho sobre la base de datos dev, luego presiona el botón New y por último el botón Query Console.
El script contiene lo siguiente:
💡Cada comando ha sido creado con base en las necesidades de datos que se insertarán en ellas. Aprenderás a diseñar este tipo de tablas con más detalle en cursos de Datawarehousing y modelamiento OLAP que tomarás más adelante en la ruta de Data Engineer.
Copia y pega el contenido del script de SQL en el Query Console.
⚠️Es normal que veas otras tablas que no creaste. Son las que se crean por defecto para la prueba gratis de Redshift. No hace falta que las borres.
2. Configura las variables de entorno en tu OS
Antes de continuar es muy importante que guardes como variables de tu entorno de trabajo los datos de acceso a tu cuenta de AWS y clúster de Redshift.
⚠️Esto se hace por seguridad para que los datos de acceso no queden expuestos en el código y que puedan ser obtenidos por personas que no deberían tenerlas.
Para ello ve a la consola de AWS y selecciona en la parte superior derecha tu nombre de usuario. Esto despliega un menú. Da clic en el botón Credenciales de seguridad.
Una vez guardadas las claves da clic en el botón naranja Listo.
Si no recuerdas cómo crear variables de entorno, te sugiero vuelvas a ver esta clase del Curso de Introducción a la Terminal y Línea de Comandos.
¡Listo, ya tienes las variables de entorno creadas! Las usarás en la próxima clase para conectarte de Python a tu bucket de S3 y tu clúster de AWS.
⚠️Recuerda que la notebook que estés usando debe estar corriendo desde el entorno del sistema operativo donde configuraste las variables de entorno, de lo contrario no funcionará tu código porque no encontrará esas variables que se accederán con
os.environ.get('nombre_variable_entorno).
¡Sigue avanzando con el curso! En la próxima clase comenzarás a cargar datos en tu clúster de Redshift. ⚙️🚀
Juan Sebastián Vargas Castañeda
Estudiante
Elio José Gabancho Catunta
Estudiante
kolab Linkear
Estudiante
Guillermo Leonardo Montaño Medina
Estudiante⚠️Cuando creen las variables de entorno, en los siguientes pasos se usarán los nombres de variable de AWS en mayúsculas, el resto si quedan igual:
export AWS_ACCESS_KEY_ID=[] export AWS_SECRET_ACCESS_KEY=[] export host=[] export database=[] ... ...
Recomiendo utilizar variables de entorno con nombres personalizados, ya que por ejemplo la variable de entorno USER es el nombre de usuario de tu sistema operativo en el caso de linux. Yo lo Personalicé así:
export AWS_ACCESS_KEY_ID=******** export AWS_SECRET_ACCESS_KEY=****** export AWS_HOST="tu host" export AWS_DATABASE=dev export AWS_USER=demoplatzi export AWS_PASSWORD=******
⚠️Pequeño paréntesis, como mi intención es disponibilizar los datos mediante una API con FastAPI lo que hare será crear las tablas en PostgreSQL, es practicamente el mismo proceso
Si por alguna extraña razon del destino estás usando como SO Linux con distro Kali, ahí te va la siguiente información que hubiera gustado leer. Kali Linux usa como shell zsh, mientras que la mayoría de distros se basan en la shell bash. Dependiendo de como configuraste tu shell, va a guardar o no las variables de entorno. Si no se llegan a guardar por alguna extraña razón. Tienes que hacer lo siguiente```js vim ~/.zshrc
```js source ~/.zshrc ```Y vuelve a abrir data spell, ya podrás hacer usp de las variables de entorno
