Excelente curso!
Mi mundo se acaba de sacudir por completo dado a que vengo de desarrollar en PLSQL en Oracle, un DBMS relacional. Se me han ocurrido un sin fin de ideas y proyectos con los conocimientos adquiridos. Much铆simas gracias!
Primeros pasos en la arquitectura no transaccional
Objetivos y presentaci贸n del proyecto
Aprende qu茅 es un Data Warehouse
Bases de datos columnares y arquitectura orientada a optimizaci贸n de consultas
驴C贸mo funciona AWS Redshift?
Configura tu entorno de trabajo para Redshift
Creando nuestro entorno de trabajo en AWS
Configura tu primer cluster
Consumiendo Redshift: empieza la magia
Sentencias SQL en Redshift
C贸mo dise帽ar tu base de datos para mejorar su desempe帽o
驴Qu茅 es la compresi贸n en Redshift?
Algoritmos de compresi贸n con Redshift
Aplicando algoritmos de compresi贸n
An谩lisis de desempe帽o con diferentes tipos de compresi贸n
Estilos de distribuci贸n con Redshift
Evaluando los estilos de distribuci贸n
Llaves de ordenamiento para optimizar nuestras consultas
Aplicando ordenamiento de columnas
Evaluando algoritmos de ordenamiento
Buenas pr谩cticas para dise帽ar tablas en Redshift
Tipos de datos en AWS Redshift
Reto: mejora el desempe帽o de tu base de datos
Manipular enormes cantidades de datos
Olv铆date de los insert, el copy llego para quedarse
Cargando archivos tipo JSON
El comando copy a fondo
Manifiestos y uso de COMPUPDATE para carga con compresi贸n autom谩tica
M茅todos de carga alternativos al comando copy
驴C贸mo ejecutar sentencias UPDATE y DELETE?
驴C贸mo mantener el desempe帽o de tu base de datos?
Estad铆sticas y limpieza de las tablas
Buenas pr谩cticas para dise帽ar y ejecutar consultas en tu base de datos
Agrupamiento, ordenamiento y subqueries
驴Qu茅 es y c贸mo interpretar un explain plan?
An谩lisis de comportamiento y descarga de datos con Redshift
驴C贸mo descargar datos eficientemente con UNLOAD?
Otras tablas 煤tiles de Redshift para entender el comportamiento de nuestros datos
Conclusiones
Pr贸ximos pasos con AWS Redshift
You don't have access to this class
Keep learning! Join and start boosting your career
If you already have an account,
Resources
What have we learned about data warehouses and columnar databases?
Learning about data warehousing technologies is a fascinating and discovery-filled journey. In this course, we have explored the world of data warehouses and columnar databases, focusing on practical tools you can use to improve your data management and analysis. We have covered essential topics that invite you to delve deeper into data management, from basic concepts to advanced practices.
What is a data warehouse and how does Redshift work?
A data warehouse is a system used for storing and analyzing large amounts of data, essential for informed decision making in any organization. Redshift is a popular tool for this purpose, known for its efficiency and ability to handle large volumes of data.
- Redshift: Uses a specialized database design that optimizes compression, sorting and distribution styles.
- Columnar databases: This type of database allows faster access to data, since it stores information by columns instead of rows, considerably improving query times.
How to import and export data in Redshift?
Manipulating and moving data efficiently is a vital skill. Redshift facilitates these tasks through dedicated tools for importing and exporting data.
- Data loading: Use tools such as Amazon S3 for data loading, thanks to its direct integration capabilities and optimization for large volumes of information.
- Data extraction: Redshift also simplifies data export for further analysis on other platforms or integration with other business systems.
How to optimize queries and maintain an efficient database?
To get the most out of your data, it is crucial to write efficient queries and maintain a healthy database. This involves not only knowing how to query, but also how to interpret the results.
- Efficient queries: Write optimized queries that take advantage of Redshift's columnar structure for fast and accurate results.
- Performance measurement: Use monitoring tools that allow you to evaluate the resource consumption of your queries.
- Database maintenance: Maintain up-to-date statistics for better query performance. A clean and organized database facilitates access to the necessary information.
What are the best practices in using Redshift?
The use of Redshift benefits greatly from certain standardized practices that ensure system performance and scalability.
- Log monitoring and management: implements dedicated tables to manage and analyze logs, making it easy to detect and troubleshoot problems.
- Data distribution: Understanding and applying different distribution styles helps to balance workload and optimize resource usage.
What else can be explored in the world of Redshift?
While we've covered a lot of bases, the world of Redshift offers even more to explore. From integration with other platforms such as DynamoDB to advanced use of functions and procedures, there are always new horizons to discover.
- Integration with other systems: Take advantage of Redshift's ability to integrate with various platforms and systems, expanding the functionality and scope of your data analysis.
- Advanced features: Delve into the use of stored procedures and user-defined functions for complex tasks and custom data analysis.
Your learning doesn't end here. Knowledge and skill are the real drivers of progress. Keep exploring, sharing your achievements and always looking for new opportunities to learn and grow. See you in future classes and courses!
Contributions 29
Questions 3
Sort by:
Es importante eliminar el cluster cuando se deje de usar Redshfit , sino AWS te cobrara despues de sobrepasar la cantidad de horas gratuitas.
En este link estan los pasos :
https://docs.aws.amazon.com/es_es/redshift/latest/gsg/rs-gsg-clean-up-tasks.html
Me gustar铆a un curso de Snowflake.
Muy buen curso, bien explicado y f谩cil de entender.
Me encantar铆a que abarc谩ramos los otros servicios de AWS relacionados con datos de esta forma como EMR, Glue, Athena, Kinesis, o los servicios de visualizaci贸n y consumo de datos igual de AWS.
Saludos y gracias.
A pesar que disfrut茅 mucho el curso y el profesor se ve que es un crack, siento que hay un cierto vac铆o maluco en la ruta de data Science en cuanto a bases de datos.
Pasamos de dos cursos pr谩cticamente id茅nticos manejando una base de datos de 10鈥檚-100鈥檚 de registros transaccionales de una tienda de libros (gateando) a perder los estribos con 60M鈥檚 de registros en Ohio (triathlon).
Definitivamente revisar茅 este curso cuando retome la ruta de bases de datos.
Que buen curso, me gust贸 much铆simo.
Inicialmente lo he recibido porque en mi trabajo vamos a empezar a utilizar RedShift, as铆 que tambi茅n cree este Notion con todas las cosas 煤tiles que aprend铆 en el curso, para compartir con mis compa帽eros de trabajo, pero les dejo el acceso tambi茅n a todos para que se apoyen en 茅l, y pueden dejar comentarios para ir agregando y mejorando el mismo.
Saludos
Muy buen curso !! 馃憣
Muy buen curso y exelente profesor!! Espero verlo en proximos cursos.
curso de 10 Estrellas, estoy la ruta de la escuela de data Science, y sin temor a equivocarme es una de los cursos mejor elaborados y desarrollados, en mi caso me mostrar un camino claro para empezar agregar valor productivo a algunos los proyectos que he ido contrayendo en mi aprendizaje. me queda la duda de como haria para hacer alg煤n tipo de deployment o si existe alguna forma de mostrar en un portafolio proyectos que hagan uso de redshift, a manera de alg煤n tipos de repositorio o algo similar
Este curso es excepcional. Ofrece un equilibrio perfecto entre la presentaci贸n de conceptos clave de manera concisa y su aplicaci贸n pr谩ctica. En mi opini贸n, es el mejor de todos los cursos de AWS disponibles en Platzi. Es un ejemplo de c贸mo deber铆an ser todos los cursos en esta plataforma. 隆Altamente recomendado
Muchas gracias por el curso profesor. Explica muy bien y fue muy ameno, aprend铆 mucho.
Excelente curso Carlos,
Muy buen material, bien explicado y pr谩ctico. Me quedo con el COPY, las buenas pr谩cticas en creaci贸n de tablas y los comandos para el mantenimiento del performance de la base de datos en el tiempo.
Muy bueno el curso y ni se diga el profesor, con muchos ejercicios y a pesar de que fue largo y algunos videos son extensos no aburre para nada.
Increible curso, puede durar 20 minutos una lecci贸n pero es entretenido y no me duermo ni nada, la verdad es genial.
Incre铆ble curso. Es mi primer acercamiento a Redshift y no s茅 si se tocaron la mayor铆a de temas de la herramienta pero todo lo que se trabaj贸 estuvo excelente y con buena profundidad, sobre todo por los ejemplos y ejercicios. Lo 煤nico que me gustar铆a que se agregara es el ingestar datos desde otros servicios de AWS, porque el copy es fant谩stico pero en una organizaci贸n que ya est茅 trabajando de lleno con AWS la data puede venir de muchas otras fuentes aparte de S3; me qued茅 con ganas de ver esos ejemplos y si tambi茅n se tienen las mismas opciones como en copy para optimizar. De los mejores cursos que he tomado en Platzi y me gustar铆a que con esa misma profundidad se realizaran cursos de otras herramientas de AWS, como Lambda, API Gateway, etc, y no introducci贸n como en el resto de la ruta de AWS.
Te agradezco por este curso, como ingeniero industrial no ha sido muy f谩cil ciertos aspectos de ciencias computacionales, pero cierras con broche de oro lo que nos ofrece platzi para DBs, me gustar铆a que a futuro tengamos retos de consultas y manejos de DBs usando todas las herramientas que nos han compartido y poder incluir mucho m谩s.
Que genial curso!
muy buen curso, lastima que no se pueda practicar, no quiero correr el riesgo con amazon que terminen cargando costos a la tarjeta, por tanto volumen de informaci贸n. aunque el profesor dice que no genera costos, pero mejor no correr riesgos.
EXCELENTE CURSO!!! que otros curso ense帽a ???
Me gusto el cursos, y lo bien explicado por Carlos.
Que curso tan genial,
me costo seguirle el paso por lo que esto me es tan nuevo, pero eso hace que lo all谩 disfrutado aun mas,
Queda en mis cursos de consulta frecuente, y de esos que te abren a nuevos mundos
Gracias totales Carlos
Excelente curso y Carlos como Instructor demasiado bueno aprendi muchisimo
Excelente Curso!
Felicitaciones, excelente curso!!!
exxamen sannsweers
**Resumen**1.驴Qu茅 define mejor a un Data Warehouse?Un repositorio unificado de datos con un prop贸sito anal铆tico.2.驴Qu茅 tipo de tablas contiene usualmente un modelo orientado a anal铆tica en un Data Warehouse?Tablas de hechos y tablas de dimensiones.3.驴Qu茅 objetivo tiene una base de datos orientada a filas?La transaccionalidad y en la lectura/escritura r谩pida de registros 煤nicos en una tabla.4.驴Qu茅 objetivo tiene una base de datos orientada a columnas?Procesamiento 贸ptimo de consultas complejas en grandes vol煤menes de datos.5.驴En qu茅 consiste un cluster?Dos o m谩s nodos interconectados procesando tareas en paralelo.6.驴Cu谩nto espacio ocupa un bloque de datos en Redshift?1MB7.Redshift est谩 basado en la arquitectura de:PostgreSQL8.El comando para obtener la compresi贸n recomendada por Redshift a una tabla es:analyze compression9.El objetivo de comprimir columnas en Redshift es:Reducir el n煤mero de bloques de datos que ocupa, para incrementar la velocidad de respuesta.10.Consigue comprimir los datos evaluando la diferencia entre un dato y el siguiente dato en la columna.Mostly11.Consigue comprimir los datos creando otra entidad en donde a cada valor de la columna se le asigna un 铆ndice 煤nico.Diccionario de bytes12.Consigue comprimir los datos agrupando filas con el mismo dato consecutivo en una columna.Run-length13.驴Cu谩les son los tipos de distribuci贸n en Redshift?
all, key, even.
14.Al aplicar un estilo de distribuci贸n en Redshift de busca:Los datos deben estar distribuidos equitativamente y con las columnas "join" en los mismos slices para incrementar la velocidad de respuesta.15.La distribuci贸n Key distribuye los datos en los nodos basados en una columna especifica:Verdadero16.Distribuye los datos en los nodos usando round robin.AllREPASAR CLASE17.El objetivo de las llaves de ordenamiento es:Reducir tiempos de respuesta en la consultas.18.Una de las desventajas del ordenamiento intercalado (Interleaved) es:La carga de datos es m谩s lenta.19.Una de las desventajas del ordenamiento compuesto (Compound) es:La consulta pierde efectividad si se filtran los datos por columnas secundarias de la llave.20.Los bloques de datos en Redshift guardan el valor m铆nimo y m谩ximo que contienen, por esta raz贸n usar llaves de ordenamiento permite descartar r谩pidamente bloques de datos fuera de cl谩usula WHERE indicada e incrementar la velocidad de respuesta:Verdadero21.驴Qu茅 funci贸n cumple el par谩metro COMPUPDATE en el copy?Crea autom谩ticamente la compresi贸n de columnas recomendada por Redshift a una tabla previamente vac铆a.22.El comando copy realizar el cargue en la tabla usando procesamiento masivo en paralelo (MPP), por esta raz贸n es muy efectivo.Verdadero23.Con este par谩metro puedes indicar cual es el caracter de separaci贸n en tu archivo a cargar en un copy.delimiter24.驴Qu茅 se logra con el comando Analyze?Actualizar la metadata estad铆stica buscando que el planificador de consultar conozca c贸mo resolver estas consultas de la mejor forma.25.El comando Vacuum no indispone la tabla para actualizaci贸n de datos.Falso26.驴Qu茅 puedo conseguir aplicando Vacuum a una tabla?Recuperar espacio, ordenar correctamente las columnas en una tabla luego de un cargue.27.驴Qu茅 funci贸n tiene "explain" en Redshift?Retorna el plan de ejecuci贸n y costo de una consulta.28.El comando explain retorna el costo de una consulta de la siguiente manera valor1..valor2 a modo de ejemplo 122..234432, 驴qu茅 significan estos valores respectivamente?Ninguna de las respuestas.REPASAR CLASE29.El comando unload es igual de 贸ptimo que resolver una consulta en el editor SQL, con la 煤nica diferencia que guarda los datos en S3.Falso30.La siguiente instrucci贸n ejecuta una consulta y env铆a los resultados a S3 en archivos de 100 mb, separador (;), compresi贸n BZIP2 y encabezado.`unload ('select * from unload_test') to 's3://loadfilesredshift/unload/unload_test_other_' credentials 'aws_iam_role=aws_arn' delimiter ';' HEADER BZIP2 MAXFILESIZE 100 mb`
Muy buen curso, cargado de informaci贸n muy completa, de igual manera el profe estuvo excelente, buen uso del tiempo y el desarrollo del mismo. 馃馃挌
Profe Carlos, gran curso, muchas gracias por tu esfuerzo y el gran curso que brindaste, por favor en el futuro mas cursos de dise帽o de datawarehouses, data lakes y etl鈥檚.
Gracias
Excelente Curso, de todos los cursos que he visto en la plataforma me quedo con este (hablo de inform谩tica), lo 煤nico que recomiento que se tienen que ir actualizando, porque la plataforma va cambiando y a帽adiendo mas servicios.
Lo tengo que ver otra vez para afianzar mejor los conceptos, el ppt me podrias pasar?
Profe muchisimas gracias me pareci贸 un curso muy excelente, se not贸 todo el esfuerzo y dedicaci贸n que le metiste a cada clase.
Cada pr谩ctica todo todo me la goc茅 un gusto y espero seguir haciendo tus cursos
Want to see more contributions, questions and answers from the community?