Servidores y computación en la nube para data

Clase 17 de 25 • Curso de Fundamentos de Ingeniería de Datos

Contenido del curso

Introducción a la ingeniería de datos

Herramientas del ciclo de DataOps

Ejerciendo como Data Engineer

Conclusiones

Tomar examen

Comentarios

Miguel Angel Reyes Moreno

student•

Mi Chu

student•

jajajaja 🤣🤣🤣

Ricardo Alanis

teacher•

Se lo mandé a mi equipo <3

Santiago Ahumada Lozano

student•

Nueva inseguridad desbloqueada: Dejar prendido un servidor gigante en cloud y quedar en la calle...

Ricardo Alanis

teacher•

LITERALMENTE jajaja. especialmente las super computadoras! No sabes! jaja

Alejandro Castro

student•

jajajaja X 2

Pablo .

student•

Compute Services (Servicios informáticos)

Storage Services (Servicios de almacenamiento)

Obtenido de: Cloudkeeda

Ricardo Alanis

teacher•

Gracias por compartir!

Laura Katherine Murcia Falla

student•

Diferencias: Propiedad de la empresa: AWS es propiedad de Amazon, Azure es propiedad de Microsoft y GCP es propiedad de Google.

Enfoque de mercado: AWS y Azure tienen una gran presencia en el mercado empresarial, mientras que GCP se centra en gran medida en el mercado de empresas emergentes.

Ofertas de servicios: Cada plataforma ofrece una amplia variedad de servicios en la nube, pero AWS tiene la mayor cantidad de opciones y es líder en muchas áreas, como el almacenamiento en la nube y la gestión de bases de datos. Azure se centra en la integración con sus herramientas de productividad de Microsoft, como Office y Power BI, mientras que GCP se enfoca en la inteligencia artificial y el aprendizaje automático.

Precio: El costo de los servicios varía entre los proveedores, pero en general, GCP y Azure tienden a ser un poco más caros que AWS.

Nivel de soporte: AWS, Azure y GCP ofrecen diferentes niveles de soporte para sus servicios en la nube, con diferentes opciones de precios.

Ubicaciones de centros de datos: AWS tiene la mayor cantidad de regiones de centros de datos en todo el mundo, mientras que Azure tiene menos regiones, pero se centra en ofrecer más opciones de centros de datos locales en todo el mundo. GCP tiene una cantidad intermedia de regiones de centros de datos.

Fuente: ChatGPT

Ricardo Alanis

teacher•

Gracias!!

Cristhian Eduardo Ninanya Cerron

student•

Buen dato, ahora me queda más claro las diferencias entre los 3 proveedores de Cloud.

Stanley Melgar

student•

Platzi habitualmente tiene convenios con Azure para ganar la oportunidad de examinarse de manera gratuita y obtener una certificación oficial sobre el uso de su nube. Yo ya obtuve mi primera certificación, asique estén atentos en caso que sea el servicio que les llame la atención ~

Ricardo Alanis

teacher•

<3 aprovechemos!!

Cristian Ignacio Zuñiga Medina

student•

Esas certificaciones las conseguiste acá en Platzi o en otro entorno?

Alejandro Jimenez

student•

Scars earned, lessons learned.

Ricardo Alanis

teacher•

¡Así es! Lo bueno es aprender.

Andrea Aranda

student•

Que buena frase. :o

Mary Ivania Chirino Condori

student•

![](

Ricardo Alanis

teacher•

Gracias por compartir!

Ian Cristian Ariel Yané

student•

Breve punteo de lo tratado: El servicio de almacenamiento puede ser por medio de servidores en la nuve (aws, GoogleCloud o Azure) o puede ser que la empresa almacene la informacion en servidores locales (premisas). Hay que saber utilizar los recursos de la manera mas optima de acuerdo al contexto de la organizacion: En cuanto a la capacidad de computo en la nuve, seguridad del almacenamiento, y tiempo de uso de los mismos.

Ricardo Alanis

teacher•

Gracias por resumirlo!

Julian Castro Pulgarin

student•

Esta vaina de ser el administrador de los recursos de la nube en la compañía debe ser todo una experiencia fea, depende mucho de ti la factura al final del mes, asi como que tendrás que recortar algunas funcionalidades y se te va a venir gente encima, hahahaha, pero esas personas son todos unos orquestadores!!!

Ricardo Alanis

teacher•

Así es, Julián. Es muy importante notar que a veces la parte más de servicios de valor agregado pudieran verse como muy costosos, pero es importante defender que si algo está ahorrando tiempo y mueve indicadores, vale la pena hacer el caso de negocio.

Ian Cristian Ariel Yané

student•

A modo general todas tienen a su modo muy buena seguridad, quizas un poco mas Azure por la gran inversion que hace en ello y, todos tienen distintas opciones basasdas en IA para un uso iteligente de los datos almacenados.

aws:

Modelo de responsabilidad compartida Pruebas gratuitas de hasta 12 meses en sus servicios

Azure:

Ofrece servicios en primisia (para trabajo con servidores locales), hibrido y en la nube

GoogleCloud:

Modelo de pago por uso Distintas prestaciones en la nuve, poder de hardware, almacenamiento o para desarrollo de aplicaciones Opciones gratuitas y creditos inciales para realizar pruebas Precios claros y metricas de gastos y usos del servicio

Ricardo Alanis

teacher•

Asi es, cada una con fortalezas. Además que su forma de presentar cosas puede sentirse más o menos cómoda según sintamos.

JOSE VICENTE DIAZ OSPINA

student•

Ricardo Alanis

teacher•

Gracias por compartir!

Daviel Antonio Jiménez Comas

student•

Mi resumen de la clase:

Para subir nuestros entregables tenemos la nube, la nube no es mas que una serie de computadoras conectadas que nos prestan recursos, hay varias alternativas de nubes AWS, Azure y Google Cloud son las más conocidas. Algunas empresas por seguridad trabajan en casa o en premisas, pero en este modo debemos de ser conscientes de que podemos dejar a personas sin recursos para procesar otras tareas importantes en la empresa. Interacciones importantes en la nube: Mantener recursos, para que la cuenta sea en base a lo que necesitemos. Mantener usuarios, solo para las personas que necesiten accesos. Solo poder a quienes requieran de la nube. Mantener costos, estrategias para reducir costos y utilizar cosas especificas u optimizar servicios. Distribuir cargas, no es lo mismo crecer de manera horizontal que vertical. Seguridad: Saber cuáles serán los límites de nuestra nube.

Ricardo Alanis

teacher•

Mario Alexander Vargas Celis

student•

Aquí te detallo algunas de las herramientas y servicios más relevantes de Azure, AWS y Google Cloud (GC) para la gestión, almacenamiento, procesamiento, análisis y despliegue de datos:

1. Herramientas en Azure

Azure, el proveedor de nube de Microsoft, ofrece una amplia gama de servicios integrados para la gestión de datos.

a. Almacenamiento de datos

Azure Blob Storage: Almacenamiento de objetos para datos no estructurados.
Azure Data Lake: Almacén de datos en escala masiva para procesamiento de datos de todo tipo.
Azure SQL Database: Base de datos relacional en la nube.
Cosmos DB: Base de datos NoSQL distribuida y escalable.

b. Procesamiento de datos

Azure Databricks: Entorno para análisis en Spark y machine learning.
Azure Data Factory: Herramienta de integración y ETL (Extracción, Transformación, Carga).
Azure Stream Analytics: Procesamiento en tiempo real para datos de IoT y análisis.

c. Análisis de datos

Azure Synapse Analytics: Plataforma unificada para el análisis de datos, que combina SQL y Spark.
Power BI: Herramienta de visualización para generar informes y dashboards de datos.

d. Machine Learning

Azure Machine Learning: Herramienta para diseñar, entrenar y desplegar modelos de machine learning.
Azure Cognitive Services: Servicios de inteligencia artificial preentrenados como visión, lenguaje y traducción.

e. Seguridad y cumplimiento

Azure Security Center: Monitoreo y protección de los datos en la nube.
Azure Key Vault: Gestión de secretos y llaves criptográficas.

2. Herramientas en AWS (Amazon Web Services)

AWS es el líder en la nube y ofrece una gama extensa de herramientas para el manejo de datos, almacenamiento y procesamiento.

a. Almacenamiento de datos

Amazon S3: Almacenamiento de objetos escalable en la nube.
Amazon Redshift: Data Warehouse para consultas masivas.
Amazon DynamoDB: Base de datos NoSQL altamente escalable.

b. Procesamiento de datos

Amazon EMR: Entorno para el procesamiento de Big Data en Hadoop, Spark y otros frameworks.
Amazon Kinesis: Plataforma para el procesamiento de datos en tiempo real provenientes de IoT.
AWS Glue: Servicio de integración de datos para ETL.

c. Análisis de datos

Amazon Athena: Motor de consulta para análisis de datos en data lakes usando SQL.
Amazon QuickSight: Herramienta de visualización de datos para crear dashboards interactivos.

d. Machine Learning

AWS SageMaker: Herramienta para construir, entrenar y desplegar modelos de machine learning.
Amazon Rekognition: Servicios de visión artificial.

e. Seguridad y cumplimiento

AWS Shield: Protección contra ataques DDoS.
AWS CloudTrail: Registro de auditoría de todas las actividades en AWS.

3. Herramientas en Google Cloud (GC)

Google Cloud ofrece servicios robustos enfocados en la gestión de datos, desde almacenamiento hasta machine learning.

a. Almacenamiento de datos

Google Cloud Storage: Almacenamiento de objetos escalable y seguro.
Google BigQuery: Data Warehouse serverless para análisis SQL de grandes conjuntos de datos.
Google Cloud Firestore: Base de datos NoSQL escalable y distribuida.

b. Procesamiento de datos

Google Dataflow: Plataforma de procesamiento de datos en streaming y batch.
Google Dataproc: Entorno de procesamiento para Big Data en Apache Hadoop y Spark.
Cloud Pub/Sub: Servicio de mensajería para la publicación y suscripción de datos en tiempo real.

c. Análisis de datos

Google BigQuery: Herramienta de consulta SQL para análisis de datos masivos en la nube.
Google Cloud Data Studio: Herramienta de visualización para generar informes personalizados.

d. Machine Learning

Google Vertex AI: Plataforma para desarrollar, entrenar y desplegar modelos de machine learning.
Google Cloud AutoML: Servicios de machine learning automáticos para entrenar modelos con pocos datos.

e. Seguridad y cumplimiento

Google Cloud Armor: Protección contra ataques DDoS.
Cloud Identity & Access Management (IAM): Administración de accesos seguros para los servicios en Google Cloud.

Comparación de servicios clave entre Azure, AWS y GC

ServicioAzureAWSGoogle CloudAlmacenamientoAzure Blob Storage, Azure Data LakeAmazon S3, Amazon RedshiftGoogle Cloud Storage, BigQueryProcesamientoAzure Databricks, Azure Stream AnalyticsAWS EMR, AWS GlueGoogle Dataflow, DataprocAnálisis de datosAzure Synapse Analytics, Power BIAmazon Athena, Amazon QuickSightGoogle BigQuery, Cloud Data StudioMachine LearningAzure Machine Learning, Azure Cognitive ServicesAWS SageMaker, Amazon RekognitionGoogle Vertex AI, Cloud AutoMLSeguridadAzure Security Center, Azure Key VaultAWS Shield, AWS CloudTrailGoogle Cloud Armor, IAM

4. Casos de uso comunes en servidores y computación en la nube para datos

Almacenamiento de datos: AWS S3, Azure Blob Storage, Google Cloud Storage son ideales para guardar grandes volúmenes de datos.
Procesamiento de datos: Servicios como AWS EMR, Google Dataflow, Azure Databricks son útiles para el procesamiento de datos en batch o streaming.
Análisis de datos: Herramientas como Google BigQuery, AWS Athena y Azure Synapse permiten realizar consultas avanzadas y análisis de datos.
Machine Learning: AWS SageMaker, Google Vertex AI y Azure Machine Learning son esenciales para construir y entrenar modelos de IA.

Cada proveedor ofrece distintas fortalezas, por lo que la elección dependerá de tus necesidades específicas en términos de costos, escalabilidad, facilidad de uso, integración con otros sistemas y herramientas analíticas.

Iván Darío Restrepo Vallejo

student•

Andres Sanchez

student•

17. Servidores y computación en la nube para data

Alternativas del mercado y sus similitudes

AWS
Azure
Google Cloud

Cosas a tener en cuenta

Manteniendo recursos
Manteniendo usuarios
Manteniendo costos
Distribuyendo carga
Consideraciones de seguridad

Ricardo Alanis

teacher•

Jeanpier Amanqui Ballena

student•

AWS

Beneficios:

Amplia gama de servicios.
Alta escalabilidad y confiabilidad.
Gran comunidad y soporte.

Desventajas:

Complejidad para principiantes.
Costos potencialmente altos.
Bloqueo de proveedor.

Azure

Beneficios:

Integración excelente con productos Microsoft.
Soporte para configuraciones híbridas.
Fuerte enfoque en seguridad y cumplimiento.

Desventajas:

Puede ser costoso.
Curva de aprendizaje empinada.
Algunos problemas de rendimiento.

Google Cloud (GCP)

Beneficios:

Innovación en AI y big data.
Rendimiento eficiente.
Precios transparentes.

Desventajas:

Menos madurez en algunos servicios.
Menos integraciones nativas.
Comunidad de soporte más pequeña.

Maga Fernández

student•

En seguridad de datos, la triada que se maneja, confidencialidad, integridad y disponibilidad.

Cristian Jimenez

student•

Mi ansiedad me dice: verifica que el servidor este apagado 1000000 mil veces!

Eiraliza Jiménez

student•

AWS = mayor variedad de servicios y madurez.
Azure = mejor para empresas que ya usan ecosistema Microsoft.
GCP = más fuerte en analítica, Big Data e IA.

Kevin Acevedo

student•

La nube vino a revolucionar la forma en la que el software se distribuye; anteriormente el software era el lujo de unas pocas empresas que tenían los recursos suficientes para montar servidores, ahora con todos los servicios serverless, cualquiera tiene acceso a servidores listos para utilizarse.

Servidores y computación en la nube para data

Introducción a la ingeniería de datos

¿Qué es ingeniería de datos? ¿Qué es Data Engineer?

Formación Integral para Data Engineers: Retos y Herramientas Esenciales

¿Cómo convertirte en Data Engineer?

¿Dónde ejercer como Data Engineer?

Tareas de Data Engineer: DataOPs

Herramientas del ciclo de DataOps

Agile en ingeniería de datos

Lenguajes de programación e ingeniería de software

¿Dónde y cómo escribir tu código en ingeniería de datos?

Automatización y scripting

Fuentes de datos: SQL, NoSQL, API y web scraping

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Automatizar los pipelines: Airflow

Containers y empaquetamiento: Docker y Kubernetes

Manejo de ambientes para datos

Testing de software y de datos

CI/CD basico