Cursos Empresas Blog Live Conf Eventos Precios

0:004:41

Servidores y computación en la nube para data

Curso de Fundamentos de Ingeniería de Datos

Clase 17 / 25

Ver clases

Servidores y computación en la nube para data

Curso de Fundamentos de Ingeniería de Datos

Clase 17 de 25

Clase 17 / 25

Servidores y computación en la nube para data

Curso de Fundamentos de Ingeniería de Datos

Clase 17 / 25

Ver clases

Mario Alexander Vargas Celis

Hace 2 años

Aquí te detallo algunas de las herramientas y servicios más relevantes de Azure, AWS y Google Cloud (GC) para la gestión, almacenamiento, procesamiento, análisis y despliegue de datos:

1. Herramientas en Azure

Azure, el proveedor de nube de Microsoft, ofrece una amplia gama de servicios integrados para la gestión de datos.

a. Almacenamiento de datos

Azure Blob Storage: Almacenamiento de objetos para datos no estructurados.
Azure Data Lake: Almacén de datos en escala masiva para procesamiento de datos de todo tipo.
Azure SQL Database: Base de datos relacional en la nube.
Cosmos DB: Base de datos NoSQL distribuida y escalable.

b. Procesamiento de datos

Azure Databricks: Entorno para análisis en Spark y machine learning.
Azure Data Factory: Herramienta de integración y ETL (Extracción, Transformación, Carga).
Azure Stream Analytics: Procesamiento en tiempo real para datos de IoT y análisis.

c. Análisis de datos

Azure Synapse Analytics: Plataforma unificada para el análisis de datos, que combina SQL y Spark.
Power BI: Herramienta de visualización para generar informes y dashboards de datos.

d. Machine Learning

Azure Machine Learning: Herramienta para diseñar, entrenar y desplegar modelos de machine learning.
Azure Cognitive Services: Servicios de inteligencia artificial preentrenados como visión, lenguaje y traducción.

e. Seguridad y cumplimiento

Azure Security Center: Monitoreo y protección de los datos en la nube.
Azure Key Vault: Gestión de secretos y llaves criptográficas.

2. Herramientas en AWS (Amazon Web Services)

AWS es el líder en la nube y ofrece una gama extensa de herramientas para el manejo de datos, almacenamiento y procesamiento.

a. Almacenamiento de datos

Amazon S3: Almacenamiento de objetos escalable en la nube.
Amazon Redshift: Data Warehouse para consultas masivas.
Amazon DynamoDB: Base de datos NoSQL altamente escalable.

b. Procesamiento de datos

Amazon EMR: Entorno para el procesamiento de Big Data en Hadoop, Spark y otros frameworks.
Amazon Kinesis: Plataforma para el procesamiento de datos en tiempo real provenientes de IoT.
AWS Glue: Servicio de integración de datos para ETL.

c. Análisis de datos

Amazon Athena: Motor de consulta para análisis de datos en data lakes usando SQL.
Amazon QuickSight: Herramienta de visualización de datos para crear dashboards interactivos.

d. Machine Learning

AWS SageMaker: Herramienta para construir, entrenar y desplegar modelos de machine learning.
Amazon Rekognition: Servicios de visión artificial.

e. Seguridad y cumplimiento

AWS Shield: Protección contra ataques DDoS.
AWS CloudTrail: Registro de auditoría de todas las actividades en AWS.

3. Herramientas en Google Cloud (GC)

Google Cloud ofrece servicios robustos enfocados en la gestión de datos, desde almacenamiento hasta machine learning.

a. Almacenamiento de datos

Google Cloud Storage: Almacenamiento de objetos escalable y seguro.
Google BigQuery: Data Warehouse serverless para análisis SQL de grandes conjuntos de datos.
Google Cloud Firestore: Base de datos NoSQL escalable y distribuida.

b. Procesamiento de datos

Google Dataflow: Plataforma de procesamiento de datos en streaming y batch.
Google Dataproc: Entorno de procesamiento para Big Data en Apache Hadoop y Spark.
Cloud Pub/Sub: Servicio de mensajería para la publicación y suscripción de datos en tiempo real.

c. Análisis de datos

Google BigQuery: Herramienta de consulta SQL para análisis de datos masivos en la nube.
Google Cloud Data Studio: Herramienta de visualización para generar informes personalizados.

d. Machine Learning

Google Vertex AI: Plataforma para desarrollar, entrenar y desplegar modelos de machine learning.
Google Cloud AutoML: Servicios de machine learning automáticos para entrenar modelos con pocos datos.

e. Seguridad y cumplimiento

Google Cloud Armor: Protección contra ataques DDoS.
Cloud Identity & Access Management (IAM): Administración de accesos seguros para los servicios en Google Cloud.

Comparación de servicios clave entre Azure, AWS y GC

ServicioAzureAWSGoogle CloudAlmacenamientoAzure Blob Storage, Azure Data LakeAmazon S3, Amazon RedshiftGoogle Cloud Storage, BigQueryProcesamientoAzure Databricks, Azure Stream AnalyticsAWS EMR, AWS GlueGoogle Dataflow, DataprocAnálisis de datosAzure Synapse Analytics, Power BIAmazon Athena, Amazon QuickSightGoogle BigQuery, Cloud Data StudioMachine LearningAzure Machine Learning, Azure Cognitive ServicesAWS SageMaker, Amazon RekognitionGoogle Vertex AI, Cloud AutoMLSeguridadAzure Security Center, Azure Key VaultAWS Shield, AWS CloudTrailGoogle Cloud Armor, IAM

4. Casos de uso comunes en servidores y computación en la nube para datos

Almacenamiento de datos: AWS S3, Azure Blob Storage, Google Cloud Storage son ideales para guardar grandes volúmenes de datos.
Procesamiento de datos: Servicios como AWS EMR, Google Dataflow, Azure Databricks son útiles para el procesamiento de datos en batch o streaming.
Análisis de datos: Herramientas como Google BigQuery, AWS Athena y Azure Synapse permiten realizar consultas avanzadas y análisis de datos.
Machine Learning: AWS SageMaker, Google Vertex AI y Azure Machine Learning son esenciales para construir y entrenar modelos de IA.

Cada proveedor ofrece distintas fortalezas, por lo que la elección dependerá de tus necesidades específicas en términos de costos, escalabilidad, facilidad de uso, integración con otros sistemas y herramientas analíticas.

Comentarios (41)41 comentarios

Miguel Angel Reyes Moreno

Hace 4 años

Mi Chu

Ricardo Alanis

Profesor

Santiago Ahumada Lozano

Alejandro Castro

Pablo .

Laura Katherine Murcia Falla

Cristhian Eduardo Ninanya Cerron

Hace 3 años

Stanley Melgar

Cristian Ignacio Zuñiga Medina

Alejandro Jimenez

Andrea Aranda

Mary Ivania Chirino Condori

Ian Cristian Ariel Yané

Julian Castro Pulgarin

JOSE VICENTE DIAZ OSPINA

Daviel Antonio Jiménez Comas

Julian Delgadillo

Hace un año

Iván Darío Restrepo Vallejo

Andres Sanchez

Jeanpier Amanqui Ballena

Daniel Urango

Hace un mes

Maga Fernández

Hace 7 meses

Cristian Jimenez

Servidores y computación en la nube para data

Servidores y computación en la nube para data

Servidores y computación en la nube para data

Progreso del curso

Introducción a la ingeniería de datos

Herramientas del ciclo de DataOps

Ejerciendo como Data Engineer

Conclusiones

Servidores y computación en la nube para data

Servidores y computación en la nube para data

Comentarios

Comentarios