Implementación de Pipelines con TensorFlow Extended

Contenido del curso

Compute on Google Cloud Platform

Continuous Integration, Continuous Delivery

Google Kubernetes Engine

Streaming Data Analytics

Machine Learning

Sesiones en vivo

48
Mentoría en Google Cloud con Pablo Pérez Villanueva
51:16 min

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0013:48

Implementación de Pipelines con TensorFlow Extended

Entrenamiento de Google Cloud Platform

Clase 47 de 48

Clase 47 / 48

Recursos

Entrenar un modelo de machine learning con alta precisión es solo una pequeña parte del trabajo real. Cuando necesitas desplegar, monitorear y actualizar ese modelo de forma continua, la complejidad crece exponencialmente. TensorFlow Extended (TFX) nace precisamente para resolver ese problema: orquestar un pipeline completo de inteligencia artificial, desde la ingesta de datos hasta la exposición del modelo en producción.

¿Por qué el entrenamiento del modelo es solo la punta del iceberg?

Antes de poder entrenar cualquier algoritmo, existe una serie de factores que consumen la mayor parte del esfuerzo [0:38]. La configuración de infraestructura debe garantizar que no te quedes sin recursos durante el entrenamiento. La obtención de datos desde múltiples fuentes puede resultar complicada, y la extracción de características para alimentar el modelo requiere trabajo adicional significativo.

A esto se suman las herramientas de monitoreo, análisis de resultados, administración de procesos y gestión de recursos [1:20]. Cuando consideras todos estos aspectos, la codificación del modelo se vuelve pequeña en comparación con todo lo necesario para un despliegue productivo y constante.

¿Cómo se estructura un pipeline de inteligencia artificial?

El flujo comienza con la ingesta de información, que puede ser en tiempo real mediante servicios como Cloud Pub/Sub o en modo batch con Cloud Storage y BigQuery [1:42]. Después viene la preparación de datos, un paso previo imprescindible antes de alimentar cualquier modelo.

El siguiente componente es el hyperparameter tuning, ese ajuste fino que realizas sobre el modelo en función de los resultados obtenidos en cada ronda de entrenamiento [2:18]. Una vez encontrados los parámetros adecuados, se procede al despliegue a producción, porque un modelo con excelente precisión y baja función de costo no sirve si no puede exponerse al mundo real [2:50].

¿Qué ocurre cuando tienes miles de modelos en producción?

Cuando manejas miles de modelos con datos que se actualizan constantemente, necesitas un proceso de orquestación que permita controlar infraestructura, datos y herramientas de gestión [3:18]. Un pipeline ideal debe ser:

Fácil de desplegar.
Escalable para soportar conectividad masiva vía APIs.
Compuesto, como piezas de Lego donde puedas incrustar y retirar modelos.
Orquestado y administrado de forma sencilla.
Seguro y portable entre nube y on premise [3:42].

¿Qué es TensorFlow Extended y cómo funciona?

TensorFlow es una solución open source creada por el equipo de Google Brain, un conjunto de librerías para desarrollar proyectos de machine learning de forma eficiente [4:18]. Su arquitectura se basa en cómputo mediante grafos de flujo: defines variables y funciones que no se instancian hasta el momento de generar la sesión, lo que permite eficiencia computacional en el uso de recursos [4:50].

TensorFlow Extended es la plataforma punto a punto diseñada para construir pipelines de machine learning en producción [5:58]. Un pipeline de TFX es una secuencia de componentes que implementa todo el ciclo: ingesta, validación, transformación, entrenamiento, análisis y despliegue.

¿Cuáles son los componentes principales de TFX?

Los componentes clave incluyen [6:50]:

Ingestión de datos desde diversas fuentes.
Análisis y validación de esquemas y calidad de datos.
Transformación mediante TensorFlow Transform, que integra el proceso ETL dentro del mismo ecosistema.
Entrenamiento utilizando Keras como framework integrado.
Evaluación del modelo con análisis detallado.
Servicio del modelo a través de TensorFlow Serving, TensorFlow Hub, TensorFlow Lite y TensorFlow JS.

La ventaja diferencial frente a usar librerías independientes como PyTorch o Pandas es que todas estas rutinas están integradas dentro de las mismas librerías de TensorFlow [7:12]. No necesitas importar dependencias adicionales y todo se expone mediante una API unificada.

¿Cómo se orquesta un pipeline de TFX en la práctica?

La arquitectura cuenta con tres capas horizontales [7:55]: un repositorio común de almacenamiento para datasets, los componentes de TFX y un orquestador en la parte superior. Existen dos opciones de orquestación soportadas: Apache Airflow y Kubeflow Pipelines, que utiliza contenedores para ejecutar modelos a escala [8:12].

En un ejemplo con Airflow [8:38], el flujo inicia con la generación del set de entrenamiento, pasa por validación con TensorFlow Data Validation, aplica transformaciones, ejecuta el entrenamiento y la evaluación, hasta llegar al publisher que sirve el modelo de forma automatizada. Lo que unifica todo es la configuración compartida de TensorFlow y el almacenamiento centralizado de metadatos del modelo.

Si buscas llevar modelos de machine learning a producción con actualización constante y capacidad de escalar, TFX ofrece un ecosistema completo y cohesivo. ¿Ya has probado alguno de estos componentes en tus proyectos? Comparte tu experiencia.

Compute on Google Cloud Platform

Guía de Instalación de Google Cloud para Desarrolladores

Crear Cuentas en Google Cloud y Qwiklabs paso a paso

Uso de Quick Labs para Entrenamiento en Google Cloud

Google Cloud: Beneficios y Seguridad en la Nube Pública

Opciones de Cómputo en la Nube con Google Cloud

Máquinas Virtuales en Google Cloud: Uso, Optimización y Descuentos

Instalación de Qwiklabs paso a paso

Creación y Gestión de Máquinas Virtuales en Google Cloud

App Engine: Despliegue de Aplicaciones sin Infraestructura

Despliegue de Aplicaciones en App Engine con Java 11 y SpringBoot

Introducción a Docker y Contenerización de Aplicaciones

App Engine Estándar vs Flexible: Ventajas y Usos Prácticos

Implementación de Cloud Run: Serverless y Contenedores en Google Cloud

Cloud Functions: Creación y Conexión de Servicios Serverless

Continuous Integration, Continuous Delivery

Continuous Integration y Delivery en Google Cloud Platform

Estrategias de Despliegue de Aplicaciones en Producción

Repositorios en Google Cloud: Cloud Source y Container Registry

Construcción y Despliegue en Google Cloud Platform

Infraestructura como Código: Conceptos y Herramientas Clave

Despliegue de Aplicaciones Serverless en Google Cloud Platform

Google Kubernetes Engine

Fundamentos de Kubernetes y Google Kubernetes Engine

Creación y Despliegue de Clúster Kubernetes en Google Cloud

Planificación de Ambientes de Despliegue en Kubernetes

Implementación y Gestión de Anthos para Aplicaciones en la Nube

Cloud Run: Despliegue de Contenedores Serverless en Google Cloud

Despliegue de Servicios en Cloud Run con GKE

Anthos Service Mesh: Observabilidad y Seguridad en Kubernetes

Tour Completo de Anthos: Despliegue y Gestión en Google Cloud

Streaming Data Analytics

Integración de Datos en Tiempo Real con Google Cloud Data Fusion

Construcción de Flujos de Datos con Google Cloud Data Fusion

Ingesta de Datos Confiable en Google Cloud Platform

Ingesta de Eventos en Google Cloud con Apache Kafka y Dataflow

Configuración de Apache Kafka y Debezium en Linux para SQL Server y PubSub

Visualización de Mensajes en Google Cloud con Dataflow y BigQuery

Construcción de un Data Lakehouse con Google BigQuery

Ventajas de BigQuery como Data Lakehouse

Opciones de Almacenamiento en Google Cloud Platform

Gestión de Datos en Google Cloud: Portafolio y Migración

Gobierno de Datos en Google Cloud: Mejores Prácticas y Herramientas

Calidad y Monitoreo de Datos en Google Cloud

Machine Learning

Conceptos Básicos de Inteligencia Artificial y Aprendizaje Automático

Soluciones de IA y Machine Learning en Google Cloud para Desarrolladores

AutoML Tables: Modelado Predictivo con Datos Estructurados

Uso de AutoML Tables en Google Cloud para Modelos de Clasificación

Predicción de Tarifas con Jupyter Notebooks en Google Cloud

Análisis de Datos de Taxis en iNotebook con Google Cloud y BigQuery

Implementación de Pipelines con TensorFlow Extended

Sesiones en vivo

Mentoría en Google Cloud con Pablo Pérez Villanueva

Implementación de Pipelines con TensorFlow Extended