Explorando Google Cloud Platform para big data e IA

EXPLORANDO G.C.P. PARA BIG DATA

• Big Query:
  Es un servicio serverless totalmente escalable que permite trabajar con petabytes de información y lo más importante permite separar el cómputo del procesamiento.

• Pub-Sub:
  Permite trabajar a través de tópicos, esos tópicos permiten conectarnos con distintas fuentes de información y obtener éstos elementos en tiempo real. Éstos elementos pueden llevarse hasta un DataFlow para poder hacer filtrado, poder hacer ordenamiento de éstos registros y luego cargarlos en Big Query.

• DataFlow:
  Es un servicio de extracción, transformación y carga de datos que puede funcionar tanto Batch como Near Real Time. Éste servicio permite trabajar en base a jobs y éstos pueden ser a través de un Template y ya vienen pre configurados distintos Templates.

• Data Catalog:
  Es un servicio totalmente escalable que permite administrar la metadata que tu tienes en tu organización. Ésta metadata recuerda que se genera desde los procesos de ingesta hasta los repositorios de datos, por lo tanto es bastante útil que puedas conectar tus sistemas y poder almacenar ésta data para que distintos usuarios dentro de tu organización puedan conocer cual es la información que tienes cargado en Google Cloud.

• Vertex AI:
  Almacena todas las funcionalidades para poder hacer y crear Datasets, hacer ingesta, hacer entrenamiento, deployement de éstos modelos de una forma asistida con AutoML Tables o de una forma programática con Jupyter Notebook. Éstas dos opciones están disponibles en Vertex AI.

• Vision:
  Nos permite resolver una serie de casos de uso enfocados en la detección tanto de video como de imégenes para detectar elementos.

• Document AI:
  Permite tomar información no estructurada desde distintos formularios, PDF, correo electrónico, y poder extraer ésta información para poder procesarla de una forma ordenada y encontrar insight de éstos textos.

• Speech to Text:
  Permite resolver casos de uso donde tengo audio, y ese audio necesito hacer una transcripción a texto para después analizarlo con los servicios de lenguaje natural.

• Natural Lenguage:
  Permite analizar, extraer sentimientos, extraer entidades y todo eso gracias al análisis semántico de información de texto.

ESPERO PUEDAN REPASAR LA CLASE CON MÁS FACILIDAD. GRACIAS.

Algo como esto sería el esquema de la solución que el profesor plantea.

Algo así entiendo que es el camino para que la información sea analizada.

Hay que pagar para usar? Sera un curso teorico entonces xD

Es impresionante la cantidad de servicios que tiene Google Cloud, nunca me imagine que tuviera tantas herramientas para DS, ML, AI.

Mucho por aprender.