Entrenamiento de clusterización en Watson Studio

Clase 20 de 25 • Curso de Inteligencia Artificial con IBM Watson

Camilo Gomez Osorio

student•

A los que les aparezca al darle Play el siguiente error: "WDP Connector Error: CDICO9999E: Internal error occurred: IO error: The Excel file is too large." Lo que hice fue convertir el archivo de .xls a .csv, se carga como data asset y se sigue el mismo procedimiento. Funciona sin problema

Usuario anónimo

user•

gracias

Carlos Daniel Pimentel Díaz

student•

A mi también me apareció el error al momento de ver el modelo generado. Pero lo solucioné muy facilmente: Como yo no utilizo Excel, lo que hice fue ingresar a ésta página: https://convertio.co/es/ y convertí el archivo de .xlsx a .csv y listo! Funcionó de maravilla.

Gustavo Adolfo Abello Fernandez

student•

Gracias por la aclaración y la herramienta recomendada. saludos

Jesus David Galarcio Noguera

student•

Hola. Lo hice así, sin embargo, la calidad de mi modelo es de 0.751, lo cual es 0.2 - 20% menos que el del ejemplo. ¿Te pasó igual?

Jimmy Buriticá Londoño

student•

AI Fairness 360 es un kit de herramientas de código abierto extensible puede ayudarlo a examinar, informar y ++mitigar la discriminación y el sesgo++ en los modelos de aprendizaje automático a lo largo del ciclo de vida de la aplicación AI. Con más de 70 métricas de equidad y 10 algoritmos de mitigación de sesgos de última generación desarrollados por la comunidad investigadora, está diseñado para traducir la investigación algorítmica del laboratorio en la práctica real de dominios tan amplios como finanzas, gestión de capital humano, salud y educación.

Carlos Andrés Mosquera Arria

student•

El clustering no me sirvió a pesar de todo por que me lanza warnings diciendo que el dataset es muy grande. Inclusive todos los tipos categoricals los termina pasando a typeless y los modelos no quedan en .950 0 .930 sino mas bien en .75 o .73!

Jhon Jairo Meneses Prieto

student•

Para el error mencionado anteriormente, en donde se debe pasar de excel a csv el archivo, se puede guardar como csv, y al cargarlo en el Data Asset se da doble clic y allí se parametriza que es delimitado por punto y coma, con este paso se soluciona

David Jaramillo Saldarriaga

student•

Tener sesgo ético representa que no está bien entrenado el modelo. Se deben obtener (en lo posible) más datos para re entrenar el modelo. Es muy importante no caer en discriminación al momento de implementar este tipo de soluciones de AI

Fabián Camilo Machuca Gélvez

student•

Hola Tengo un problema, cuando ejecuto el modelo todos los datos "Categóricos" los convierte en "Sin tipo", lo que hace que el modelo no quede bien. Este es uno de los mensajes que me aparece: "Large set type field 'Screen name' has changed to typeless"

Jesus David Galarcio Noguera

student•

**Creo **que es porque decide no usarlos para crear los modelos. Ahí está el tema de este tipo de herramientas. Brindan grandes facilidades, sin embargo, algunas veces no entendemos que pasa y habría que estudiar a fondo para saber qué tan personalizables pueden ser los modelos creados acá.

¡Saludos!

Guillermo Parejo

student•

3er intento funciono Entradas {"fields":["Followers","Friends","Tweets"],"values":[[25,10,5]]} Salida

{
  &quot;fields&quot;: [
    [
      &quot;$KM-K-Means&quot;,
      &quot;$KMD-K-Means&quot;
    ]
  ],
  &quot;values&quot;: [
    [
      &quot;1&quot;,
      26.659894973536563
    ]
  ]
} ```

Nicolas Enrique Duque Aguirre

student•

Bastante importante el concepto de explicabilidad, recuerdo que Juan Pablo en el curso de ML aplicado con Python hacia bastante notacion a esto.

Despues de convertir con convertio.co el xlxs a csv funciono bien el entrenamiento, ya que con el archivo original me salio el error que otros compañer@s mencionan y al abrirlo y guardarlo como csv desde excel y mirar type las variables no tenian los nombres asociados correctamente y ademas habian mas variables, cuando use la web y carge este dataset todo estaba correcto y se entreno bien.

No se si sea solo mi caso, pero me preocupa el tiempo que tarda el entrenamiento de los servicios y sus despliegues, en al menos 4 ocasiones se ha tardado 2 horas o cerca de ese rango.

Nicoll Idaly Angulo Mejia

student•

No sé por qué será, mis entrenamientos no tardar más de 5 minutos.

Nicolas Enrique Duque Aguirre

student•

Con tu 10900k, titan RTX y 400 Mb de internet todo se puede jaaja

Loren Johanna Vásquez Rivera

student•

Estoy tratando de guardar el modelo como Individual algorithm as PMML, pero no me sale ninguna opción en Model applier node, por lo que no lo puedo guardar bien. ¿Alguna sugerencia de cómo solucionarlo? Lo intenté guardar como Scoring branch pero al testear no funciona bien.

Isaac Carrada

teacher•

Hola Loren!

Si no te permitió elegir el modelo como individual algorithm muy probablemente es porque aún no esta entrenado el modelo o porque hay algun problema con la sesión de Watson Machine Learning

Entonces te recomendaria volverlo a entrenar o asegurarte de que solo tienes un servicio de watson machine learning y es el que estas usando, si es error del oauth 2 con que reinicies tu navegador eliminando el cache sería mas que suficiente

Dejame saber si te funcionó!

Javier Humberto Cuadros Picon

student•

Como se podría hacer desde IBM Cloud con los servicios disponibles de ML, seguir entrenando y evaluando mi modelo por ejemplo de Clasificación con algún flujo, evitando que pierda confiabilidad o su porcentaje empiece a disminuir con respecto al inicial a lo largo del tiempo?

Luis Alejandro Hernández Contreras

student•

Cuando se expone un WebService del modelo, puedes estar enviando datos y que se reentrene. Ese es el modelo no supervisado

Javier Humberto Cuadros Picon

student•

Gracias @ahernandezc1 por su respuesta, es decir, el dataset debemos estar alimentandolo con nuevos datos para estar entrenando constantemente nuestro modelo.

Gabriel Oswaldo Giraldo Martínez

student•

¿Es posible luego de obtener el mejor modelo y entrenarlo exportar el archivo con el árbol decisiones para ingresarlo en un código de scikitlearn que corre localmente para obtener etiquetas basadas en el entrenamiento realizado a través de watson?

Luis Alejandro Hernández Contreras

student•

Intenta revisando este enlace:

https://developer.ibm.com/recipes/tutorials/exportacion-de-modelos-desarrollados-con-r-en-watson-studio/

Usuario anónimo

user•

Puede variar la clusterización ?, porque los datos y la certeza me dieron diferentes

Jonathan Alexander Ramos Martínez

student•

IBM Watson es muy práctico, porque evita programar tanto para lograr los mismo resultados. Y porque personas no expertas en programación pueden hacer uso de herramientas de IA.

Usuario anónimo

user•

genial

Daniel Ortiz Montoya

student•

Pero al eliminar el sesgo porque no es ético, ¿No se pierde información?, muchas veces ciertos grupos sociales tienen comportamientos distintos.

Juan Felipe Arias Trullo

student•

Los que tengan el problema WDP Connector Internal Error, se puede arreglar pasando el archivo a .csv como dicen nuestros compañero. Tener en cuenta que el excel en algunas ocasiones fomatea el csv con ; en lugar de , entonces cuando vayan a dataasset escojan el separador caracter separador correctamente.

Jhon Jaiver Supelano Rojas

student•

Para evitar que el Excel genere el ; en vez de la coma, al generar el .csv pueden ir en Windows a Panel de control Reloj y región, en Región, configuración adicional, cambiar el separador de listas de ; a la coma , y aplicar.

tambien esta pagina pueden hacer conversion de archivos para poder generarlo en cualquier formato

Rafael Antonio Chica Pretelt

student•

Excelente!

Usuario anónimo

user•

Excelente, Gracias

Usuario anónimo

user•

He aprendido MUCHO, muchas gracias

Entrenamiento de clusterización en Watson Studio

Aprende a usar Manejo de Lenguaje Natural con Watson

Bases para el curso

Introducción de Watson

Configuración del entorno de trabajo

Instalar cURL en Windows

Arquitectura REST

Aprende el manejo del lenguaje natural con Watson

Uso de Watson Personality Insights via CURL

Uso de Watson Personality Insights via SDK

Watson Natural Language Classifier

Watson Natural Language Understanding

Discovery

Introducción a Watson Knowledge Studio

Entrenamiento de Watson Knowledge Studio

Introducción a Watson Assistant

Implementación de Watson Assistant

Funciones en Javascript

Watson Speech to Text

Watson Text to Speech

Watson Voice Agent

Watson Studio: Ciencia de Datos y Más

Introducción a Machine Learning y Watson Studio

Entrenamiento de modelo en Watson Studio

Entrenamiento de clusterización en Watson Studio

Reconocimiento Visual

Integración

Functions + Cloudant

Exposición de funciones a través de una API

Proyecto final

Conclusiones