Hay un pequeño error en el codigo linea 32:
donde dice:
document.getElementById('console2:' + classes[result2.label]);
deberia decir:
document.getElementById('console2').innerHTML = "Console2 prediction: " + classes[result2.label];
¿Qué es la transferencia de conocimiento en modelos de clasificación de imágenes?
La transferencia de conocimiento es una técnica innovadora en el ámbito del aprendizaje automático que aprovecha el uso de dos modelos distintos para mejorar la precisión de las predicciones. Este enfoque implica utilizar un modelo preentrenado para transferir parte de su conocimiento a un nuevo modelo que puede formular conclusiones basadas en nuevos parámetros.
¿Cómo integrar un componente de cámara con TensorFlow?
Para capturar imágenes en tiempo real, podemos utilizar la biblioteca TensorFlow JS, que permite acceder a la cámara de la computadora y utilizar sus imágenes para seguir entrenando modelos de machine learning.
Definición del componente de cámara: Se debe crear un elemento de video HTML que capturará las imágenes. Este elemento debe tener un identificador único y dimensiones adecuadas.
<video id="webcam" width="224" height="224" autoplay></video>
Inicialización de la cámara: Usando JavaScript, se inicializa el componente web para que comience a capturar imágenes:
const webcamElement = document.getElementById('webcam'); const webcam = await tf.data.webcam(webcamElement);
Flujo de captura de imágenes: Para mantener un flujo continuo de captura de imágenes, se implementa un bucle asíncrono en el que se captura el contenido de la cámara y se alimenta al modelo de manera regular.
¿Cómo se realiza la predicción con TensorFlow y mejora con KNN?
La predicción en tiempo real es crucial para aplicaciones inmediatas de aprendizaje automático. Aquí ingresan aspectos fundamentales como la creación de clasificadores KNN (K-Nearest Neighbors Classifier) y el proceso de entrenamiento en tiempo real.
Captura de imágenes en tiempo real: Se captura la imagen actual del elemento webcam para pasársela al modelo.
const img = await webcam.capture();
Predicción con el modelo inicial: El primer modelo predice la clase de la imagen capturada.
Entrenamiento del KNN: Posterior a una primera inferencia, el punto fuerte es entrenar al segundo clasificador con entradas específicas:
knnClassifier.addExample(img, classIndex);
Implementación de predicciones en el HTML: Las predicciones se presentan con elementos HTML y console.logs para dar retroalimentación visual rápida e interactiva.
const prediction = await knnClassifier.predictClass(img); document.getElementById('console').innerText = `Predicción: ${prediction.label}`;
Manejo de memoria y eficiencia: Es vital eliminar las imágenes de la memoria para no saturar el navegador.
img.dispose();
¿Cómo mejorar la personalización de los modelos con botones interactivos?
El uso de botones HTML facilita la personalización y entrenamiento continuo del modelo a partir de la interacción del usuario, incrementando su capacidad de adaptarse a necesidades específicas.
Definición de botones en HTML: Declara botones que representen diferentes categorías a entrenar para el modelo:
<button onclick="addExample(0)">Gato</button> <button onclick="addExample(1)">Dinosaurio</button>
Funcionalidad de cada botón: Al presionar un botón, se ejecuta una función que captura la imagen actual y la asocia con una clase específica.
function addExample(classId) { const img = await webcam.capture(); knnClassifier.addExample(img, classId); img.dispose(); }
Presentación de resultados: A través de la interfaz gráfica, los usuarios reciben información instantánea sobre las predicciones correctas o la necesidad de más entrenamiento en ciertos escenarios.
Este enfoque educa a los usuarios en cómo integrar y utilizar avanzadas capacidades de aprendizaje automático en proyectos web. Recomendamos realizar pruebas con múltiples ejemplos para observar cómo el modelo facilita intrigantes aplicaciones interactivas y motivadoras.
La transferencia de conocimiento es una técnica innovadora en el ámbito del aprendizaje automático que aprovecha el uso de dos modelos distintos para mejorar la precisión de las predicciones. Este enfoque implica utilizar un modelo preentrenado para transferir parte de su conocimiento a un nuevo modelo que puede formular conclusiones basadas en nuevos parámetros.
Para capturar imágenes en tiempo real, podemos utilizar la biblioteca TensorFlow JS, que permite acceder a la cámara de la computadora y utilizar sus imágenes para seguir entrenando modelos de machine learning.
Definición del componente de cámara: Se debe crear un elemento de video HTML que capturará las imágenes. Este elemento debe tener un identificador único y dimensiones adecuadas.
<video id="webcam" width="224" height="224" autoplay></video>
Inicialización de la cámara: Usando JavaScript, se inicializa el componente web para que comience a capturar imágenes:
const webcamElement = document.getElementById('webcam');
const webcam = await tf.data.webcam(webcamElement);
Flujo de captura de imágenes: Para mantener un flujo continuo de captura de imágenes, se implementa un bucle asíncrono en el que se captura el contenido de la cámara y se alimenta al modelo de manera regular.
La predicción en tiempo real es crucial para aplicaciones inmediatas de aprendizaje automático. Aquí ingresan aspectos fundamentales como la creación de clasificadores KNN (K-Nearest Neighbors Classifier) y el proceso de entrenamiento en tiempo real.
Captura de imágenes en tiempo real: Se captura la imagen actual del elemento webcam para pasársela al modelo.
const img = await webcam.capture();
Predicción con el modelo inicial: El primer modelo predice la clase de la imagen capturada.
Entrenamiento del KNN: Posterior a una primera inferencia, el punto fuerte es entrenar al segundo clasificador con entradas específicas:
knnClassifier.addExample(img, classIndex);
Implementación de predicciones en el HTML: Las predicciones se presentan con elementos HTML y console.logs para dar retroalimentación visual rápida e interactiva.
const prediction = await knnClassifier.predictClass(img);
document.getElementById('console').innerText = `Predicción: ${prediction.label}`;
Manejo de memoria y eficiencia: Es vital eliminar las imágenes de la memoria para no saturar el navegador.
img.dispose();
El uso de botones HTML facilita la personalización y entrenamiento continuo del modelo a partir de la interacción del usuario, incrementando su capacidad de adaptarse a necesidades específicas.
Definición de botones en HTML: Declara botones que representen diferentes categorías a entrenar para el modelo:
<button onclick="addExample(0)">Gato</button>
<button onclick="addExample(1)">Dinosaurio</button>
Funcionalidad de cada botón: Al presionar un botón, se ejecuta una función que captura la imagen actual y la asocia con una clase específica.
function addExample(classId) {
const img = await webcam.capture();
knnClassifier.addExample(img, classId);
img.dispose();
}
Presentación de resultados: A través de la interfaz gráfica, los usuarios reciben información instantánea sobre las predicciones correctas o la necesidad de más entrenamiento en ciertos escenarios.
Este enfoque educa a los usuarios en cómo integrar y utilizar avanzadas capacidades de aprendizaje automático en proyectos web. Recomendamos realizar pruebas con múltiples ejemplos para observar cómo el modelo facilita intrigantes aplicaciones interactivas y motivadoras.
Hay un pequeño error en el codigo linea 32:
donde dice:
document.getElementById('console2:' + classes[result2.label]);
deberia decir:
document.getElementById('console2').innerHTML = "Console2 prediction: " + classes[result2.label];
Hola, tengo una pregunta: Al aplicar el KNN para agregar ejemplos a cada etiqueta podemos decir que el modelo esta aprendiendo, podemos guadar o descargar el modelo ( el knn classifier ) para volver a usarlo ya con sus previos datos asi como en las sesiones anteriores ?
En mi caso muy particular, obtenia un error del tipo Uncaught TypeError: Cannot read property ‘value’ of undefined
Lo solucione con la documentación de https-server, básicamente Chrome no me dejaba activar la cámara, basta con utilizar https y claro revisar los permisos de tu equipo y antivirus (en mi caso por default tengo webcam y micrófono bajo 3 metros de concreto virtual)
https://www.npmjs.com/package/http-server
Básicamente crea un certificado y un archivo cert.pem
openssl req -newkey rsa:2048 -new -nodes -x509 -days 3650 -keyout key.pem -out cert.pem
Iniciar el server
npx http-server -S -C cert.pem
Así como pegamos el knn al final, también podríamos pegar cualquier otro modelo?
Muchas gracias, me gustó mucho esta clase!
Dónde puedo encontrar el repo de todo el código de este video?
Este código debería actualizarse conforme las versiones de las librerías van cambiando
Si alguien tiene dudas de esta clase: La red que teníamos hacía unas predicciones precisas, pero no exactas. Lo que hicimos fue traducir sus predicciones a lo que necesitábamos. Lo que ella pensaba que era un barco, le dijimos que era un dinosaurio, lo que ella pensaba que era un océano, le dijimos que era un reloj, y así sucesivamente. Al final, cuando a la red le daban ganas de decir que era un barco, se acordaba de nuestras enseñanzas, y decía: DINOSAURIO!!!
Buen día. Me gustaría entender la utilidad de la transferencia de conocimiento en el ejercicio de esta clase. Si no se hubiera hecho la transferencia de conocimiento igual el clasificador KNN que construimos seguiría arrojando los mismos resultados. ¿Cuál sería una forma de aprovechar la clasificación que obtenemos antes con mobilenet? Gracias.
¿Cuáles fueron sus proyectos favoritos?
Hola, una ayuda, ¿como puedo utilizar la camara de mi celular para capturar vídeo para la predicción? En mi caso estaba planeando hacer un pequeño proyecto response , sin embargo me encuentro con el problema de que el mismo código no funciona desde un navegador de celular.