Curso Profesional de Computer Vision con TensorFlow
Clase 20 / 33
Usando colab e instalando estas bibliotecas no tuve problemas para correr el modelo
!pip install avro-python3 !pip install tf_slim == 1.1.0 !pip install lvis !pip install opencv-python-headless == 4.5.2.52 !pip install tensorflow == 2.7.0 !pip install tf-models-official == 2.7.0 !pip install tensorflow_io == 0.23.1 !pip install keras == 2.7.0 !pip install tensorboard == 2.7.0 !pip install tensorflow-text == 2.7.0 !pip install tensorflow-gcs-config == 2.7.0
En caso se les presente el siguiente error:
"/content/models/research/object_detection/meta_architectures/deepmac_meta_arch.py", line 28, in <module> import tensorflow_io as tfio # pylint:disable=g-import-not-at-top
ModuleNotFoundError: No module named 'tensorflow_io'
pueden solucionarlo instalando la librería
!pip install tensorflow-io
import tensorflow_io as tfio
ModuleNotFoundError: No module named ‘tensorflow.python.keras.layers.preprocessing’
En mi caso tuve este error y comparto como lo solucioné.
Al momento de realizar el video, al parecer parece que la versión de TF era la 2.7, pero el tiempo pasó y las versiones cambiaron.
en algun momento del video el profesor recomienda instalar:
!pip install tf-models-official==2.7.0
y tambíen hay que clonar el respositorio de GitHub de ese mismo paquete con el siguiente comando que proveee el profesor:
!git clone --quiet https://github.com/tensorflow/models.git
El problema es que este segundo comando, al no tener especificado el TAG de git, instala la última versión, la 2.8 y ahí hay una incompatibilidad de versiones. El primer comando instala la versión 2.7 y el segundo la versión 2.8
Para solucionarlos yo ejecute el comando !pip install tf-models-official sin la versión
Si sale el error:
AttributeError: 'MirroredStrategy' object has no attribute 'experimental_run_v2'
Pueden ir al archivo /content/models/research/object_detection/model_main_tf2.py y cambiar la función:
strategy.experimental_run_v2(
_dummy_computation_fn, args=(
features,
labels,
))
por:
strategy.run(
_dummy_computation_fn, args=(
features,
labels,
))
Este error sale, porque la función ya no es experimental.
logre arregla el problema de versiones 2/12/22
avro-python3 apache-beam pillow lxml matplotlib Cython contextlib2 tf-slim==1.1.0 six pycocotools lvis scipy pandas tf-models-official==2.7.0 tensorflow_io==0.23.1 keras==2.7.0
!pip install -r requeriments.txt
listo !
les va mandar un warning que reinicien el entorno pues lo hacen y vuenve a ejecutar el comando !pip install -r requeriments.txt
y listo ya puedes seguir con la clase
links que ayudaron estuve estancado 1 dia completo espero ahorrales time a ustedes .
es un dolor de cabeza, las versiones se actualizan y dejan de ser compatibles, algunas. Pero logre llegar hasta aqui con mi propio modelo
Puede surgir el siguiente error a la hora de ejecutar el entrenamiento
ImportError: cannot import name '_registerMatType' from 'cv2.cv2' (/usr/local/lib/python3.7/dist-packages/cv2/cv2.cpython-37m-x86_64-linux-gnu.so)
pude solucionarlo instalando una versión de opencv-python-headless anterior con el siguiente comando
!pip install opencv-python-headless==4.1.2.30
versiones superiores al parecer tienen conflicto.
Estoy teniendo muchos problemas con respecto a las librerías, me marca muchos conflictos por las versiones y al final no pude entrenar el modelo. Esto me pasa incluso tratando de correr el archivo de clase. Alguien me podría orientar con la solución a este problema?
Antes de empezar el entrenamiento instalen estas librerías si tienen errores
!pip install opencv-python-headless==4.1.2.30
!pip install tensorflow-io
Entrené un modelo para identificar un auto en la posición X (una sola clase) con un dataset custom que me conseguí. En el dataset todas las imágenes tienen la misma orientación, está bien curado, con 255 imágenes.
No le hice ningún data augmentation ya que las imágenes siempre serán tomadas desde la misma posición, en colores.
Las gráficas de pérdidas en el tensorboard son una joya, como se puede ver. Sin embargo, cuando voy a inferir de una colección de distintas posiciones de autos, me detecta perfectamente la posición X, pero también las posiciones A, B, que no está bien.
El problema a resolver sería: Dada una colección de imágenes de un auto en distintas posiciones, identificar solo las imágenes en posición X
El modelo que estoy usando es el mismo que el de la clase.
https://tensorboard.dev/experiment/HJytqnd9R46QRTrAv5WZNg/
No se cómo mejorar mi modelo, agradecería cualquier guía, consejo, opciones a considerar.
NOE GIOVANNI ALBA SUAREZ
Henry Mendiburu Díaz
ivan josue ortiz alban
Raul Perez-Alejo Neyra
JAVIER SANTIAGO SALGADO
Raul Perez-Alejo Neyra
Daniel Alejandro Lopez
Nathalie Cabrera Chavarro
FELIX DAVID CORDOVA GARCIA
ivan josue ortiz alban
CRISTHIAN YUCRA
Miguel Zabala
ivan josue ortiz alban
Daniel Díaz
Oscar Real
Adonai Vera
Profesor
Amaru Escalante
Raul Perez-Alejo Neyra
Adonai Vera
ProfesorRaul Perez-Alejo Neyra
Christian Ricardo Conchari Cabrera
Adonai Vera
ProfesorChristian Ricardo Conchari Cabrera
Godofredo Quea
Adonai Vera
ProfesorGodofredo Quea
Javier Camilo Díaz Salinas
Jean Pierre Brik López Vargas
Jose Manuel Rivas Márquez
Jerald Jeanphierre Espinoza Flores
Jeison Steven Barrera Olarte
Mariel García Herrera
Adonai Vera
Profesor
Federico Montero
Federico Montero
Germán Contreras Améstica
Adonai Vera
Profesor
Eduardo Reyes
Usando colab e instalando estas bibliotecas no tuve problemas para correr el modelo
!pip install avro-python3 !pip install tf_slim == 1.1.0 !pip install lvis !pip install opencv-python-headless == 4.5.2.52 !pip install tensorflow == 2.7.0 !pip install tf-models-official == 2.7.0 !pip install tensorflow_io == 0.23.1 !pip install keras == 2.7.0 !pip install tensorboard == 2.7.0 !pip install tensorflow-text == 2.7.0 !pip install tensorflow-gcs-config == 2.7.0
En caso se les presente el siguiente error:
"/content/models/research/object_detection/meta_architectures/deepmac_meta_arch.py", line 28, in <module> import tensorflow_io as tfio # pylint:disable=g-import-not-at-top ModuleNotFoundError: No module named 'tensorflow_io'
pueden solucionarlo instalando la librería
!pip install tensorflow-io import tensorflow_io as tfio
TENSORFLOW 2.6 Y KERAS 2.6 tuve que bajarle porque con 2.8 ya no va ya no sirven las versiones ni en colab pide cambiar el cuDNN. ayuda
ModuleNotFoundError: No module named ‘tensorflow.python.keras.layers.preprocessing’
En mi caso tuve este error y comparto como lo solucioné.
Al momento de realizar el video, al parecer parece que la versión de TF era la 2.7, pero el tiempo pasó y las versiones cambiaron.
en algun momento del video el profesor recomienda instalar:
!pip install tf-models-official==2.7.0
y tambíen hay que clonar el respositorio de GitHub de ese mismo paquete con el siguiente comando que proveee el profesor:
!git clone --quiet https://github.com/tensorflow/models.git
El problema es que este segundo comando, al no tener especificado el TAG de git, instala la última versión, la 2.8 y ahí hay una incompatibilidad de versiones. El primer comando instala la versión 2.7 y el segundo la versión 2.8
Para solucionarlos yo ejecute el comando !pip install tf-models-official sin la versión
Gracias, llevo dándole a este error ya bastante tiempo
Ten en cuenta que cada vez que se hace un git clone se trae la rama master del repositorio que no es la estable y puede tener un número de versión distinto.
Sin embargo cuando lo haces por pip especificando la versión si te traerá esa en particular.
Si sale el error:
AttributeError: 'MirroredStrategy' object has no attribute 'experimental_run_v2'
Pueden ir al archivo /content/models/research/object_detection/model_main_tf2.py y cambiar la función:
strategy.experimental_run_v2( _dummy_computation_fn, args=( features, labels, ))
por:
strategy.run( _dummy_computation_fn, args=( features, labels, ))
Este error sale, porque la función ya no es experimental.
Mira que no encuentro esa función en el archivo que mencionas en la dirección, podrías porfa decirme la línea donde está la función en el archivo /content/models/research/object_detection/model_main_tf2.py
Gracias
Actualmente el error debe corregirse en el archivo de nombre model_lib_v2.py, en ese hay 2 líneas de código a las que se les debe de borrar el experimental, están aprox por las líneas 339 y 550
logre arregla el problema de versiones 2/12/22
!pip install tf_slim
!pip install tf-models-official
!pip install lvis
Required for apache-beam with PY3
avro-python3 apache-beam pillow lxml matplotlib Cython contextlib2 tf-slim==1.1.0 six pycocotools lvis scipy pandas tf-models-official==2.7.0 tensorflow_io==0.23.1 keras==2.7.0
!pip install -r requeriments.txt
listo !
les va mandar un warning que reinicien el entorno pues lo hacen y vuenve a ejecutar el comando !pip install -r requeriments.txt
y listo ya puedes seguir con la clase
links que ayudaron estuve estancado 1 dia completo espero ahorrales time a ustedes .
es un dolor de cabeza, las versiones se actualizan y dejan de ser compatibles, algunas. Pero logre llegar hasta aqui con mi propio modelo
Puede surgir el siguiente error a la hora de ejecutar el entrenamiento
ImportError: cannot import name '_registerMatType' from 'cv2.cv2' (/usr/local/lib/python3.7/dist-packages/cv2/cv2.cpython-37m-x86_64-linux-gnu.so)
pude solucionarlo instalando una versión de opencv-python-headless anterior con el siguiente comando
!pip install opencv-python-headless==4.1.2.30
versiones superiores al parecer tienen conflicto.
TENSORFLOW 2.6 Y KERAS 2.6 tuve que bajarle porque con 2.8 ya no va ya no sirven las versiones ni en colab pide cambiar el cuDNN. ayuda
Gracias, me resolviste el problema, ¿Cómo diste con la solución?
Estoy teniendo muchos problemas con respecto a las librerías, me marca muchos conflictos por las versiones y al final no pude entrenar el modelo. Esto me pasa incluso tratando de correr el archivo de clase. Alguien me podría orientar con la solución a este problema?
Hola Oscar como estas? Oscar esto es debido a la nueva actualización de tensorflow, la forma de solucionarlo es muy sencilla y la detallamos en este foro que creamos hace un par de semanas. Te lo dejo por aqui Revisalo y me cuentas si todo sale bien, en caso de que no, confirmame el error y te ayudo a solucionarlo.
Saludos
Antes de empezar el entrenamiento instalen estas librerías si tienen errores
!pip install opencv-python-headless==4.1.2.30 !pip install tensorflow-io
Entrené un modelo para identificar un auto en la posición X (una sola clase) con un dataset custom que me conseguí. En el dataset todas las imágenes tienen la misma orientación, está bien curado, con 255 imágenes.
No le hice ningún data augmentation ya que las imágenes siempre serán tomadas desde la misma posición, en colores.
Las gráficas de pérdidas en el tensorboard son una joya, como se puede ver. Sin embargo, cuando voy a inferir de una colección de distintas posiciones de autos, me detecta perfectamente la posición X, pero también las posiciones A, B, que no está bien.
El problema a resolver sería: Dada una colección de imágenes de un auto en distintas posiciones, identificar solo las imágenes en posición X
El modelo que estoy usando es el mismo que el de la clase.
https://tensorboard.dev/experiment/HJytqnd9R46QRTrAv5WZNg/
No se cómo mejorar mi modelo, agradecería cualquier guía, consejo, opciones a considerar.
Hola Raul como estas? Raul dudas que tengo para resolver tu pregunta, a que te refieres con las posiciones A y B?
Me gusta ver las métricas de tu modelo, gracias por compartirlas, permite demostrar que hiciste un muy buen entrenamiento. Lo que te recomendaría seria aplicar data augmentation para que tu modelo logre generalizar en cualquiera de las posiciones de autos que aparezcan en la imagen, y luego que detectas y obtienes el bounding box, aplicar un filtro para solo mostrar las imágenes en la posición X. Me gustaría contribuirte con este proyecto, si me puedes dar más documentación puedo revisarlo a detalle .
Saludos
Gracias por la respuesta Adonaí, muy agradecido por su ayuda.
¨posiciones A y B¨: Me refiero a Frente, Izquierda, Atrás, Delante, 45 grados, etc
Las imágenes del dataset(250 imágenes) con el que entrené son de autos vistos desde atrás solamente, perfectamente vistos desde atrás con cero ángulo de inclinación. Un solo label que es ¨rear¨
Lo que quiero lograr es un nivel decente de precision, dado una colección de imágenes de un mismo auto en distintas posiciones, frente, izquierda, derecha, atrás, entre otras 10, detectar solo la imagen tomada desde la parte trasera y con una buena alineación.
Mi objetivo final es decir: ¨De este grupo de imágenes SI HAY una imagen tomada desde la parte posterior del auto¨ o lo contrario cuando no se detecta ninguna.
Con relación al Data Augmentation(DA), no le puse ninguna ya que solo quiero capturar imágenes con alineación trasera por lo tanto un ¨horizontal flip¨ creo que no tienen sentido para mi problema. Ahora pensando un poco capaz y algún filtro de DA que haga Zoom pudiera funcionar, Un ¨Vertical Flip¨, no creo, porque los autos son simétricos en su parte trasera. Tampoco le he puesto DA con relación a los colores de la imágen.
Le añadí Dropout de un 20% que no viene por defecto activado.
Con relación a los filtros, solo estoy detectando los que tienen más de un 95% de score
Estoy entrenando con Mobilnet_V2_640x640. (luego entrenaré con otros modelos para comparar) Mi imágenes son de 1200x675, train, val y test, todas
En el enlace hay 4 imágenes, solo la de rear es la que quiero detectar, pero como se puede ver, otras posiciones las detecta de forma incorrecta con > 95%. Agregué el fichero de configuración que estoy usando. https://drive.google.com/drive/folders/1RrDKeJ-AM1rEZBnbGIa5KBJG1f74SQFv
cualquier consejo será bienvenido, yo seguiré experimentando con otras opciones.
Tengo el siguiente error:
Traceback (most recent call last): File "/content/models/research/object_detection/model_main_tf2.py", line 115, in <module> tf.compat.v1.app.run() File "/usr/local/lib/python3.7/dist-packages/tensorflow/python/platform/app.py", line 36, in run _run(main=main, argv=argv, flags_parser=_parse_flags_tolerate_undef) File "/usr/local/lib/python3.7/dist-packages/absl/app.py", line 312, in run _run_main(main, args) File "/usr/local/lib/python3.7/dist-packages/absl/app.py", line 258, in _run_main sys.exit(main(argv)) File "/content/models/research/object_detection/model_main_tf2.py", line 112, in main record_summaries=FLAGS.record_summaries) File "/content/models/research/object_detection/model_lib_v2.py", line 685, in train_loop losses_dict = _dist_train_step(train_input_iter) File "/usr/local/lib/python3.7/dist-packages/tensorflow/python/util/traceback_utils.py", line 153, in error_handler raise e.with_traceback(filtered_tb) from None File "/usr/local/lib/python3.7/dist-packages/tensorflow/python/eager/execute.py", line 55, in quick_execute inputs, attrs, num_outputs) tensorflow.python.framework.errors_impl.InvalidArgumentError: Graph execution error: 2 root error(s) found. (0) INVALID_ARGUMENT: assertion failed: [[0.6][0.668852448][0.652459]] [[0.334426194][0.724590123][0.990163922]] [[{{node Assert/AssertGuard/Assert}}]] [[MultiDeviceIteratorGetNextFromShard]] [[RemoteCall]] [[while/body/_1/IteratorGetNext]] [[while/body/_1/train_input_images/write_summary/summary_cond/then/_2684/train_input_images/write_summary/ReadVariableOp/_44]] (1) INVALID_ARGUMENT: assertion failed: [[0.6][0.668852448][0.652459]] [[0.334426194][0.724590123][0.990163922]] [[{{node Assert/AssertGuard/Assert}}]] [[MultiDeviceIteratorGetNextFromShard]] [[RemoteCall]] [[while/body/_1/IteratorGetNext]] 0 successful operations. 0 derived errors ignored. [Op:__inference__dist_train_step_51268]
Estoy estancado y no encuentro una solución, ya probé con otros archivos .record y el problema persiste.
Hola Christian como estas? Parece que es por la conversión del archivo a Tfrecord, podrias probar con el archivo de tfrecord que te dejamos en el curso para revisar que si sea ese error, cuando lo pruebes con ese archivo deberia funcionar, sino funciona puede ser un error de librerias.
Quedo atento a tu confirmación y a seguir revisando tu error. Saludos
¡Hola Adonai! Ya logre corregir el problema :D, utilice el notebook de los recursos de la clase, junto a los archivos .record de los recursos de las clases anteriores. También modifiqué la siguiente línea, basándome en uno de los aportes de los compañeros.
!pip install tf-models-official
El TensorBoard generado es el siguiente TensorBoard Chris, Gracias, ahora a continuar con el curso 🦾!
a quien le funciona con las ultimas versiones actuales , help please
Hola Godofredo Quea, Que error te sale? si me lo compartes te puedo dar una mano para solucionarlo
Me cuentas, saludos
el error desde la fase de entrenamiento pues no logro solucionar y ahy me estanque. y este es el error . Reading package lists... Done E: Unable to locate package python-pil E: Unable to locate package python-lxml /content/models/research 2023-09-28 03:56:18.987337: I tensorflow/core/platform/cpu_feature_guard.cc:182] This TensorFlow binary is optimized to use available CPU instructions in performance-critical operations. To enable the following instructions: AVX2 FMA, in other operations, rebuild TensorFlow with the appropriate compiler flags. 2023-09-28 03:56:19.810309: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Could not find TensorRT-
Este es el link de mi modelo: here!
!tensorboard dev upload --logdir "/content/ssd_mobilenet" --name "Proyecto clasificación y detección de objetos" --description "Resultados de entrenamiento usando ssd_mobilenet" --one_shot
Aca el link del tensorboard
Imposible ejecutar el modulo hoy dia ,
tengo el siguiente error: AttributeError: module 'inspect' has no attribute 'ArgSpec'
Inventigando , es por uqe el python que usa colab que es python 3.12 , con las librerias que usa tensorFlow ya dejaron de funcionar,
El tema es que desde colab no he podido bajar de version de python para hacer el curso... ayudaa
Estoy teniendo problemas para visualizar Tensorboard, ¿Hay algún cambio respecto al código del curso?
Hola Mariel Fernanda, TensorFlow constantemente esta creando versiones con nuevas funcionalidades y esto genera algunos cambios en código. Para ejecutar tensorboard unicamente debes indicar la dirección en donde almacenaste los logs.
logdir = "/content/ssd_mobilenet" %tensorboard — logdir /content/logs
Una de las razones por la cual puede que no funcione es que este fallando el entrenamiento, revisa la carpeta "/content/ssd_mobilenet" y asegurate que los logs y el resultado del entrenamiento se esta almacenando.
Saludos
Saludos,
Buenos dias, me sale el siguiente error:
Instructions for updating:
Use tf.cast instead.
Traceback (most recent call last):
File "/content/models/research/object_detection/model_main_tf2.py", line 115, in <module>
tf.compat.v1.app.run()
File "/usr/local/lib/python3.7/dist-packages/tensorflow/python/platform/app.py", line 40, in run
_run(main=main, argv=argv, flags_parser=_parse_flags_tolerate_undef)
File "/usr/local/lib/python3.7/dist-packages/absl/app.py", line 303, in run
_run_main(main, args)
File "/usr/local/lib/python3.7/dist-packages/absl/app.py", line 251, in _run_main
sys.exit(main(argv))
File "/content/models/research/object_detection/model_main_tf2.py", line 112, in main
record_summaries=FLAGS.record_summaries)
File "/content/models/research/object_detection/model_lib_v2.py", line 609, in train_loop
train_input, unpad_groundtruth_tensors)
File "/content/models/research/object_detection/model_lib_v2.py", line 400, in load_fine_tune_checkpoint
_ensure_model_is_built(model, input_dataset, unpad_groundtruth_tensors)
File "/content/models/research/object_detection/model_lib_v2.py", line 160, in _ensure_model_is_built
features, labels = iter(input_dataset).next()
File "/usr/local/lib/python3.7/dist-packages/tensorflow/python/distribute/input_lib.py", line 679, in next
return self.next()
File "/usr/local/lib/python3.7/dist-packages/tensorflow/python/distribute/input_lib.py", line 683, in next
return self.get_next()
File "/usr/local/lib/python3.7/dist-packages/tensorflow/python/distribute/input_lib.py", line 740, in get_next
return self._get_next_no_partial_batch_handling(name)
File "/usr/local/lib/python3.7/dist-packages/tensorflow/python/distribute/input_lib.py", line 772, in _get_next_no_partial_batch_handling
replicas.extend(self._iterators[i].get_next_as_list(new_name))
File "/usr/local/lib/python3.7/dist-packages/tensorflow/python/distribute/input_lib.py", line 2021, in get_next_as_list
return self._format_data_list_with_options(self._iterator.get_next())
File "/usr/local/lib/python3.7/dist-packages/tensorflow/python/data/ops/multi_device_iterator_ops.py", line 584, in get_next
result.append(self._device_iterators[i].get_next())
File "/usr/local/lib/python3.7/dist-packages/tensorflow/python/data/ops/iterator_ops.py", line 853, in get_next
return self._next_internal()
File "/usr/local/lib/python3.7/dist-packages/tensorflow/python/data/ops/iterator_ops.py", line 786, in _next_internal
output_shapes=self._flat_output_shapes)
File "/usr/local/lib/python3.7/dist-packages/tensorflow/python/ops/gen_dataset_ops.py", line 2845, in iterator_get_next
_ops.raise_from_not_ok_status(e, name)
File "/usr/local/lib/python3.7/dist-packages/tensorflow/python/framework/ops.py", line 7107, in raise_from_not_ok_status
raise core._status_to_exception(e) from None # pylint: disable=protected-access
tensorflow.python.framework.errors_impl.DataLossError: corrupted record at 12
[[{{node MultiDeviceIteratorGetNextFromShard}}]]
[[RemoteCall]] [Op:IteratorGetNext]
Segun internet mi .record esta con errores, por eso el error. Estoy creando un proyecto diferente a este por creo que el error puede ser real. Voy a crear los .record de nuevo y volver a etiquetar todo de nuevo. Ojala tenga suerte
Tengo el siguiente error al ejecutar el entrenamiento: TypeError: a bytes-like object is required, not 'str'
Hola Germán cómo estás ? Podrías darnos un poco más de contexto, pudiese ser agregar la parte del código en donde te genera el error. Quedo atento para ayudar, saludos
Tengo el mismo error, la consola no arroja directamente el bloque de código pero parece estár relacionado a la lectura de los documentos que se llaman:
labels = [{'name':'carro', 'id': 1}, {'name': 'motos', 'id': 2}] with open("label_map.pbtxt", "w") as f: for label in labels: f.write('item { \n') f.write('\tname:\'{}\'\n'.format(label['name'])) f.write('\tid:{}\n'.format(label['id'])) f.write('}\n')
# Creamos una variable proto_str para poder modificar las variables del archivo pbtxt pipeline_config = pipeline_pb2.TrainEvalPipelineConfig() with tf.io.gfile.GFile(target_config, "r") as f: proto_str = f.read() text_format.Merge(proto_str, pipeline_config)
en uno de esos dos bloques de código