El enlace para cargar los datos:
!wget --no-check-certificate https://storage.googleapis.com/platzi-tf2/databasesLoadData.zip \
-O /tmp/databasesLoadData.zip
Cómo utilizar TensorFlow 2.0 con Python
Redes neuronales con TensorFlow
Introducción a TensorFlow 2.0
Manejo y preprocesamiento de datos para redes neuronales
Uso de data pipelines
Cómo cargar bases de datos JSON
Cargar bases de datos CSV y BASE 64
Preprocesamiento y limpieza de datos
Keras datasets
Datasets generators
Aprende a buscar bases de datos para deep learning
Cómo distribuir los datos
Crear la red neural, definir capas, compilar, entrenar, evaluar y predicciones
Optimización de precisión de modelos
Métodos de regularización: overfitting y underfitting
Recomendaciones prácticas para ajustar un modelo
Métricas para medir la eficiencia de un modelo: callback
Monitoreo del entrenamiento en tiempo real: early stopping y patience
KerasTuner: construyendo el modelo
KerasTuner: buscando la mejor configuración para tu modelo
Almacenamiento y carga de modelos
Almacenamiento y carga de modelos: pesos y arquitectura
Criterios para almacenar los modelos
Fundamentos de aprendizaje por transferencia
Introducción al aprendizaje por transferencia
Cuándo utilizar aprendizaje por transferencia
Carga de sistemas pre-entrenados en Keras
API funcional de Keras
Uso sistemas pre-entrenados de TensorFlow Hub
Resultados de entrenamiento
Introducción a variables relevantes del TensorBoard
Análisis y publicación de resultados del entrenamiento
Introducción al despliegue de modelos en producción
Siguientes pasos con deep learning
Aportes 5
Preguntas 2
El enlace para cargar los datos:
!wget --no-check-certificate https://storage.googleapis.com/platzi-tf2/databasesLoadData.zip \
-O /tmp/databasesLoadData.zip
Me pareció importante entender esta parte en cada línea.
Muy enganchado con el curso. Ya tuve algunas clases con Adonai en otros programas de aprendizaje, avanza a buen ritmo sin pasar por alto lo importante.
images = []
# leemos el valor de content y el label de cada línea de la lista que creamos
for data in data_json:
# creamos una petición accediendo con request para poder ver el contenido de ellas de GCP
response = requests.get(data['content'])
# convertimos las imagenes en array
# abrimos la imagen con PIL
# convertimos la imagen en un BytesIO ya que está decodificada
img = np.asarray(Image.open(BytesIO(response.content)))
# guardamos la imagen en BytesIO y el labol en la lista images
images.append([img, data['label']])
Según la documentación el modo U (Universal Newlines) está en desuso.
Ósea que es mejor utilizar solo “r”
zip_ref = zipfile.ZipFile(local_zip, ‘r’)
el codigo muestra error en esta linea
BadZipFile: File is not a zip file
¿QUÉ VIMOS EN ÉSTA CLASE?
Descargar la base de datos comprimirda y descomprimirla luego para cargarla a Google Cloud Platform (GCP) y poder acceder mediante una URL
El primer paso es importar dos librerías de python
import os # para trabajar con sistemas operativos
import zipfile # para manipular comprimidos
Después en la terminal de tu sistema operativo ejecuta !wget --no-check-certification o curl -k que nos permite poder descargar sin ningún requerimiento ni errores de SSL
# PARA LINUX
!wget --no-check-certificate https://storage.googleapis.com/platzi-tf2/databasesLoadData.zip -O /tmp/databasesLoadData.zip
# PARA WINDOWS
curl -k -o /c/Users/admin/Downloads/databasesLoadData.zip https://storage.googleapis.com/platzi-tf2/databasesLoadData.zip
# Esto es para descargar la base de datos del proyecto en un .zip
Luego de de descargarla podemos acceder a ella con python y descomprimirla si estás trabajando en Google Colab, si en cambio estás en tu local puedes omitir este paso:
zip_path = "/tmp/databasesLoadData.zip" # "C:/Users/admin/Downloads" for windows
zip_ref = zipfile.ZipFile(zip_path, "r") # ZipFile() metodo para ABRIR una instancia del fichero
zip_ref.extractall("/tmp/databasesLoadData.zip") # acceder al método extraerall los archivos y descomprimir
zip_ref.close() # CERRAR la instancia del fichero
Ahora hay que leer la bases de datos:
Leer la base de datos en JSON
# 1
import json
import codecs
import requests
import numpy as np
from PIL import Image
from io import BytesIO
import matplotlib.pyplot as plt
url = "/tmp/databasesLoadData/sign_mnist_json/data.json"
# 2
data_json=[]
with codecs.open(url, 'rU', 'utf8') as js:
# 2.1
for line in js:
data_json.append(json.loads(line)) #deserializamos al añadir
print("{} imágenes encontradas".format(len(data_json)))
# 3
images = []
for data in data_json:
response = requests.get(data["content"]) #secuencia de bytes
response = BytesIO(response.content) # decodifica a hexadecimal
img = np.asarray(Image.open(response)) #convierte a array
images.append([img, data["label"]])
plt.imshow(images[0][0])
# 4
print(images[0][1])
¿Quieres ver más aportes, preguntas y respuestas de la comunidad? Crea una cuenta o inicia sesión.