Carga de Bases de Datos JSON desde GCP en Google Colab

Me pareció importante entender esta parte en cada línea.

Muy enganchado con el curso. Ya tuve algunas clases con Adonai en otros programas de aprendizaje, avanza a buen ritmo sin pasar por alto lo importante.

images = []
# leemos el valor de content y el label de cada línea de la lista que creamos 
for data in data_json:
  # creamos una petición accediendo con request para poder ver el contenido de ellas de GCP
  response = requests.get(data['content']) 
  # convertimos las imagenes en array
  # abrimos la imagen con PIL 
  # convertimos la imagen en un BytesIO ya que está decodificada
  img = np.asarray(Image.open(BytesIO(response.content)))
  # guardamos la imagen en BytesIO y el labol en la lista images
  images.append([img, data['label']])

¿QUÉ VIMOS EN ÉSTA CLASE?

Descargar la base de datos comprimirda y descomprimirla luego para cargarla a Google Cloud Platform (GCP) y poder acceder mediante una URL

El primer paso es importar dos librerías de python

import os # para trabajar con sistemas operativos
import zipfile # para manipular comprimidos

Después en la terminal de tu sistema operativo ejecuta !wget --no-check-certification o curl -k que nos permite poder descargar sin ningún requerimiento ni errores de SSL

# PARA LINUX
!wget --no-check-certificate https://storage.googleapis.com/platzi-tf2/databasesLoadData.zip -O /tmp/databasesLoadData.zip
# PARA WINDOWS
curl -k -o /c/Users/admin/Downloads/databasesLoadData.zip https://storage.googleapis.com/platzi-tf2/databasesLoadData.zip
# Esto es para descargar la base de datos del proyecto en un .zip

Luego de de descargarla podemos acceder a ella con python y descomprimirla si estás trabajando en Google Colab, si en cambio estás en tu local puedes omitir este paso:

zip_path = "/tmp/databasesLoadData.zip" # "C:/Users/admin/Downloads" for windows
zip_ref = zipfile.ZipFile(zip_path, "r") # ZipFile() metodo para ABRIR una instancia del fichero
zip_ref.extractall("/tmp/databasesLoadData.zip") # acceder al método extraerall los archivos y descomprimir
zip_ref.close() # CERRAR la instancia del fichero

Ahora hay que leer la bases de datos:

Leer la base de datos en JSON

1. Se debe guardar la ubicación el fichero en una variable
2. Se debe deserializar el archivo JSON (convertir los objetos a cadenas de texto)
   2.1. Debemos abrir el archivo y leer cada linea agregandola como elemento a un array
3. Recorrer cada imágen y su label en el JSON y hacer una petición GET a la imágen
   3.1. Guardar la imágen y el label en cada indice de un array
4. Ver la imágen

# 1
import json
import codecs
import requests
import numpy as np
from PIL import Image
from io import BytesIO
import matplotlib.pyplot as plt

url = "/tmp/databasesLoadData/sign_mnist_json/data.json"

# 2
data_json=[]
with codecs.open(url, 'rU', 'utf8') as js:
    # 2.1
    for line in js:
        data_json.append(json.loads(line)) #deserializamos al añadir

print("{} imágenes encontradas".format(len(data_json)))

# 3
images = []
for data in data_json:
    response = requests.get(data["content"]) #secuencia de bytes
    response = BytesIO(response.content) # decodifica a hexadecimal
    img = np.asarray(Image.open(response)) #convierte a array
    images.append([img, data["label"]])

plt.imshow(images[0][0])
# 4
print(images[0][1])

Según la documentación el modo U (Universal Newlines) está en desuso.
Ósea que es mejor utilizar solo “r”

No esta mas la DB

HTTP request sent, awaiting response… 403 Forbidden

zip_ref = zipfile.ZipFile(local_zip, ‘r’)

el codigo muestra error en esta linea
BadZipFile: File is not a zip file

Las imágenes en el dataset ya están 28x28 por lo que el reshape es redundante

Tuve una duda sobre por qué usar codecs a la hora de abrir el json.

import codecs
with codecs.open(url, "rU", "utf-8") as js:
	pass

En pocas palabras, el módulo codecs se implementó en los tiempos de Python 2 donde el modulo io.open seguía siendo relativamente primitivo y no soportaba algunos tipos de encoding, por lo que esta era una solución, sin embargo, cuando se actualizó a Python 3, el módulo io.open ya soportaba todas las características de codecs al punto que se busca activamente deprecarlo.

Lo anterior implica que usar open() y codecs.open() es virtualmente lo mismo, por lo que, a no ser que nuestro código deba ser retrocompatible, lo mejor es usar open (que es un atajo al módulo io.open).

Este código

data_json = []
with codecs.open(url, "rU", "utf-8") as js:
  for line in js:
    data_json.append(json.loads(line))

print(f'{len(data_json)} imagenes encontradas')

Es lo mismo que este

data_json = []
with open(url, mode = "r", encoding = "utf-8") as js:
  for line in js:
    data_json.append(json.loads(line))

print(f'{len(data_json)} imagenes encontradas')

Si quieren leer un poco más al respecto, pueden ir a este hilo de StackOverflow donde aprendí un poco sobre encoding y la necesidad de estos módulos.

Asegúrate de que tu archivo JSON esté bien formado y no tenga errores.
Ten en cuenta la estructura de tu archivo JSON al elegir el método de carga.
Si necesitas modificar los datos de tu base de datos JSON, puedes hacerlo

Me di cuenta que de esta forma igual sirve, sin tener que hacer el reshape()

plt.imshow(images[0][0])

Estoy haciendo el curso en mi ambiente local por lo que si están usando Windows el ambiente virtual lo cree con conda e instalé Tensorflow como indican en su pagina
La información la descargué usando CMD con el siguiente comando

curl -L -o databasesLoadData.zip https://storage.googleapis.com/platzi-tf2/databasesLoadData.zip

Adicionalmente tuve que instalar librerías que no tenía pero la que mas me dio garra fue PIL pues se instala como

conda install -c anaconda pillow

y se llama normal

from PIL import Image

Los que quieran un método mas simple pueden utilizar lo aprendido en el curso de redes convolucionales, este seria el código:

from skimage import io

images = []
for data in data_json:
images.append([io.imread(data[‘content’]), data[‘label’]])