Cómo cargar bases de datos JSON

El enlace para cargar los datos:

!wget --no-check-certificate https://storage.googleapis.com/platzi-tf2/databasesLoadData.zip \
    -O /tmp/databasesLoadData.zip

Me pareció importante entender esta parte en cada línea.

Muy enganchado con el curso. Ya tuve algunas clases con Adonai en otros programas de aprendizaje, avanza a buen ritmo sin pasar por alto lo importante.

images = []
# leemos el valor de content y el label de cada línea de la lista que creamos 
for data in data_json:
  # creamos una petición accediendo con request para poder ver el contenido de ellas de GCP
  response = requests.get(data['content']) 
  # convertimos las imagenes en array
  # abrimos la imagen con PIL 
  # convertimos la imagen en un BytesIO ya que está decodificada
  img = np.asarray(Image.open(BytesIO(response.content)))
  # guardamos la imagen en BytesIO y el labol en la lista images
  images.append([img, data['label']])

¿QUÉ VIMOS EN ÉSTA CLASE?

Descargar la base de datos comprimirda y descomprimirla luego para cargarla a Google Cloud Platform (GCP) y poder acceder mediante una URL

El primer paso es importar dos librerías de python

import os # para trabajar con sistemas operativos
import zipfile # para manipular comprimidos

Después en la terminal de tu sistema operativo ejecuta !wget --no-check-certification o curl -k que nos permite poder descargar sin ningún requerimiento ni errores de SSL

# PARA LINUX
!wget --no-check-certificate https://storage.googleapis.com/platzi-tf2/databasesLoadData.zip -O /tmp/databasesLoadData.zip
# PARA WINDOWS
curl -k -o /c/Users/admin/Downloads/databasesLoadData.zip https://storage.googleapis.com/platzi-tf2/databasesLoadData.zip
# Esto es para descargar la base de datos del proyecto en un .zip

Luego de de descargarla podemos acceder a ella con python y descomprimirla si estás trabajando en Google Colab, si en cambio estás en tu local puedes omitir este paso:

zip_path = "/tmp/databasesLoadData.zip" # "C:/Users/admin/Downloads" for windows
zip_ref = zipfile.ZipFile(zip_path, "r") # ZipFile() metodo para ABRIR una instancia del fichero
zip_ref.extractall("/tmp/databasesLoadData.zip") # acceder al método extraerall los archivos y descomprimir
zip_ref.close() # CERRAR la instancia del fichero

Ahora hay que leer la bases de datos:

Leer la base de datos en JSON

1. Se debe guardar la ubicación el fichero en una variable
2. Se debe deserializar el archivo JSON (convertir los objetos a cadenas de texto)
   2.1. Debemos abrir el archivo y leer cada linea agregandola como elemento a un array
3. Recorrer cada imágen y su label en el JSON y hacer una petición GET a la imágen
   3.1. Guardar la imágen y el label en cada indice de un array
4. Ver la imágen

# 1
import json
import codecs
import requests
import numpy as np
from PIL import Image
from io import BytesIO
import matplotlib.pyplot as plt

url = "/tmp/databasesLoadData/sign_mnist_json/data.json"

# 2
data_json=[]
with codecs.open(url, 'rU', 'utf8') as js:
    # 2.1
    for line in js:
        data_json.append(json.loads(line)) #deserializamos al añadir

print("{} imágenes encontradas".format(len(data_json)))

# 3
images = []
for data in data_json:
    response = requests.get(data["content"]) #secuencia de bytes
    response = BytesIO(response.content) # decodifica a hexadecimal
    img = np.asarray(Image.open(response)) #convierte a array
    images.append([img, data["label"]])

plt.imshow(images[0][0])
# 4
print(images[0][1])

Según la documentación el modo U (Universal Newlines) está en desuso.
Ósea que es mejor utilizar solo “r”

No esta mas la DB

HTTP request sent, awaiting response… 403 Forbidden

zip_ref = zipfile.ZipFile(local_zip, ‘r’)

el codigo muestra error en esta linea
BadZipFile: File is not a zip file

Las imágenes en el dataset ya están 28x28 por lo que el reshape es redundante

Tuve una duda sobre por qué usar codecs a la hora de abrir el json.

import codecs
with codecs.open(url, "rU", "utf-8") as js:
	pass

En pocas palabras, el módulo codecs se implementó en los tiempos de Python 2 donde el modulo io.open seguía siendo relativamente primitivo y no soportaba algunos tipos de encoding, por lo que esta era una solución, sin embargo, cuando se actualizó a Python 3, el módulo io.open ya soportaba todas las características de codecs al punto que se busca activamente deprecarlo.

Lo anterior implica que usar open() y codecs.open() es virtualmente lo mismo, por lo que, a no ser que nuestro código deba ser retrocompatible, lo mejor es usar open (que es un atajo al módulo io.open).

Este código

data_json = []
with codecs.open(url, "rU", "utf-8") as js:
  for line in js:
    data_json.append(json.loads(line))

print(f'{len(data_json)} imagenes encontradas')

Es lo mismo que este

data_json = []
with open(url, mode = "r", encoding = "utf-8") as js:
  for line in js:
    data_json.append(json.loads(line))

print(f'{len(data_json)} imagenes encontradas')

Si quieren leer un poco más al respecto, pueden ir a este hilo de StackOverflow donde aprendí un poco sobre encoding y la necesidad de estos módulos.

Me di cuenta que de esta forma igual sirve, sin tener que hacer el reshape()

plt.imshow(images[0][0])

Estoy haciendo el curso en mi ambiente local por lo que si están usando Windows el ambiente virtual lo cree con conda e instalé Tensorflow como indican en su pagina
La información la descargué usando CMD con el siguiente comando

curl -L -o databasesLoadData.zip https://storage.googleapis.com/platzi-tf2/databasesLoadData.zip

Adicionalmente tuve que instalar librerías que no tenía pero la que mas me dio garra fue PIL pues se instala como

conda install -c anaconda pillow

y se llama normal

from PIL import Image

Los que quieran un método mas simple pueden utilizar lo aprendido en el curso de redes convolucionales, este seria el código:

from skimage import io

images = []
for data in data_json:
images.append([io.imread(data[‘content’]), data[‘label’]])