Guardar la información obtenida por el agente

Clase 32 de 48 • Curso de MongoDB y Redis 2017

Contenido del curso

¡Espera pronto la actualización de este curso!

1
¡Nos estamos renovando!
00:40 min

Introducción al Curso de MongoDB y Redis

MongoDB

Operaciones CRUD en MongoDB

Desarrollo del proyecto Cryptongo

Redis

Tomar examen

Comentarios

Hector Vasquez

student•

Comparto código completo probado y funcionando:

import requests #Librería para capturar peticiones rest
import pymongo #Librería para comunicarse con la bd mongodb

API_URL = "https://api.coinmarketcap.com/v1/ticker/" #Url desde donde se obtiene los datos a guardar en mongodb

#Función para crear conexión a la bd
def get_db_connection(uri):
	client = pymongo.MongoClient(uri) #Crear una conexión a la bd
	return client.cryptongo #Devolver bd cryptongo

#Función para obtener datos del api externa
def get_cryptocurrencies_from_api():
	r = requests.get(API_URL) #Obtener datos de la url del api externa
	if r.status_code == 200: #Si devuelve 200
		result = r.json() #Formatear resultados en formato json
		return result #Devolver resultado

	raise Exception('Api Error'); #En caso de no recibir 200 del api, devolver un error forzado

def first_element(elements):
	return elements[0] #Devolver el key de elements

def get_hash(value):
	from hashlib import sha512 #Función para encriptar
	return sha512( #Encripto
		value.encode('utf-8') #El string codificado en utf-8, requisito de la librería hash
	).hexdigest() #Convertir encriptado en un string para poder ser almacenado posteriormente en bd

def get_ticker_hash(ticker_data): #Función para retornar un solo gran string con todos los datos de los items
	from collections import OrderedDict #Permite ordenar una coleción bajo un criterio
	ticker_data = OrderedDict(
		sorted( #Función para ordenar cualquier tipo de conjunto de elementos con un criterio
			ticker_data.items(), #Se le pasa la lista de items a ordenar
			key = first_element #Sorted manda a llamar a la función first_element, pasándole una tupla (key, value). 
			                    #Y lo que retorne, será el valor usado para ordenar
		)
	)

	ticker_value = '' #Donde se guardará el hash final a retornar
	for _, value in ticker_data.items(): #Recorrer la lista de items
		ticker_value += str(value) #Concatenar el valor del item como string

	return get_hash(ticker_value) #Encripto string creado

def check_if_exists(db_connection, ticker_data):
	ticker_hash = get_ticker_hash(ticker_data) #Creo un hash en base a los datos de la colección del ticker

	if db_connection.tickers.find_one({"ticker_hash": ticker_hash}): #Busco en bd si encuentra el ticker a través del hash generado
		return True

	return False

def save_ticker(db_connection, ticker_data=None):
	if not ticker_data: #Verifico que los datos existan
		return False

	if check_if_exists(db_connection, ticker_data): #Verifico si existe el ticker en bd
		return False

	ticker_hash = get_ticker_hash(ticker_data) #Creo un hash en base a los datos de la colección del ticker
	ticker_data['ticker_hash'] = ticker_hash #Creo nuevo dato para ser guardado en bd
	ticker_data['rank'] = int(ticker_data['rank']) #Fuerzo conversión de dato a entero
	ticker_data['last_updated'] = int(ticker_data['last_updated']) #Fuerzo conversión de dato a entero

	db_connection.tickers.insert_one(ticker_data) #Inserto datos en bd
	return True


if __name__ == '__main__':
	connection = get_db_connection('mongodb://localhost:27017/') #Conectar a la bd de manera simple, sin usuario y contraseña
	tickers = get_cryptocurrencies_from_api() #Se solicita lista de tickers desde el api externo

	for ticker in tickers: #Recorro lista de tickers recibidos
		save_ticker(connection, ticker) #Guardo cada ticker en bd, solo si no existe actualmente

	print('Tickers almacenados')```

Jose L. Figueroa

student•

La función count() nos entrega el número de items / documentos que que hay en la DB:

db.COLLECTION_NAME.count()

Jeff Velez

student•

API v2:

if __name__ == "__main__":
    connection = get_db_connection('mongodb://localhost:27017/')
    tickers = get_cryptocurrencies_from_api()

    dataT = tickers["data"]

    #-------- FOR SI NO ES ARRAY LA API https://api.coinmarketcap.com/v2/ticker/

    # for attr, value in dataT.items():
    #     save_ticker(connection,value)

    #-------- FOR SI ES ARRAY LA API https://api.coinmarketcap.com/v2/ticker/?limit=20&sort=rank&structure=array

    for value in dataT:
        save_ticker(connection,value)


    print('done')

Cesar David Ramírez Dimaté

student•

Realmente puedes oprimizar el ciclo, ya que no estás usando attr en ningún momento:

for value in dataT.values():
  save_ticker(connection, value)

Samuel Hinojosa

student•

Para los que les tira este error:
Traceback (most recent call last):
File “”, line 74, in <module>
save_ticker(connection,ticker)
File “”, line 57, in save_ticker
if check_if_exists(db_connection,ticker_data):
File “”, line 47, in check_if_exists
if db_connection.tickers.find_one({‘ticker_hash’: ticker_hash}):
File “C:\Users\Wits\AppData\Local\Programs\Python\Python36-32\lib\sit
e-packages\pymongo\”, line 3094, in call
self.__name)
TypeError: ‘Collection’ object is not callable. If you meant to call th
e ‘find_one’ method on a ‘Database’ object it is failing because no suc
h method exists.

Solamente modificar la funcion get_db_connection así:

def get_db_connection(uri):
	client = pymongo.MongoClient(uri)
	return client.cryptongo

Esteban Padilla

student•

Hola tengo el siguiente error

Erick Neftalí Sarmiento Cortes

student•

Me pueden ayudar con este error?

agent python3
Traceback (most recent call last):
File “”, line 68, in <module>
save_ticker(connection, ticker)
File “”, line 51, in save_ticker
if check_if_exists(db_connection, ticker_data):
TypeError: check_if_exists() takes 0 positional arguments but 2 were given

Diego Forero

Team Platzi•

Comparte tu código por favor, es difícil ayudarte así.

El error menciona que la función check_if_exists() no espera parámetros pero le están llegando dos parámetros. Una posible causa es que no tengas los parámetros definidos cuando defines la función.

Erick Neftalí Sarmiento Cortes

student•

import requests
import pymongo

API_URL = ‘’

def get_db_connection(uri):
client = pymongo.MongoClient(uri)
return client.cryptongo

def get_cryptocurrencies_from_api():
r = requests.get(API_URL)
if r.status_code == 200:
result = r.json()
return result

raise Exception('API Error')

def get_hash(value):
from hashlib import sha512
return sha512(value.encode(‘utf-8’)).hexdigest()

def first_element(elements):
return elements[0]
def get_ticker_hash(ticker_data):
from collections import OrderedDict
ticker_data = OrderedDict(
sorted(
ticker_data.items(),
key=first_element
)
)

for _, value in ticker_data.items():
    ticker_value += str(value)

return get_hash(ticker_value)

def check_if_exists():
ticker_hash = get_ticker_hash(ticker_data)
if db_connection.tickers.find_one({‘ticker_hash’: ticker_hash}):
return True

return False

def save_ticker(db_connection, ticker_data=None):
if not ticker_data:
return False

if check_if_exists(db_connection, ticker_data):
    return False

ticker_hash = get_ticker_hash(ticker_data)
ticker_data['ticker_hash'] = ticker_hash
ticker_data['rank'] = int(ticker_data['rank'])
ticker_data['last_updated'] = int(ticker_data['last_updated'])

db_connection.tickers.insert_one(ticker_data)
return True

if name == “main”:
connection = get_db_connection(‘mongodb://localhost:27017/’)
tickers = get_cryptocurrencies_from_api()

for ticker in tickers:
    save_ticker(connection, ticker)

print("Tickers almacenados")

Daniel Fernando Acosta Ceballos

student•

que terminal esta usando Yohan?

Eduardo Lujan

student•

esta muy chida

Kevin Costa

student•

No me estaría saliendo

MBP-de-Kevin:agent kevinch3$ python3 main.py Traceback (most recent call last): File "main.py", line 1, in <module> import requests #Librería para capturar peticiones rest ModuleNotFoundError: No module named 'requests'
es como si tuviera un problema con python, tengo 2.7 y 3 instalado

Kevin Costa

student•

Solved

pip3 install requests
pip3 install pymongo

Fabian Bohorquez

student•

por este curso no comparte el codigo en un github, como los demas cursos que hay en la plataforma???

Mario Alejandro Cortez Salinas

student•

Gracias por compartir tu código, esta muy limpio y bien documentado.

Asahi Cantu Moreno

student•

La API de CoinmarketCap en su versión 1 (V1, la que estamos usando para este proyecto) será dada de baja en Noviembre 2018.

Un buen challenge es migrar a la nueva api (V2), las colecciones cambian, por lo que se requiere modificar un poco las colecciones.

Constantino Celis Peñaranda

student•

No sé por qué me genera este error:

pymongo.errors.ServerSelectionTimeoutError: localhost:27017: [Errno 111] Connection refused

Diego Forero

Team Platzi•

Asegúrate que el servidor de mongo esta corriendo y recibiendo conexiones, puede que tengas instalado mongo pero no este iniciado.

Asahi Cantu Moreno

student•

Amikos, Mi código no ejecutaba bien, así que hice algunas modificaciones en espera de que sea de utilidad

import requests
import pymongo

API_URL = 'https://api.coinmarketcap.com/v1/ticker/'

def get_db_client(uri):
    client = pymongo.MongoClient(uri)
    return client

def get_crypto_from_api():
    r = requests.get(API_URL)
    if r.status_code == 200:
        result = r.json()
        return result
    raise Exception(f"API error occurred trying to connect to {API_URL}")

def check_if_exists(collection,ticker_data):
    ticker_hash = get_ticker_hash(ticker_data)
    if collection.find_one({'ticker_hash':ticker_hash}):
        return True
    return False

def get_hash(value):
    from hashlib import sha512
    return sha512(value.encode('utf-8')).hexdigest()

def first_element(elements):
    return elements[0]

def get_ticker_hash(ticker_data):
    from collections import OrderedDict
    ticker_data = OrderedDict(
        sorted(
            ticker_data.items(),
            key=lambda k:k[0]        
        )
    )
    ticker_value = ''
    for _, value in  ticker_data.items():
        ticker_value += str(value)
    return get_hash(ticker_value)
        
    

def save_ticker(collection,ticker_data=None):
    if not ticker_data:
        return False
    if check_if_exists(collection, ticker_data):
        return False
    ticker_hash = get_ticker_hash(ticker_data)
    ticker_data['ticker_hash'] = ticker_hash
    ticker_data['rank'] = int(ticker_data['rank'])
    ticker_data['last_updated'] = int(ticker_data['last_updated'])
    collection.insert_one(ticker_data)
    return True

if __name__  =="__main__":
    client = get_db_client('mongodb://localhost:27017')
    database = client["cryptongo"]
    collection = database["tickers"]
    tickers = get_crypto_from_api()
    counter = 1
    ticker_length = len(tickers)
    for ticker in tickers:
        print(f'Saving ticker {counter} of {ticker_length}...',end='',flush=True)
        success = save_ticker(collection,ticker)
        success_str = "Saved!" if True else "Skipped"
        print(success_str)
        counter+=1
    print("Tickers saved!")

Cesar David Ramírez Dimaté

student•

Esta linea no está haciendo nada success_str = "Saved!" if True else "Skipped", siempre va a imprimir Saved

Constantino Celis Peñaranda

student•

Se me genera un error que dice:
Traceback (most recent call last):
File “”, line 2, in <module>
import pymongo
ModuleNotFoundError: No module named ‘pymongo’

Jhon Fredy Beltrán León

student•

¿Verificaste que tengas instalado pymongo?
si lo instalaste con pip install pymongo
verifica que esté instalado en tu ambiente usando pip freeze

Cesar David Ramírez Dimaté

student•

Realiza un backup de una colección de la BD. Este genera un archivo bjson con todos los datos y un archivo json con la metadata. Si se eliminan los atributos de collection y db, hace un backup de todas las bases de datos y todas las colecciones:

mongodump --host <nombre_host> --port <puerto> --username <nombre_usuario> --password '<contraseña>' --out <path> --collection <nombre_coleccion> --db <nombre_bd>
mongodump --host localhost --port 27017 --out ~/backup_mongodb/backup-2018-10-04/ --collection tickers --db cryptongo

Restaura la BD o colección, según la información almacenada.

mongorestore --host <nombre_host> --port <puerto> --username <nombre_usuario> --password '<contraseña>' <path>
mongorestore --host localhost --port 27017 ~/backup_mongodb/backup-2018-10-04

Cesar David Ramírez Dimaté

student•

Para la versión 2 del API no aplica utilizar OrderedDict(), ya que al parecer hay algunas criptomonedas que no mantienen los mismos campos y al organizarlos y generar el hash no concuerda con la que se almacenó previamente en la BD lo cuál genera duplicidad de la información.

Cesar David Ramírez Dimaté

student•

No. Fue error mio. Al parecer no es lo mismo que defina esto:

for _, value in ticker_data.items():
        ticker_value += str(value)

a esto:

for value in ticker_data.values():
        ticker_value += str(value)

Si no lo defino de la primera forma, genera duplicidad de la información.

Cesar David Ramírez Dimaté

student•

Actualmente no existen criptomonedas repetidas en la API. Para la fecha de hoy (03-Oct-18) existen 2023 con nombres totalmente diferentes.

db.tickers.distinct('name')

Eduardo Lujan

student•

Porque no usar md5 o sha1 que son menos intensivas de procesamiento si no único que se requiere es unicidad, es solo por ejemplo ?

Diego Forero

Team Platzi•

Porque son fácilmente reversibles por lo menos md5 y si tienes información que puede ser sensible puedes tener una falla de seguridad en ese punto.

Cesar David Ramírez Dimaté

student•

O sea, md5 y sha1 hubiese estado bien para este ejemplo ya que no es información sensible jejeje.

David E Lares S

student•

A los que vengan de ambientes UNIX, y les den problemas los imports, deben tener presente que si tienen pip, probablemente este referenciado para la version 2.7. Existen funciones de Py3.5 en el código por lo que deben instalar y correr todo bajo Py3.

Para instalar pip para Py3, corran sudo apt-get install pip3

y luego pueden correr los modulos extras bajo sudo pip3 install pymongo y sudo pip3 install requests

Diego Forero

Team Platzi•

También pueden crear un entorno virtual usando virtualenvwrapper que lo crean para que use python3 y con eso no tienen que usar python3 o pip3 sino python y pip.

Guillermo Camarena Miramontes

student•

En Windows me sale este error:
import requests
ModuleNotFoundError: No module named ‘requests’

Guillermo Camarena Miramontes

student•

A quien le salga algo similar, solamente se necesita instalar la libreria requests
pip install requests

kevin Mendez

student•

En windows el launcher para python es: py.

import requests #Librería para capturar peticiones rest
import pymongo #Librería para comunicarse con la bd mongodb

API_URL = "https://api.coinmarketcap.com/v1/ticker/" #Url desde donde se obtiene los datos a guardar en mongodb

#Función para crear conexión a la bd
def get_db_connection(uri):
	client = pymongo.MongoClient(uri) #Crear una conexión a la bd
	return client.cryptongo #Devolver bd cryptongo

#Función para obtener datos del api externa
def get_cryptocurrencies_from_api():
	r = requests.get(API_URL) #Obtener datos de la url del api externa
	if r.status_code == 200: #Si devuelve 200
		result = r.json() #Formatear resultados en formato json
		return result #Devolver resultado

	raise Exception('Api Error'); #En caso de no recibir 200 del api, devolver un error forzado

def first_element(elements):
	return elements[0] #Devolver el key de elements

def get_hash(value):
	from hashlib import sha512 #Función para encriptar
	return sha512( #Encripto
		value.encode('utf-8') #El string codificado en utf-8, requisito de la librería hash
	).hexdigest() #Convertir encriptado en un string para poder ser almacenado posteriormente en bd

def get_ticker_hash(ticker_data): #Función para retornar un solo gran string con todos los datos de los items
	from collections import OrderedDict #Permite ordenar una coleción bajo un criterio
	ticker_data = OrderedDict(
		sorted( #Función para ordenar cualquier tipo de conjunto de elementos con un criterio
			ticker_data.items(), #Se le pasa la lista de items a ordenar
			key = first_element #Sorted manda a llamar a la función first_element, pasándole una tupla (key, value). 
			                    #Y lo que retorne, será el valor usado para ordenar
		)
	)

	ticker_value = '' #Donde se guardará el hash final a retornar
	for _, value in ticker_data.items(): #Recorrer la lista de items
		ticker_value += str(value) #Concatenar el valor del item como string

	return get_hash(ticker_value) #Encripto string creado

def check_if_exists(db_connection, ticker_data):
	ticker_hash = get_ticker_hash(ticker_data) #Creo un hash en base a los datos de la colección del ticker

	if db_connection.tickers.find_one({"ticker_hash": ticker_hash}): #Busco en bd si encuentra el ticker a través del hash generado
		return True

	return False

def save_ticker(db_connection, ticker_data=None):
	if not ticker_data: #Verifico que los datos existan
		return False

	if check_if_exists(db_connection, ticker_data): #Verifico si existe el ticker en bd
		return False

	ticker_hash = get_ticker_hash(ticker_data) #Creo un hash en base a los datos de la colección del ticker
	ticker_data['ticker_hash'] = ticker_hash #Creo nuevo dato para ser guardado en bd
	ticker_data['rank'] = int(ticker_data['rank']) #Fuerzo conversión de dato a entero
	ticker_data['last_updated'] = int(ticker_data['last_updated']) #Fuerzo conversión de dato a entero

	db_connection.tickers.insert_one(ticker_data) #Inserto datos en bd
	return True


if __name__ == '__main__':
	connection = get_db_connection('mongodb://localhost:27017/') #Conectar a la bd de manera simple, sin usuario y contraseña
	tickers = get_cryptocurrencies_from_api() #Se solicita lista de tickers desde el api externo

	for ticker in tickers: #Recorro lista de tickers recibidos
		save_ticker(connection, ticker) #Guardo cada ticker en bd, solo si no existe actualmente

	print('Tickers almacenados')```

if __name__ == "__main__":
    connection = get_db_connection('mongodb://localhost:27017/')
    tickers = get_cryptocurrencies_from_api()

    dataT = tickers["data"]

    #-------- FOR SI NO ES ARRAY LA API https://api.coinmarketcap.com/v2/ticker/

    # for attr, value in dataT.items():
    #     save_ticker(connection,value)

    #-------- FOR SI ES ARRAY LA API https://api.coinmarketcap.com/v2/ticker/?limit=20&sort=rank&structure=array

    for value in dataT:
        save_ticker(connection,value)


    print('done')

if check_if_exists(db_connection, ticker_data):
    return False

ticker_hash = get_ticker_hash(ticker_data)
ticker_data['ticker_hash'] = ticker_hash
ticker_data['rank'] = int(ticker_data['rank'])
ticker_data['last_updated'] = int(ticker_data['last_updated'])

db_connection.tickers.insert_one(ticker_data)
return True

import requests
import pymongo

API_URL = 'https://api.coinmarketcap.com/v1/ticker/'

def get_db_client(uri):
    client = pymongo.MongoClient(uri)
    return client

def get_crypto_from_api():
    r = requests.get(API_URL)
    if r.status_code == 200:
        result = r.json()
        return result
    raise Exception(f"API error occurred trying to connect to {API_URL}")

def check_if_exists(collection,ticker_data):
    ticker_hash = get_ticker_hash(ticker_data)
    if collection.find_one({'ticker_hash':ticker_hash}):
        return True
    return False

def get_hash(value):
    from hashlib import sha512
    return sha512(value.encode('utf-8')).hexdigest()

def first_element(elements):
    return elements[0]

def get_ticker_hash(ticker_data):
    from collections import OrderedDict
    ticker_data = OrderedDict(
        sorted(
            ticker_data.items(),
            key=lambda k:k[0]        
        )
    )
    ticker_value = ''
    for _, value in  ticker_data.items():
        ticker_value += str(value)
    return get_hash(ticker_value)
        
    

def save_ticker(collection,ticker_data=None):
    if not ticker_data:
        return False
    if check_if_exists(collection, ticker_data):
        return False
    ticker_hash = get_ticker_hash(ticker_data)
    ticker_data['ticker_hash'] = ticker_hash
    ticker_data['rank'] = int(ticker_data['rank'])
    ticker_data['last_updated'] = int(ticker_data['last_updated'])
    collection.insert_one(ticker_data)
    return True

if __name__  =="__main__":
    client = get_db_client('mongodb://localhost:27017')
    database = client["cryptongo"]
    collection = database["tickers"]
    tickers = get_crypto_from_api()
    counter = 1
    ticker_length = len(tickers)
    for ticker in tickers:
        print(f'Saving ticker {counter} of {ticker_length}...',end='',flush=True)
        success = save_ticker(collection,ticker)
        success_str = "Saved!" if True else "Skipped"
        print(success_str)
        counter+=1
    print("Tickers saved!")

Guardar la información obtenida por el agente

¡Espera pronto la actualización de este curso!

¡Nos estamos renovando!

Introducción al Curso de MongoDB y Redis

Bienvenidos al Curso de MongoDB y Redis

¿Qué es NoSQL?

Implementaciónes de bases de datos no relacionales - NoSQL

Ventajas y desventajas de NoSQL

Diferencias con SQL

Introducción a Cryptongo

MongoDB

Primeros pasos con MongoDB

Instalación de MongoDB en Linux

Instalación de MongoDB en Windows

Instalación de MongoDB en Mac

Modelado de datos en MongoDB relaciones uno a uno y uno a muchos

Modelado de datos tipo árbol

Creando el modelo de datos de Cryptongo

Librerías de MongoDB - PyMongo 1

Librerías de MongoDB - PyMongo 1 instalación de pymongo de acuerdo con el sistema operativo.

Introducción a la Shell de Mongo

Ejecución de código JS en la shell de MongoDB

Operaciones CRUD en MongoDB

Insertar un documento con la consola de Mongo

Insertar multiples documentos con la consola de Mongo

Funciones find y findOne

Operaciones avanzadas con find y findOne en la consola

Modificación de documentos en la consola de MongoDB

Funciones de Mongo updateOne - updateMany

Eliminar documentos en la consola de MongoDB

Indices en MongoDB

Desarrollo del proyecto Cryptongo

Estructura del proyecto Cryptongo

Librerías que usaremos en Cryptongo y cómo instalarlas

Cómo funciona el agente que consulta Coinmarketcap

Creando el agente que consulta en Coinmarketcap

Calcular el hash a partir de la información del ticker en Cryptongo

Guardar la información obtenida por el agente

Crear API que consulta la base de datos get_documents()

Funciones get_top20() y remove_currency()

Creación del Endpoint de Cryptongo

Endpoint /tickers para ver todos los documentos en cryptongo

Publicación de Cryptongo con Docker

Redis

Primeros pasos con Redis

Instalación de Redis en Ubuntu Linux

Instalación de Redis en Windows

Instalación de Redis en Mac

Consola Interactiva de Redis - Redis CLI

Insertar y leer datos en Redis

Eliminar datos en Redis

Full page cache con Redis

SetEx, cómo guardar un registro que tenga una fecha de vencimiento.

FLUSHDB, FLUSHALL, cómo eliminar una BD o todas las BD.

Cierre del curso