Calcular el hash a partir de la información del ticker en Cryptongo

Clase 31 de 48 • Curso de MongoDB y Redis 2017

Camilo Acevedo Escalante

student•

Hola
Casi que no lo corrijo, funciona correctamente. Pensé que me iba a enloquecer jeje

import pymongo
import requests

API_URL = 'https://api.coinmarketcap.com/v1/ticker/'

def get_db_connection(uri):
    client = pymongo.MongoClient(uri)
    return client.cryptongo

def get_cryptocurrencies_from_api():
    r = requests.get(API_URL)
    if r.status_code == 200:
        result = r.json()
        return result

    raise Exception('API Error')

def get_hash(value):
    from hashlib import sha512
    return sha512(value.encode('utf-8')).hexdigest()

def first_element(elements):
    return elements[0]

def get_ticker_hash(ticker_data):
    from collections import OrderedDict
    ticker_data = OrderedDict(
        sorted(
            ticker_data.items(), 
            key = first_element
            )
        )

    ticker_value = ''
    for _, value in ticker_data.items():
        ticker_value += str(value)

    return get_hash(ticker_value)

def check_if_exists(get_db_connection, ticker_data):
    ticker_hash = get_ticker_hash(ticker_data)
    if get_db_connection.tickers.find_one({'ticker_hash':ticker_hash}):
        return True

    return False

def save_ticker(get_db_connection, ticker_data=None):
    if not ticker_data:
        return False

    if check_if_exists(get_db_connection, ticker_data):
        return False

    ticker_hash = get_ticker_hash(ticker_data)
    ticker_data['ticker_hash'] = ticker_hash
    ticker_data['rank'] = int(ticker_data['rank'])
    ticker_data['last_updated'] = int(ticker_data['last_updated'])

    get_db_connection.tickers.insert_one(ticker_data)
    return True

if __name__ == "__main__":
    connection = get_db_connection('mongodb://localhost:27017/')
    tickers = get_cryptocurrencies_from_api()

    for ticker in tickers:
        save_ticker(connection, ticker)
    print("Tickers Almacenados!")

Hector Vasquez

student•

Comparto código con comentarios explicativos en cada línea

import requests #Librería para capturar peticiones rest
import pymongo #Librería para comunicarse con la bd mongodb

API_URL = "https://api.coinmarketcap.com/v1/ticker/" #Url desde donde se obtiene los datos a guardar en mongodb

#Función para crear conexión a la bd
def get_db_connection(uri):
	client = pymongo.MongoClient(uri) #Crear una conexión a la bd
	return client.cryptongo #Devolver bd cryptongo

#Función para obtener datos del api externa
def get_cryptocurrencies_from_api():
	r = requests.get(API_URL) #Obtener datos de la url del api externa
	if r.status_code == 200: #Si devuelve 200
		result = r.json() #Formatear resultados en formato json
		return result #Devolver resultado

	raise Exception('Api Error'); #En caso de no recibir 200 del api, devolver un error forzado

	def first_element(elements):
		return elements[0] #Devolver el key de elements

	def get_hash(value):
		from hashlib import sha512 #Función para encriptar
		return sha512( #Encripto
			value.encode('utf-8') #El string codificado en utf-8, requisito de la librería hash
		).hexdigest() #Convertir encriptado en un string para poder ser almacenado posteriormente en bd

	def get_ticker_hash(ticker_data): #Función para retornar un solo gran string con todos los datos de los items
		from collections import OrderedDict #Permite ordenar una coleción bajo un criterio
		ticker_data = OrderedDict(
			sorted( #Función para ordenar cualquier tipo de conjunto de elementos con un criterio
				ticker_data.items(), #Se le pasa la lista de items a ordenar
				key = first_element #Sorted manda a llamar a la función first_element, pasándole una tupla (key, value). 
				                    #Y lo que retorne, será el valor usado para ordenar
			)
		)

		ticker_value = '' #Donde se guardará el hash final a retornar
		for _, value in ticker_data.items(): #Recorrer la lista de items
			ticker_value += str(value) #Concatenar el valor del item como string

		return get_hash(ticker_value) #Encripto string creado

	def check_if_exists(db_connection, ticker_data):
		ticker_hash = get_ticker_hash(ticker_data) #Creo un hash en base a los datos de la colección del ticker

		if db_connection.ticker.find_one({"ticker_hash": ticker_hash}): #Busco en bd si encuentra el ticker a través del hash generado
			return True

		return False

	def save_ticker(db_connection, ticker_data=None):
		if not ticker_data: #Verifico que los datos existan
			return False

		if check_if_exists(db_connection, ticker_data): #Verifico si existe el ticker en bd
			return False

		ticker_hash = get_ticker_hash(ticker_data) #Creo un hash en base a los datos de la colección del ticker
		ticker_data['ticker_hash'] = ticker_hash #Creo nuevo dato para ser guardado en bd
		ticker_data['rank'] = int(ticker_data['rank']) #Fuerzo conversión de dato a entero
		ticker_data['last_updated'] = int(ticker_data['last_updated']) #Fuerzo conversión de dato a entero

		db_connection.ticker.insert_one(ticker_data) #Inserto datos en bd
		return True```

Maris Botero Gonzalez

student•

import requests
import pymongo

API_URL = 'https://api.coinmarketcap.com/v1/ticker/'

def get_db_connection(uri):
    client = pymongo.MongoClient(uri)
    return  client.cryptongo

def get_crytocurrencies_from_api():
    r = requests.get(API_URL)
    if r.status_code == 200:
        result = r.json()
        return  result

    raise Exception('Api Error')

def get_hash(value):
    from hashlib import sha512
    return sha512(value.encode('utf-8')).hexdigest()

def first_element(elements):
    return elements [0]

def get_ticker_hash(ticker_data):
    from collections import OrdereDict
    ticker_data = OrdereDict(
        sorted(
            ticker_data.items(),
            key = first_element

            )
        )

    ticker_value = ''

    for _, value in ticker_data.items():
        ticker_value += str(value)

    return get_hash(ticker_value)


def check_if_exists(db_connection, ticker_data):
    ticker_hash = get_ticker_hash(ticker_data)
    if db_connection.tickers.find_one({'ticker_hash':ticker_hash}):
        return True
    return False

def save_ticket(db_connection, ticker_data = None):
    if not ticker_data:
        return  False

    if check_if_exists(db_connection, ticker_data):
        return  False
    
    ticker_hash = get_ticker_hash(ticker_data)
    ticker_data['ticker_hash'] = ticker_hash
    ticker_data ['rank'] = int(ticker_data['rank'])
    ticker_data['last_updated']= int(ticker_data['last_updated'])

    db_connection.tickers.insert_one(ticker_data)

    return True

Cesar David Ramírez Dimaté

student•

Dejo las siguientes observaciones respecto al código:

¿Por qué se crea el hash con todos los campos del documento? ¿No sería más óptimo utilizar unos cuantos valores como name, price y last_update que son los que menos se repiten?
Sigo sin entender la funcionalidad de ordenar el documento ticker y el metodo first_element(). Veo que es para poder crear el hash pero se evitaría obteniendo unos cuantos valores y no todos.
Cada vez que se llame al metodo get_ticker_hash() lo que hara es ordenar el diccionario y construir el hash. Pienso que para el valor que recibe como parametro check_if_exists() seria enviar el hash ya generado u obtenido si el documento ya existe.

Por acá dejaría mi código optimizado según lo mencionado.

Nicolas Rodriguez

student•

Estoy teniendo un error al correr el programa. Dice Expected.‘collections.iterable’, got() -> List [tuple[any, any]]’ instead.

El error lo marca en File “”, line 43, in get_ticker_hash
ticker_data.items()

Mi código

import pymongo
import requests

API_URL = ’ ’

#Establish connection with the database

def get_db_connection(uri):
client = pymongo.MongoClient(uri)
return client.cryptongo

#Get information from marketcap URL

def get_cryptocurrencies_from_API():
r = requests.get(API_URL)
if r.status_code == 200:
results = r.json()
return results

raise exception (‘API error’)

#funcion para crear un hash a partir de sha512

def get_hash(value):
from hashlib import sha512
return sha512(value.encode(‘utf-8’)).hexdigest()

#ordenar los elementos que obtiene de marketcap

def first_element(elements):
return elements[0]

#conseguir el campo ticker_hash de la moneda

def get_ticker_hash(ticker_data):
from collections import OrderedDict
’’’:rtype:int’’'
ticker_data = OrderedDict(
sorted(
ticker_data.items(),
key = first_element
)
)

ticker_value = ''
for _, value in ticker_data.items:
    ticker_value += str(value)

    return get_hash(ticker_value)

def check_if_exists(db_connection, ticker_data):
ticker_hash = get_ticker_hash(ticker_data)
if db_connection.tickers.find_one({‘ticker_hash’: ticker_hash}):
return True

return False

def save_ticker(db_connection, ticker_data = None):
if not ticker_data:
return False

if check_if_exists(db_connection, ticker_data):
    return False

 # Convert to integers

ticker_data['ticker_hash'] = ticker_hash
ticker_data['rank'] = int(ticker_data['rank'])
ticker_data['last_updated'] = int(ticker_data['last_updated'])

<h1>Insert a document into the MongoDB collection</h1>

db_connection.tickers.insert_one(ticker_data)

return True

  #Conectar a la bd de manera simple, sin usuario y pass

if name == ‘main’:
connection = get_db_connection(‘mongodb://localhost:27017/’)
tickers = get_cryptocurrencies_from_API()

for ticker in tickers:
save_ticker(connection, ticker)

  print('Tickers almacenados')

Agradezco su ayuda!

Calcular el hash a partir de la información del ticker en Cryptongo

¡Espera pronto la actualización de este curso!

¡Nos estamos renovando!

Introducción al Curso de MongoDB y Redis

Bienvenidos al Curso de MongoDB y Redis

¿Qué es NoSQL?

Implementaciónes de bases de datos no relacionales - NoSQL

Ventajas y desventajas de NoSQL

Diferencias con SQL

Introducción a Cryptongo

MongoDB

Primeros pasos con MongoDB

Instalación de MongoDB en Linux

Instalación de MongoDB en Windows

Instalación de MongoDB en Mac

Modelado de datos en MongoDB relaciones uno a uno y uno a muchos

Modelado de datos tipo árbol

Creando el modelo de datos de Cryptongo

Librerías de MongoDB - PyMongo 1

Librerías de MongoDB - PyMongo 1 instalación de pymongo de acuerdo con el sistema operativo.

Introducción a la Shell de Mongo

Ejecución de código JS en la shell de MongoDB

Operaciones CRUD en MongoDB

Insertar un documento con la consola de Mongo

Insertar multiples documentos con la consola de Mongo

Funciones find y findOne

Operaciones avanzadas con find y findOne en la consola

Modificación de documentos en la consola de MongoDB

Funciones de Mongo updateOne - updateMany

Eliminar documentos en la consola de MongoDB

Indices en MongoDB

Desarrollo del proyecto Cryptongo

Estructura del proyecto Cryptongo

Librerías que usaremos en Cryptongo y cómo instalarlas

Cómo funciona el agente que consulta Coinmarketcap

Creando el agente que consulta en Coinmarketcap

Calcular el hash a partir de la información del ticker en Cryptongo

Guardar la información obtenida por el agente

Crear API que consulta la base de datos get_documents()

Funciones get_top20() y remove_currency()

Creación del Endpoint de Cryptongo

Endpoint /tickers para ver todos los documentos en cryptongo

Publicación de Cryptongo con Docker

Redis

Primeros pasos con Redis

Instalación de Redis en Ubuntu Linux

Instalación de Redis en Windows

Instalación de Redis en Mac

Consola Interactiva de Redis - Redis CLI

Insertar y leer datos en Redis

Eliminar datos en Redis

Full page cache con Redis

SetEx, cómo guardar un registro que tenga una fecha de vencimiento.

FLUSHDB, FLUSHALL, cómo eliminar una BD o todas las BD.

Cierre del curso