Fuentes de datos: SQL, NoSQL, API y web scraping

Clase 10 de 25 • Curso de Fundamentos de Ingeniería de Datos

Julian Castro Pulgarin

student•

Una de mis primeras taras cuando entré a trabajar fue hacer un scrapping, no sabía nada de eso, hoy en día es una funcionalidad que tiene bastante relevancia sobre el use case y que la he escalado en términos de rendimiento y extensión a una manera muy muy avanzada (usando OOP), aprendí un montón con eso y refiné muchas habilidades técnicas, es un muy buen ejercicio tú que estas practicando hacer un scrappper para nutrir tus proyectos de ciencia de datos o crear estos modelos de datos, porque vas a aprender un montón de ese proceso!!

Also muchas veces e el proceso de data te va tocar construir tus datos porque no los tienes, y la herramienta de scraping o conexiones a API de otras fuentes te puede ayudar mucho

Ricardo Alanis

teacher•

Claro, definitivamente. De hecho, esta tarea generalmente está en los primeros pasos de empresas que buscan agrupar datos.

Sergio Brandon De Lucio Chavero

student•

Wow, quiero aprender a hacer scrapping con puppeter como un Crack !!!

Bryan Carvajal

student•

Resumen: SQL

Lenguaje de consulta pero tambien el nombre con que se identifican las bases de datos
Excelentes para las transacciones por los principios ACID (Atomicity, Consistency, Isolation, Durability)

NoSQL

Por su cercania a los lenguajes de programacion son utiles para guardar objetos flexibles
La mas famosa es mongoDB, otras importantes como Redis, ElasticSearch, HBase

API

Consume informacion de otras plataformas
Permite utilizar capacidades mandando un input, recibiendo un output
Pueden ser creadas por uno, externas y de paga

Web scraping

Es traernos informacion disponible que esta en internet
parsehub, Scrapy

Ricardo Alanis

teacher•

Gracias por compartir!

Ian Cristian Ariel Yané

student•

Linkedin: Utiliza SenseiDB que es una base de datos NoSQL diseñadas por ellos para espesialmente tener una alta respuesta en actualizaciones. Platzi que bases de datos utiliza??

Mi Chu

student•

En este artículo de hace 4 años, dicen que migraron de MySQL a PostgreSQL

Ricardo Alanis

teacher•

Excelente, gracias por compartir a todos!

Daviel Antonio Jiménez Comas

student•

Mi resumen de la clase:

Trabajamos con datos y estos datos deben de estar disponibles a través de consultas, estarán muchas veces en bases de datos que poseen consultas, redundancias, integridad, seguridad e índices que nos permite consultar de manera eficiente la integración.

SQL nos ayuda a obtener información de manera clara, las BD son toda la tecnología que nos permiten traer la información de manera adecuada.

Las BD SQL son excelentes para transacciones por los principios ACID, atomicidad, consistencia, aislamiento y durabilidad, estas nos informan cuando hay un error y solo registran cuando se completan.

Las bases de datos no SQL, no siguen las reglas de SQL y son más fáciles de consultar desde un lenguaje de programación y son útiles para guardar objetos flexibles, la más famosa es mongoDB, otras son Redis, ElasticSearch y Hbase cerca de Hadoop.

La forma mas transparente de traer información es a través de una API interfaz de programación de aplicaciones, con ella consumimos los datos de las aplicaciones de manera intencional, dándonos accesos con un input y recibiendo un output. Web scraping nos trae los datos disponibles del internet, esto es una zona gris de lo legal, pues los sitios te dicen que puedes traer y que no puedes traer a través del robot.txt algunas herramientas son parsehub y Scrapy.

Debemos de guardar modelos que nos sean útiles con el tiempo, generando parte por parte lo que querremos construir y que se pueda escalar.

Ricardo Alanis

teacher•

Iván Darío Restrepo Vallejo

student•

YOUTUBE: YouTube utiliza el sistema de base de datos patentado de Google que llaman Bigtable. Es el mismo sistema de base de datos que también impulsa a Google en el motor de búsqueda y muchos otros productos de Google

WHATSAPP: Almacenamiento de la información en la base de datos: WhatsApp utiliza SQLite para almacenar chats, ficheros y mensajes en la base de datos, por lo que si un atacante logra hacerse con este fichero podría acceder a todas las conversaciones y datos privados

INSTAGRAM: Uno de los pilares de Instagram son los datos de las fotografias y los usuarios. La base de datos que se usa es PostgreSQL. Afirman que tiene 12 cluster de instancias de memoria Quadruple Extra-Large y sus 12 replicas en distintos lugares

Bryan Carvajal

student•

Cuevana dice que usan MySQL Youtube SQL Whatsapp SQLite

Ricardo Alanis

teacher•

Gracias por compartir!

Nicoll Idaly Angulo Mejia

student•

Nu usa datomic

https://www.datomic.com/nubanks-story.html

Ricardo Alanis

teacher•

Gracias por compartir!

Kevin Acevedo

student•

La flexibilidad que nos otorgan hoy en día las noSql es sorprendente, todo esto sin sacrificar nada de ACID

Paulo Leal

student•

Mercado Libre usa Bigquery.

Eli Bermúdez

student•

Whatsapp:SQLite
Instagram:Postgre SQL
Twitter:Cassandra
Telegram:TDLib

Rubén Darío Albarracin Caro

student•

Whatsapp: SQLite

Ricardo Alanis

teacher•

Gracias por compartir!

Miguel Angel Otero Otero

student•

Las licencias de software son acuerdos legales que determinan cómo puede usarse, modificar y redistribuir un software. Aquí una breve descripción de las más comunes:

MIT: Permite a los usuarios hacer prácticamente cualquier cosa con el software, siempre que incluyan la licencia original en cualquier copia o distribución. Es muy permissiva y popular en proyectos de código abierto.
GPL (General Public License): Asegura que el software y sus derivados se mantengan libres. Si alguien modifica el software, debe liberar su código bajo la misma licencia. Promueve la colaboración y libertad, pero puede ser restrictiva para algunos usuarios.
Proprietary: El software es propiedad de una empresa o individuo. Los usuarios deben pagar por el uso y no tienen acceso al código fuente. La modificación y redistribución suelen estar prohibidas.

Cada licencia tiene sus ventajas y desventajas, y la elección depende de los objetivos del proyecto.

Santiago Andres Gelvez Camargo

student•

En aplicaciones de movilidad creo que se usan grafos. Es una forma sencilla para calcular la distancia mas rápida entre dos puntos. En Uber o Rappi se usan todo el tiempo.

Ya sistemas como un hospital o las transacciones como tal si usan data relacional. Es la base mas común.

Yo creo que si bien SQL es importante, un diferencial de cara a muchas empresas en este tema puede ser NoSQL y manejo de APIs, sin duda.

Santiago Donoso

student•

Hola ricardo, actualmente estoy estufdiando en paralelo power BI pero me encontre con una limitante en uno de los talleres y es que hablan de conexiones a onedrive o 365 pero no explican como conectar a dropbox y es frustante porque es la app que yo uso para guardar la info; por ahora conecte la carpeta desde al apk de mi escritorio pero creo que debe haber otra solucion.

Ricardo Alanis

teacher•

Porqué no abres una cuenta gratuita temporal solo para probar las cosas? Asi no te enfrentas a esa frustración

Luciana Melisa Quiroga

student•

Tengo una duda xq nunca supe lo de robots.txt. Por ejemplo me metí recién en en un diario x ejemplo, https://www.lanacion.com.ar/robots.txt y todo dice "Disollow" que entiendo que no se puede scrapear legalmente nada de allí. Yo colocando en las webs al final /robots.txt ya me debería reportar qué si y qué no de información se puede sacar?

Ricardo Alanis

teacher•

Así es, sin embargo, es una zona bastante gris ya que existen muchos procesos que aún así lo hacen. Pero siendo 100% según el estandar, si, con el robots.txt debería de ser nuestra noción de que hacer.

Marco Antonio Badany Eggers

student•

Hola tengo una pregunta, cuál sería una diferencia entre SQL y Excel, yo veo que con power query se puede hacer lo mismo y más que SQL,

Ricardo Alanis

teacher•

Tanto SQL como Excel son herramientas para la manipulación de datos. Por un lado, SQL puede ser referido al lenguaje de consultas que permite manipular y transformar la información. Excel trabaja más campo por campo y permite construir hojas interactivas para analizar información. Power Query permite generar consultas, pero SQL es una forma general, escalable y estandar con la que se puede consultar información.

Si bien ambas son herramientas de datos, su uso es distinto.

Andrea Núñez Mendoza

student•

Las apps que más uso son redes sociales. Instagram utiliza PostgreSQL, el cual es conocido por su robustez y manejar gran cantidad de datos. (Es increíble pensar en la gran cantidad de información que se debe almacenar, entre imágenes, comentarios, historias, notas música, etc)

Otra app es Mercado Libre, usa AWS entre los cuales está Amazon DynamoDB para la administración de sus datos. Esta app también se me hace interesante porque no solo manejan datos sobre las ventas, sino sobre los compradores, tarjetas de crédito y ha crecido tanto en América Latina que ofrece películas e incluso sus propias tarjetas.

Miguel Angel Sierra Cruz

student•

en el caso de Netflix utiliza diversas bases de datos cada una funciona para cierto tipo de caracteristica entre los servicios que tiene

las bases de datos que usan son:

Amazon DynamoDB, Apache Cassandra, MySQL, Elasticsearch.

Edinson Javier Portillo Quintero

student•

ultimamente utilizo tiktok de manera continua, es mi red social mas usada, aunq generalmemnte se esta volviendo un habito negativo ya q mal gasto demasiado tiempo, sin embargo investigue y segun ello "TikTok utiliza bases de datos NoSQL comoCassandra y Redispara acceder a datos en tiempo real y a alta velocidad"..

Emily Aguilar

student•

Empresa: Spotify

Base de datos principal: PostgreSQL

Bases secundarias: Cassandra, Redis, Elasticsearch, BigQuery.

Empresa: Pinterest

Base de datos principal: MySQL

Bases secundarias: DynamoDB, HBase, Redis, Elasticsearch.

Empresa: WhatsApp

Base de datos principal: Mnesia

Bases secundarias: MySQL, Cassandra, RocksDB.