Un proyecto para tu portafolio: scraper de noticias

Clase 17 de 21 • Curso de Fundamentos de Web Scraping con Python y Xpath

Juan Felipe Ángel Martínez Bernal

student•

61 cursos en Platzi y esta es la primera vez que veo que un profesor se sienta a explicar detenidamente y en cada sistema operativo como crear un proyecto de manera profesional. Facundo eres un grande 👏👏👏

Ricardo Sotomayor

student•

x 2 el profe FACUNDO ES UNO DE LOS POCO PROFESORES QUE EXPLICA LAS COSAS DE UNA MANERA COMPRENSIBLE

Alvaro Daniel Vidal Velasque

student•

Concuerdo muchísimo contigo, hasta ahora ningún profe como Facu

Alejandro Giraldo Londoño

student•

RESUMEN:Proyecto scraper de noticias

■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■ Este proyecto es un scraper de noticias del diario la_Republica Vamos a extraer de este periodico, encabezados y cuerpo de las noticias diariamente y almancenarlos para un posterior análisis. Como análisis de Texto, marketing, análisis de sentimientos y demás.

Notas :

Observar https://www.larepublica.co/robots.txt para tener claro a qué podemos o no acceder con nuestro scraper

Entorno de trabajo.

Es necesario tener buenas prácticas para desarrollar, en python como todo lenguaje tiene sus propias. A continuación la configuración de este proyecto.

(Window)

Es posible realizar estas acciones desde cualquier otro shell. En este curso se usa Cmder. cmder es un emulador de bash, a partir de los comandos nativos de windows generamos una "aliases" que tratan de igualar los comandos que tenemos en consola de tipo UNIX. En windows podríamos usar comandos más habituales para programar.

Pasos

0 ■ Inicializamos git en el directorio de trabajo

git init

1 ■ Creamos nuestro ambiente virtual:

py -m venv venv (Windows)
python (linux) ...

2 ■ Creamos en el directorio de trabajo o carpeta un archivo .gitignore y escribimos que ignore la carpeta del ambiente virtual. No queremos ocupar espacio innecesario y no es buena práctica.

(.gitignore)

venv/
(nombre de la carpeta que vamos a ignorar)/

3 ■ Para activar el ambiente virtual realizamos

ven\Scripts\activate (Windows)
source venv/bin/activate (Linux)

4 ■ Si trabajas en VsCode. Creamos un Workspace para tener una estructura más organizada "save as workspace" y así tener un workspace para que VS tenga idea de qué tenemos en esta capeta.

5 ■ Instalamos las dependencias de este proyecto:

Request: Para realizar peticiones
Lxml: Para utilizar Xpath
Autopep8: Ayuda a formatear el código según los estilos oficiales dle lenguaej,e

pip install request lxml autopep8

Es buena práctica tener actualizado el manejador de paquetes de python.


py - m pip install pip --upragade

María Cristina Chuchón Pérez

student•

gracias por los apuntes!!

Denisse Falcon

student•

gracias me ayudaron muchos tus apuntes

Bryan Javier Calero Robleto

student•

Excelente, el profe explica como hacerle en todos los sistemas operativos. Muchas gracias. De los mejores profesores.

Rubén Domínguez Prieto

student•

Estoy de acuerdo. Hasta tal punto, que en vez de rutas busco profesores :)

Moisés Manuel Morín Hevia

student•

Sí, también Anahí Salgado es super cool.

Mario Barbosa

student•

Los mismos códigos , para evitar la fatiga

pip install request lxml autopep8

py -m pip install pip --upgrade

Si usan bash como terminal para activar el ambiente virtual

source venv/Scripts/activate

Alan Cordova

student•

Nada mas una pequeña correción, falto una s en requests

pip install requests lxml autopep8

Moisés Manuel Morín Hevia

student•

Okey (:

Raziel Carvajal

student•

Nota es 'requests' con 's' al final

Raquel Campos

student•

Muchas gracias!

pip install requests lxml autopep8

jhon velasque

student•

gracias hermano me salvaste la vida

Omar Garrido García

student•

Esto también lo pueden hacer en la terminal del mismo Visual Studio, solo que al momento de ejecutar la activación el comando cambia, lo de más se mantiene igual.

Josue Farley Lopez Carvajal

student•

Una recomendación que uso mucho es crear un archivo requirements.txt en el root del proyecto. Allí escribo los nombres de los paquetes a instalar con pip. Luego ejecutar el comando:

$ pip install -r requirements.txt

Luego de instalar refresco el archivo con la lista de los paquetes instalados y sus versiones así:

$ pip freeze > requirements.txt

Esto permite que, si suben sus repositorios a GitHub las personas que lo clonen sepan que paquetes instalar y en la version que ustedes los usaron.

José Antonio Sandino Montano

student•

¿Qué tengo que buscar en los términos y condiciones exactamente para saber si se puede o no hacer scraping?

Alex Camacho

teacher•

Es lo más recomendable :) así evitas meterte en problemas ya que en algunos sitios no esta permitido realizar este tipo de prácticas.

Moisés Manuel Morín Hevia

student•

Tienes que ver que puedas extraer la información, es más fácil /robots.txt

Fabián Vega Alcota

student•

Tuve algunos problemas activando el virtual enviroment en Ubuntu por lo que aquí les dejo lo que me ayudo a solucionarlo link Aunque lo que necesite fue solo estos comandos: Esto crea el entorno virtual e instala python3

virtualenv -p /usr/bin/python3 venv

Luego se ejecuta el archivo activate (Asegurate de estar ya en la carpeta del proyecto)

source venv/bin/activate

Héctor Soto Huamaní

student•

Gracias crack!

Tomás Lautaro Elizondo

student•

Gracias !!

Francisco Garcia [C6]

student•

Tengo Ubuntu 20.04.1 LTS, y tuve algunos problemas en la instalación, lo solucione de la siguiente forma: Instalando por separado y en esta secuencia

sudo apt-get update
sudo apt-get install python3-pip
sudo pip3 install requests
sudo pip3 install lxml
sudo pip3 install autopep8

dalai aguirre jimenez

student•

no es recomendable utilizar sudo para instalar paquetes de pip3

Francisco Garcia [C6]

student•

Ok, gracias

Carlos Andres Ocampo Pabon

student•

No hay problema si se les llega a cerrar Visual Studio o se les apaga el computador ya el entorno virtual ya queda con los paquetes instalados. Lo único que deben hacer es volver a activar el ambiente virtual con el comando ".\venv\Scripts\activate" por ejemplo si están en windows. Además si desean saber qué paquetes tienen instalados en su entorno virtual solo basta con escribir el comando:

pip freeze

Angello Villanueva Menichetti

student•

Aquí algunas recomendaciones para los que usan Ubuntu o tienen problemas: Siempre antes de instalar algo usar:

sudo apt-get update

Algunos deberan instalar pip pero si lo hacen y les sale un error de distutils usen:

sudo apt-get install python3-distutils

Luego instalen el get-pip.py Una vez instalado deberan instalar lo necesario para generar entornos virtuales y pueden usar el siguiente comando:

sudo apt-get install python3-venv

Y por ultimo algo que todos pueden usar. En ubuntu puedes crear archivos desde la terminal y abrirlos directamente en VSCode:

$ code .gitignore

Jeancarlo

student•

facundo sos crack

rusbel bermúdez rivera

student•

Hola les dejo mis notas del curso

https://github.com/rb-one/curso-webscrapping-con-xpath-/blob/master/Notes/notes.md

Mario Alberto García Meza

teacher•

Cuando se hace update de pip dentro del entorno virtual sólo aplica para el mismo, cierto? tendría que hacer update en el entorno global para tener pip actualizado en general?

Alex Camacho

teacher•

Sí, para actualizar de forma global tiene que ser fuera del entorno virtual.

Moisés Manuel Morín Hevia

student•

Totalmente, solo sería de forma virtual.

Giuseppe Vitale

student•

Quien esta utilizando, como en mi caso, la terminal de git bash en windows 10, tendra' que:

crear entorno virtual

winpty python -m venv venv

activar venv

. venv/Scripts/activate

Jose Luis Flores Rojas

student•

tambien se puede hacer con anaconda

Gustavo Medina

student•

Me gusta como Facundo explica cada clase. Se entiende a la perfeccion. Gracias

Francisco Javier Suarez Verdugo

student•

Estupenda explicación paso a paso durante la creación del entorno adecuado de nuestro proyecto instructor Facundo, me agrado que nos indicaras el porqué de cada comando para poder comprender mejor el funcionamiento que tienen e incluso resaltaste la importancia de tener pip actualizado y como hacerlo.

Jose Reinaldo Roca Cruz

student•

Soy nuevo en Visual Studio que extensiones me recomiendan??

Alan Vazquez

student•

Depende de para que lo vayas ha usar mayormente, pero de uso general independientemente del lenguaje y todo eso yo te remcomendaria:

.gitignore Generator
Ayu
Bracket Pair Colorizer 2
Git History
GitLens
ident-rainbow
markdownlint
Material Icon Theme
Path Intellisense
Prettier - Code formatter
Project Manager
Rainbow CSV
Settings Sync
Visual Studio ItelliCode

Seria de que las revisaras y checaras cuales te interesan

Jose Reinaldo Roca Cruz

student•

@AlanVazquez realmente muchas gracias,las revisare para añadirlas.

Un proyecto para tu portafolio: scraper de noticias

Introducción al web scraping

¿Qué es el web scraping?

¿Por qué aprender web scraping hoy?

Python: el lenguaje más poderoso para extraer datos

Fundamentos de la web

Entender HTTP

¿Qué es HTML?

Robots.txt: permisos y consideraciones al hacer web scraping

XML Path Language

XML Path Language

Tipos de nodos en XPath

Expresiones en XPath

Predicados en Xpath

Operadores en Xpath

Wildcards en Xpath

In-text search en Xpath

XPath Axes

Resumen de XPath

Aplicando lo aprendido

Proyecto: scraper de noticias

Un proyecto para tu portafolio: scraper de noticias

Construcción de las expresiones de XPath

Obteniendo los links de los artículos con Python

Guardando las noticias en archivos de texto

Conclusiones

Cómo continuar tu ruta de aprendizaje