Curso de Scrapy

Curso de Scrapy

Facundo Garc铆a Martoni

Facundo Garc铆a Martoni

Instalaci贸n de Scrapy en Windows

5/27
Recursos

Aportes 34

Preguntas 5

Ordenar por:

Los aportes, preguntas y respuestas son vitales para aprender en comunidad. Reg铆strate o inicia sesi贸n para participar.

Amigos si tienen problemas instalando el scrapy en windows les digo como lo hice yo ya que me dio algunos problemas

primero instalen el wheel

pip install wheel

luego necesitan instalar el twisted pero aqui hay un paso ya que al menos a mi no me dejo con pip install twisted

Descarguen laversion del twisted desu sistema operativo de este sitio

Twisted

En mi caso fue Twisted鈥20.3.0鈥慶p38鈥慶p38鈥憌in_amd64.whl por laversion 3.8 de python que tengo, lo puedes identificar por el cp38 esa es laversionde tu python pero eso no es todo, ya que al menos cualquiera que fuera laversionque bajara, fuera 64 o 32 me daba que el formato no era valido para eso cambien el nombre del archivo que bajaron, siguiendo mi ejemplo anterior

Twisted鈥20.3.0鈥慶p38鈥慶p38鈥憌in_amd64.whl lo cambian a lo siguiente
Twisted鈥20.3.0鈥慶p38鈥慶p38鈥憌in32.whl y ahora asegurandose que el archivo este en la misma carpeta desu proyecto ejecutan

pip install Twisted-20.3.0-cp38-cp38-win32.whl

y por ultimo ejecutan

pip install scrapy

Espero les sirva por que me tomo 1 hora instalar el scrapy entre foro y foro xD y pues perdi tiempo de estudio, para queno les pase 馃槃

No solo aprendemos acerca de scrapy,sino tambi茅n el uso de git y la consola

Solo recordar que esos alias duran solo la sesi贸n de la terminal. Se tiene que configurar para que sea permanente y var铆a dependiendo del sistema operativo.

Adem谩s, solo es v谩lido para esa ubicaci贸n en donde se est谩 ejecutando. En otra ubicaci贸n dar铆a un error.

He visto que algunos tiene problemas al instalar Scrapy, le cuento como lo hice yo:

1. Instal茅 Anaconda https://www.anaconda.com/products/individual

  • Anaconda me encanta ya que viene con una consola que puedes usar casi todos los conmandos de unix en windows adem谩s te sirve para git y ya viene con un ambiente virtual preinstalado adem谩s de python.

2. Antes de instalar Scrapy deben instalar otros paquetes para que la libreria corra perfectamente:

  • En la consola de Anaconda prompt instalada previamente escribir:
  • pip install twisted lxml pyOpenSSL

3. Lo siguiente m谩s l贸gico es instalar Scrapy:

  • pip install scrapy autopep8

4. A gozar del scraping 馃榾

Cualquier duda pueden visitar este sitio web ac谩

pip install scrapy autopep8```

Cuando tienes muchas dependencias por instalar puedes crear un archivo requirements.txt, escribir dentro las librerias a instalar por ejemplo

1 Scrapy
2 numpy
3 pandas
4 

Y as铆 con todas las librerias 馃槈

Luego ejecutar

pip install -r requirements.txt

Y listo, suerte 馃槃

Para activar el entorno en 3.8 - 3.10:

source 鈥榥ombre del entorno鈥/bin/activate

ya estoy acostumbrado a crear el directorio, el git, el venv el gitignore y los requerimientos.txt gracias a los cursos anteriores de Facundo

 alias entorno=venv\Scripts\activate

Un Framework sirve para poder escribir c贸digo o desarrollar una aplicaci贸n de manera m谩s sencilla. Es algo que permite una mejor organizaci贸n y control de todo el c贸digo elaborado, as铆 como una posible reutilizaci贸n en el futuro.

Hola, de mi lado solucion茅 el inconveniente actualizando primero el pip y despues si proced铆 a instalar las librerias de 鈥渟crapy鈥 y 鈥渁utopep8鈥

pip install scrapy autopep8

Saludos

Bueno si alguno tiene problemas con instalar scrapy, yo sugiero instalar anaconda primero en https://www.anaconda.com/products/individual y luego usar el siguiente comando para tener scrapy:
conda install -c conda-forge scrapy

Y el autopep8 si funciona normal con el siguiente comando:
pip install autopep8

Para los que usan WSL2, si cada tanto les arroja error de timeout al instalar un paquete random con , con este comando ya dejan de tener esos errores:

python -m pip install <nombre_del_paquete>

Para crear un alias en Windows tuve que usar doskey:
doskey entorno=venv\Scripts\activate

Instalar dependencias: pip install scrapy autopep8

Yo los entornos los creo en mini conda con conda create. Ahi los comandos de instalacion que proponen con conda install funcionan bien.

En mi caso no pude instalar scrapy a la primera, la consola arrojaba un error y en resumidas cuentas decia que actualice pip. Segui el enlace que ahi misma indicaba y encontre ahi la instruccion para hacerlo:

python -m pip install -U pip

luego volvi a instalar scrapy y funciono.

interesante

para el virtual enviroment tambi茅n se puede usar:
virtualenv [nombre del ambiente virtual]
ex:
virtualenv venv
source venv/bin/activate
para desactivar:
deactivate venv

Es mas facil en Spyder

Si tienen algun problema con la instalacion de scrapy usar sudo apt install python3-scrapy

a mi me costo bastante trabajo, lo logre hacer por anaconda que se me hizo mas facil , les dejo el link para que lo miren

Vamos con toda!!

Crear un alias para mac:
alias entorno=venv/bin/activate

Haciendo uso de los cursos de git y la terminal, excelente como debe ser cada proyecto.

Si estan usando el emulador de UNIX como Bash, para activar el enterno virtual usar source venv/bin/activate

yo solucione el error de Failed building wheel for twisted instalando
Microsoft C++ Build Tools
y en ese instalando Herramientas de compilacion de C++,
luego

pip install scrapy 

para los que tenga problemas instalando scrapy con pip, otra opcion mas sencilla es usar anaconda, aqu{i hay un instructivo bastante sencillo, con anaconda ya instalado, solo deben escribir el siguiente comando cuando este en cosoloa, no es obligatorio estar en la carpeta del proyecto

conda create -n myenv python=3.8 scrapy autopep8

('myenv' puede ser sustituido por el nombre que ustedes quieran darle a su entorno, y python=[aqui ponen la versin de python que quieran tener en su ambiente])

este comando crea un ambiente con el nombre que le asignen, la version de python que quieran usar y las librerias que quieran tener en su entorno, si quieren agregar mas librerias solo deben teclear [space] y el nombre de la libreria

una ves ses ejecute todo, para activar su entorno solo escriben

conda activate [nombre del entorno]

y para desactivar solo escriben

conda deactivate

si tienen problema con instalar Scrappy. chequen si tienen instalado anaconda. Si ya tienen anaconda instalado solo copien y peguen esta linea:
conda install -c conda-forge scrapy
y listo, tal vez les pida que actualicen su anaconda pero si funciona.
Saludos

Me paso esto

Para aquellos que tienen muchos problemas para la instalaci贸n de los paquetes, y dem谩s desarrollo de c贸digo les recomiendo al menos ver las clases de la 7 a la 9 esto para tener un entorno de desarrollo adecuado en Windows! y no tener tantas complicaciones.

Interesante

Si han tenido problemas instalando Scrapy y haciendo los entornos virtuales, hice un peque帽o tutorial para hacer todo un poquito mas f谩cil: https://diegonaranjo-43494.medium.com/crear-ambientes-virtuales-desde-vs-code-e-instalaci贸n-de-scrapy-en-ambientes-aislados-ac66b6cf2542 Espero les pueda facilitar un poco las cosas.