Entender HTTP

Clase 4 de 21 • Curso de Fundamentos de Web Scraping con Python y Xpath

Pablo Amador Hernández Román

student•

Códigos de estado HTTP más comunes

Status code 200 – OK. Status code 301 – Moved Permanently. Status code 302 – Moved Temporarily. Status code 403 – Forbidden Status code 404 – Not Found Status code 500 – Internal Server Error Status code 503 – Service Unavailable

https://www.ionos.com/digitalguide/hosting/technical-matters/the-most-important-http-status-codes-at-a-glance/

Jorge David Duque Agudelo

student•

Me parece que son los más usados, pero yo le sumaría el status code 202 - Acepted para cuando se realizan procesos en batch asíncronos.

Francisco Garcia [C6]

student•

gracias por el resumen

Alejandro Giraldo Londoño

student•

RESUMEN: Fundamentos de la WEB

■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■

HTTP: Hypertext Transfer Protocol

Conjunto de reglas por el cual dos computadores se comunican. Un cliente y un servidor. El cliente realiza peticiones a servidores.

Una petición se ve así:

# Request
GET / HTTP/1.1
Host: developer.mozilla.org  Accept-Language: fr

# Response  HTTP/1.1 200 OK
Date: Sat, 09 Oct 2010 14:28:02 GMT
Server: Apache
Last-Modified: Tue, 01 Dec 2009 20:18:22 GMT  ETag: "51142bc1-7449-479b075b2891b"
Accept-Ranges: bytes  Content-Length: 29769  Content-Type: text/html
<!DOCTYPE html... (here comes the 29769 bytes of the  requested web page)

HEADERS Permiten al cliente y el servidor passar información adicional con un request o response HTTP. Pueden agruparse en las siguientes categorías:

Generales : Aplica para request y responses pero no tiene relación con la data transmitida en el cuerpo
Request : Contienen más información acerca del recurso a ser fetch (extraer)
Response : Contiene información adicional sobre respuestas. Como ubicación o el Server provider.
Entity : Contien información acerca del recurso del cuerpo.

Existen muchas cabeceras o headers como:

Accept
Authorization
Link
Location
Save-Data

Puedes consultar aquí toda la documentación sobre las cabeceras o Headers

HTTP nos permite transportar, HTML, CSS, webAPIs, Js. Y se vale de protcolos como IP, TCP, UDP para comunicarse con el servidor, mediante TLS se hace la encriptación Y el DNS asigna nombres a direcciones IP.

STATUS CODE :

Los estados son la forma en que el servidor da respuesta de las peticiones.

1.- Respuestas informativas (100–199). 2.- Respuestas satisfactorias (200–299). 3.- Redirecciones (300–399). 4.- Errores de los clientes (400–499). 5.- Errores de los servidores (500–599).

La siguiente hace parte de la documentación de Mozilla:

STATUS RESPONSE

MANEJO DE STATUS CODES

Una opción rápida para manejarlas es usar la librería Request

Shell*

1. Abre un ambiente virtual.
2. En la carpeta de trabajo: pip install request

Luego en pyhton

## Una idea sobre el manejo de los status Code.

import requests

response_platzi = requests.get('https://api.platzi.com')
print(response_platzi)
# <Response [404]>

if response_platzi.status_code == 200:
    print("Aquí tienes lo que buscas")
elif response_platzi.status_code == 400:
    print("Ups, no puedo darte nada en el momento. Nosotros nunca paramos de mejorar <3")

Un artículo para profundizar en cómo manejar la librería request y como manejar los status code: Request Tutorial

Rodrigo Rodriguez

student•

Wow, gracias por tu aporte, muy genial!

Moisés Manuel Morín Hevia

student•

Buen resumen !

Luis Fernando Úbeda Camacho

student•

![](

Juan Nuñez

student•

Códigos de estatus: 1xx - INFO 2xx - SECCESS 3xx - REDIRECT 4xx - ERROR CLIENT 5xx - ERROR SERVER Cabeceras: ACCEPT: tipos de contenido aceptados CACHE-CONTROL: políticas de caché CONNECTION: tipo de conexión COOKIE: cookies enviadas al servidor DATE: fecha y hora de petición HOST: nombre de dominio o dirección IP UPGRADE: pide que el servidor actualice versión de http

Jozik Michael Patzi Crespo

student•

Como aporte, encontrè una agrupaciòn de los còdigos de estado de respuesta de la solicitud desde HTTP:

1.- Respuestas informativas (100–199). 2.- Respuestas satisfactorias (200–299). 3.- Redirecciones (300–399). 4.- Errores de los clientes (400–499). 5.- Errores de los servidores (500–599).

victor Manuel Peña Torres

student•

me gusta este resumen, es justamente la parte inicial de la documentacion de mozzilla y si bien son pocos los codigos que se usa normalmente tener esta lista en mente nos ayudaria a entender rapidamente el camino de nuestro error.

Santiago Gomez Florez

student•

Jorge David Duque Agudelo

student•

Bueno con respecto a los Status Code, los explicaría de la siguiente forma: Status code 200 - OK = La petición de datos ha sido exitosa. Status code 202 - Acepted = La información enviada ha sido recibida, y preparada para procesarse. Status code 301 - Moved Permanently = La uri que se quiere acceder, obtuvo una actualización y ya se encuentra con otro nombre. Status code 400 - Bad Request = El servidor no pudo entender la petición realizada por el cliente. Status code 403 - Forbidden = El cliente no posee los permisos necesarios para realizar esta petición. Status code 404 - Not Found = El servidor no encontro la información solicitada por el cliente. Status code 500 - Internal Server Error = El error tuvo un error al momento de procesar la petición. Status code 503 - Service unavailable= El servidor se encuentra en mantemiento o aún no está listo para recibir peticiones.

Con respecto a las cabeceras de una petición Http las más comunes que he visto son: Authorization = Utilizada para enviar la llave de acceso de un usuario al servidor, y poder autenticarlo. Accept = Especifica el tipo de dato que se envía de respuesta. Access-Control-Allow-Origin = Especifica que la respuesta del servidor a quienes puede ser compartida Content-Length = Especifica el tamaño en caracteres de la respuesta obtenida Content-Type = Especifica el tipo de dato enviado en la petición http. User-Agent = Especifica que tipo y versión de navegador, aplicación o sistema operativo fue el que realizó la petición al servidor. Referer = Indica desde cual página fue redireccionada la petición.

Sandra Liliana Delgado Gómez

student•

HTTP Status Codes 1xx = Informe 2xx = éxito 3xx = Redirección 4xx = Error de Cliente 5xx = Error de Servidor

Headers Nombre de la cabecera Accept Accept-Charset Accept-Encoding Accept-Language Accept-Datetime Authorization Cache-Control Connection Cookie Content-Length Content-MD5 Content-Type Date Forwarded From Host Max-Forwards Origin Pragma Proxy-Authorization Range Referer [sic] User-Agent Upgrade Warning

Jose Reinaldo Roca Cruz

student•

Desde mi punto de vista creo que las 4 mas usuales respuestas de status.code son:

200 Todo salio bien
400 Mal requerimiento
401 No existe autorización,esto es muy usual cuando queremos acceder a una Appi sin token
404 Este es con el que menos queremos toparnos y el mas común,que nuestra respuesta no fue encontrada

Javier Daza

student•

Usualmente, trabajando en la web logras ver más. Y si trabajas con APIS, es probable que también te encuentres con estos otros códigos:

201 Creado (Creaste un recurso) 301 Movido permanentemente (y se responde con una nueva URL) 500 Error interno del servidor (te equivocaste en algo en tu código) 503 Servicio no disponible (El servidor se cayó por mantenimiento o demasiado tráfico)

Jose Colmenares

student•

Cuando profe dice que hay muchas más cabeceras HTTP es porque realmente hay muchas más. Mozilla tiene una lista aquí: https://developer.mozilla.org/es/docs/Web/HTTP/Headers

Mauricio Gomez

student•

En general los Status Code de HTTP son:

1XX: Informational: El servidor informa al cliente que su solicitud está en proceso. 2XX: Succes: Informa una operación exitosa 3XX: Redirection: Muestra que el servidor recibio la solicitud del cliente, sin embargo son necesarios pasos adicionales **4XX: Cliente Error: **El servidor recibio la solicitud del cliente, sin embargo no se pudo completar. 5XX: Server Error: El servidor fallo al intentar realizar la solicitud

Más información

Cabeceras HTTP:

Existen cabeceras de: Autenticación - Almacenamiento de Caché - Indicaciones sobre el cliente - Condicionales - Gestión de conexiones - Negociación de contenido - Controles - Cookies - CORS - Cabeceras sin seguimiento - Descargas - Mensajes sobre la información del cuerpo - Proxies -Redirecciones - Contextos de petición - Contextos de respuesta - Peticiones de rango - Seguridad - Eventos enviados por el servidor - Codificación de transferencia - WebSockets - Otros

Algunos ejemplos:

Last-Event-ID
Content-Security-Policy
X-Forwarded-Proto
Set-Cookie

Más información

Orlando Ramirez

student•

Investigando un poco más sobre HTTP 2.0 encontré esta imagen que me parece excelente para entenderlo ![](

Está en el artículo de wikipedia de HTTP 2.0 También me pareció interesante saber que se está trabajando en HTTP3.0. Acá un poco más de información sobre headers HTTP

Y con respecto a los códigos de estado tenemos:

Del 100 al 199 Son respuestas informativas.
Del 200 al 299 Respuestas satisfactorias.
Del 300 al 399 Redirecciones.
Del 400 al 499 Errores del cliente.
Del 500 al 599 Errores del servidor.
Dando énfasis en:
100 continue = Indica que todo está bien y que el cliente debe continuar con su solicitud o ignorarla si ya terminó.
200 OK = La solicitud tuvo éxito.
202 Accepted = Se recibió la solicitud, pero no se hace nada mas. Es usada para cuando otro proceso o servidor maneja la solicitud, también sirve para el procesamiento por lotes(batches).
304 Not Modified = Es usada en caché. Le indica al cliente que no se ha modificado. Entonces se sigue usando la misma versión que lo que está guardado en Caché.
404 Not Found = No se encontró el contenido solicitado.
500 Internal server error = el servidor tiene un problema y no sabe como manejarlo.

Eduardo Romero

student•

Podrian indicarme cuales son los cursos o la mejor ruta para aprender mucho sobre Scraping?

Luis Lira

student•

Hola! Podrías mandar un correo a team@platzi.com para que te den una ruta más acorde a tus necesidades :D

Sebastián Andrade

student•

Hola, si no estoy mal esta el curso de web scraping extraccion de datos de la web, el de scrapy y el de selenium (que aunque no es solo para web scraping tambien funciona para ello) pero sobre todo trata de practicar mucho

Juan David Sánchez

student•

Los HTTP Status Codes están agrupados de esta forma:

1xx: Informacionales
2xx: Exitosos
3xx: Redirecciones
4xx: Error de parte del cliente
5xx: Error de parte del servidor

Encontré este Top 10 de los status code de HTTP más utilizados:

200 OK: La solicitud ha tenido éxito.
201 Created: La solicitud se ha cumplido y el recurso se ha creado con éxito.
204 No Content: La solicitud se ha cumplido pero no necesita retornar un cuerpo.
304 Not Modified: En caso de que el cliente realice un GET condicional y el acceso se permita, pero el documento no haya sido modificado.
400 Bad Request: La solicitud no fue entendida por el servidor por una sintaxis malformada.
401 Unauthorized: La solicitud requiere de autenticación.
403 Forbidden: El servidor entendió la solicitud, pero se niega a cumplirla.
404 Not Found: El servidor no encontró nada que coincida con la URI que se le envió.
409 Conflict: La solicitud no pudo ser completada por un conflicto con el estado actual del recurso.
500 Internal Server Error: El servidor encontró una condición inesperada que previene el completar la solicitud.

Fuente: https://www.restapitutorial.com/httpstatuscodes.html

Alejandro Teran

company_admin•

Camilo Puentes

student•

Les comparto todas las cabeceras de HTTP que encontré: https://es.wikipedia.org/wiki/Anexo:Cabeceras_HTTP#:~:text=Las%20Cabeceras%20HTTP%20son%20los,sobre%20la%20transacci%C3%B3n%20en%20curso.

FRANCISCO VITERI

student•

HTTP Status_code: Informational responses (100–199) Successful responses (200–299) Redirects (300–399) Client errors (400–499) Server errors (500–599)

Elsa Galindo Vega

student•

Los códigos de estado de respuesta HTTP indican si se ha completado satisfactoriamente una solicitud HTTP específica. Las respuestas se agrupan en cinco clases:

Respuestas informativas (100–199),
Respuestas satisfactorias (200–299),
Redirecciones (300–399),
Errores de los clientes (400–499),
y errores de los servidores (500–599).

rusbel bermúdez rivera

student•

Hola les dejo mis notas del curso

https://github.com/rb-one/curso-webscrapping-con-xpath-/blob/master/Notes/notes.md

Cristian Nicolás Pereira

student•

Status code: Son emitidos por un servidor en respuesta a la solicitud de un cliente hecha al servidor.

1xx Informational Response: Una respuesta informativa indica que el pedido fue recibido y entendido.

100-Continue: El servidor recibió la solicitud de encabezados y el cliente debería hacer una petición al body.

# Request
GET / HTTP/1.1
Host: developer.mozilla.org  Accept-Language: fr

# Response  HTTP/1.1 200 OK
Date: Sat, 09 Oct 2010 14:28:02 GMT
Server: Apache
Last-Modified: Tue, 01 Dec 2009 20:18:22 GMT  ETag: "51142bc1-7449-479b075b2891b"
Accept-Ranges: bytes  Content-Length: 29769  Content-Type: text/html
<!DOCTYPE html... (here comes the 29769 bytes of the  requested web page)

## Una idea sobre el manejo de los status Code.

import requests

response_platzi = requests.get('https://api.platzi.com')
print(response_platzi)
# <Response [404]>

if response_platzi.status_code == 200:
    print("Aquí tienes lo que buscas")
elif response_platzi.status_code == 400:
    print("Ups, no puedo darte nada en el momento. Nosotros nunca paramos de mejorar <3")
    

Entender HTTP

Introducción al web scraping

¿Qué es el web scraping?

¿Por qué aprender web scraping hoy?

Python: el lenguaje más poderoso para extraer datos

Fundamentos de la web

Entender HTTP

¿Qué es HTML?

Robots.txt: permisos y consideraciones al hacer web scraping

XML Path Language

XML Path Language

Tipos de nodos en XPath

Expresiones en XPath

Predicados en Xpath

Operadores en Xpath

Wildcards en Xpath

In-text search en Xpath

XPath Axes

Resumen de XPath

Aplicando lo aprendido

Proyecto: scraper de noticias

Un proyecto para tu portafolio: scraper de noticias

Construcción de las expresiones de XPath

Obteniendo los links de los artículos con Python

Guardando las noticias en archivos de texto

Conclusiones

Cómo continuar tu ruta de aprendizaje