Walter Rivarola
PreguntaEstoy desarrollando una pagina web y me pidieron poder insertarle noticias y que esta se vaya actualizando automanticamente, vi el video de web scraping, pero no le llegue a enteder bien, porque muestra para una imagen, pero no cuando cuando es mas que una imagen.
Diego Forero
Hola la funcionalidad es igual, solo que tienes que iterar por las noticias y buscar los tags o clases html que te interesa traer.
En tu caso primero tienes que hacer scrapping de la página home, de allí obtienes los enlaces a las noticias, esto lo guardas en un array para tener todas las noticias que quieres guardar, luego recorres ese array y vas item a item haciendo el scrapping de cada una de las páginas.
Este es el proceso lógico de como tienes que hacerlo, y es similar al ejemplo del curso, solo que no bajas solo la imagen y las urls no tienen un patron de números.
Para hacerlo cada cierto tiempo puedes usar en linux puedes usar cron jobs para ejecutar periódicamente el script y tienes que validar si ya algunas de las urls ya existen para no volver a guardarlas y que te queden repetidas.
Si no sabes de cron jobs puedes ver el curso de terminal y en especial este video https://platzi.com/clases/terminal/concepto/complementos-del-curso1101/crontab/material/ donde se explica como se configura.
Espero sea de ayuda la explicación.
