¿Qué es hacer scrapping?

Clase 26 de 34 • Curso de Ruby 2017

Lenyn Alcantara

student•

Dejo una versión que avanza de página si encuentra una página a la cuál avanzar.

require 'nokogiri'
require 'open-uri'

url = 'http://www.reactiongifs.com/'
posts = []
moreEntries = true
while moreEntries do
	puts "Chequeando: #{url}"
	puts '-------------------------'
	document = Nokogiri::HTML(open(url)).css('div#main')
	document.css('div.post').each do |post|
		gif = {:title => post.css('h2 > a').text, :img => post.css('img').attr('src')}
		posts << gif
	end

   	moreEntries = document.css('div.nav-entries > div.nav-next').count > 0 ? true : false
   	if moreEntries then
   		url = document.css('div.nav-entries > div.nav-next > a').attr('href')
   	end
end

P.D: debo decir que tiene una falla en la página 13, parece que no hubiera etiqueta img con su atributo ‘src’, pero por tiempo no estoy revisando que es, vamos a ver si ayuda alguien a solventar la falla._

Oscar Téllez

student•

La falla es porque no existe la imagen. Aparece en la web pero es un contenido embebido por lo que la estructura que buscamos no existe en ese post.
Con esta pequeña modificación he llegado al menos hasta la pagina 400 y algo sin ninguna falla:

require 'nokogiri'
require 'open-uri'

url = 'http://www.reactiongifs.com/'
posts = []
moreEntries = true
while moreEntries do
	puts "Chequeando: #{url}"
	puts '-------------------------'
	document = Nokogiri::HTML(open(url)).css('div#main')
	document.css('div.post').each do |post|
		unless post.css('img').empty?
			gif = {title: post.css('h2').text, img: post.css('img').attr('src')}
			posts << gif
			puts gif[:title]
			puts gif[:img]
		end
	end

   	moreEntries = document.css('div.nav-entries > div.nav-next').count > 0 ? true : false
   	if moreEntries then
   		url = document.css('div.nav-entries > div.nav-next > a').attr('href')
   	end
end

Lenyn Alcantara

student•

Excelente @oscartzgz, gracias por ayudar con la falla.

Nathaly Stefani Riaño Bejarano

student•

Web Scraping es el proceso de extracción de información de los recursos que se encuentran en la World Wide Web y la clasificación de datos no estructurados (generalmente se encuentran en páginas HTML) en forma estructurada, como hojas de cálculo o tablas de bases de datos.

Felipe Eduardo Galindo Hernández

student•

Woow! me pareció muy interesante esta clase, creo que esto de hacer scrapping me va a ser de utilidad…

Ruben Eduardo Acosta Vela

student•

Al instalar la gema me sale este error:

Fetching: mini_portile2-2.3.0.gem (100%)
Successfully installed mini_portile2-2.3.0
Fetching: nokogiri-1.8.2.gem (100%)
Building native extensions. This could take a while…
ERROR: Error installing nokogiri:
ERROR: Failed to build gem native extension.
.
.
.
.
/usr/lib/ruby/2.3.0/mkmf.rb:456:in `try_do’: The compiler failed to generate an executable file. (RuntimeError)
You have to install development tools first.

Ruben Eduardo Acosta Vela

student•

Lo curioso es que la encontre en el Synaptic de Debian, y desde allí si la instalo bien. 😃

Diego Forero

Team Platzi•

Te faltan las herramientas de desarrollo para tu sistema, esto permite hacer tareas de compilación, cuando lo instalas de synaptic ya descargas el binario, pero para el ruby general no para un proyecto en particular, es bueno que instales las devtools dependiendo de tu sistema.

require 'nokogiri'
require 'open-uri'

url = 'http://www.reactiongifs.com/'
posts = []
moreEntries = true
while moreEntries do
	puts "Chequeando: #{url}"
	puts '-------------------------'
	document = Nokogiri::HTML(open(url)).css('div#main')
	document.css('div.post').each do |post|
		gif = {:title => post.css('h2 > a').text, :img => post.css('img').attr('src')}
		posts << gif
	end

   	moreEntries = document.css('div.nav-entries > div.nav-next').count > 0 ? true : false
   	if moreEntries then
   		url = document.css('div.nav-entries > div.nav-next > a').attr('href')
   	end
end

require 'nokogiri'
require 'open-uri'

url = 'http://www.reactiongifs.com/'
posts = []
moreEntries = true
while moreEntries do
	puts "Chequeando: #{url}"
	puts '-------------------------'
	document = Nokogiri::HTML(open(url)).css('div#main')
	document.css('div.post').each do |post|
		unless post.css('img').empty?
			gif = {title: post.css('h2').text, img: post.css('img').attr('src')}
			posts << gif
			puts gif[:title]
			puts gif[:img]
		end
	end

   	moreEntries = document.css('div.nav-entries > div.nav-next').count > 0 ? true : false
   	if moreEntries then
   		url = document.css('div.nav-entries > div.nav-next > a').attr('href')
   	end
end

¿Qué es hacer scrapping?

Introducción a Ruby

¿Qué es Ruby?

Introducción al Curso de Ruby

Instalación en Windows

Operaciones y variables

Estructuras selectivas

Calcular si un número es par

Definición e invocación de métodos

Arreglos

Estructuras repetitivas

Métodos, blocks y procs

Argumentos y valores de retorno

Métodos de arreglos, hashes

Fibonacci con Ruby

Blocks, procs y lambdas

Lectura de archivos

Manejo de excepciones

Programación Orientada a Objetos

Objetos y clases en Ruby

Scope de variables

Encapsulamiento

Herencia

Simulador de patos

Mixins

Polimorfismo

Gemas

Buenas prácticas

Testing

Convenciones de código, rubocop

Proyecto: Scrapping

¿Qué es hacer scrapping?

Descargar una lista de archivos

Proyecto: Aplicación web, consumiendo API

Hacer una app sencilla

Usar API

Hacer deploy

Conclusiones

Cierre del curso

Retos/Desafíos

Juego de adivina el número

Modelar un televisor

Aplicación Web