Reto: Obtén datos de la liga española de fútbol

Clase 18 de 34 • Curso Profesional de Ciencia de Datos 2019

Contenido del curso

Basicos para el curso

Web scraping con R

Adecuación y Análisis descriptivo de los datos

Aplicando modelo no supervisado: Kmeans

Modelo en producción

Representación de los resultados del modelo

Cierre del curso

34
Conclusiones
00:58 min

Tomar examen

Obtén datos de los jugadores con la técnica webscrapping y R

A partir del sitio web https://www.laliga.es/laliga-santander, dirígete a la página de cada equipo y obtén la siguiente información de cada jugador :

Nombre del jugador
Equipo
Peso
Altura
Minutos jugados
Partidos jugados
Partidos jugados enteros
Partidos jugados como titular
Partidos sustituido
Tarjetas amarillas
Tarjetas rojas
Doble amarilla
Goles
Penaltis
Goles en propia puerta
Goles encajados.

Pista: Evalúa descargarte la tabla de estadísticas con parte de la información con html_table. Utiliza el paquete Rvest para descargar toda esta información, guarda y almacena toda la información en único _dataframe _y guárdalo también en un archivo csv en tu computadora.

Una vez que hayas logrado obtener los datos de cada equipo y cada jugador, tendrás un conjunto de datos a limpiar. La limpieza la realizarás en el siguiente módulo.

Comentarios

Buzu B

student•

Para quienes están atorados, les dejo un empujoncito:

 # install.packages("rjson")

library(rvest)
library(rjson)

clubs_list_url <- 'https://www.laliga.com/laliga-santander/clubes'
clubs_list_page <- read_html(clubs_list_url)
json_data <- html_node(clubs_list_page, '#__NEXT_DATA__')
json_data_value <- html_text(json_data)
teams_data <- fromJSON(json_data_value)

getLink <- function (lista) lista$slug

teams_urls <- lapply(teams_data$props$pageProps$teams, getLink)
teams_urls <- paste0('https://www.laliga.com/clubes/', teams_urls)

getTeamMembers <- function(team_url) {
  team_page <- read_html(team_url)
  player_links <- html_nodes(team_page, 'a[href^="/jugador/"]')
  player_urls <- html_attr(player_links, 'href')
  player_urls
}

members <- sapply(teams_urls, getTeamMembers)

Luis Eduardo Cortes Mier

student•

Una pregunta amigo, ¿De donde sacaste esto: "#NEXT_DATA" ese se supone es el selector ? en que le diste clic derecho para inspeccionar?

Nicolás Neira Navarrete

student•

¿De dónde sale el '#NEXT_DATA' ?

Christian Mahonry Colorado Bulbarela

student•

Les comparto mi código, realice el scraping a la web de la ligas mexicana (https://ligamx.net/), obtengo muchos NA pero es porque no todos los jugadores tienen los mismos selectores para obtener sus datos.

library(rvest)
library(stringr)
library(readr)

url &lt;- &quot;https://ligamx.net&quot;
indices &lt;- c(1:18)

# Creamos los selectores de todos los equipos de la liga mexicana
selectores &lt;- &quot;#teamLogos &gt; li:nth-child(1) &gt; a&quot;
selectores &lt;- str_replace_all(selectores, &quot;1&quot;, as.character(indices))

# Recorremos todos los selectores para obtener los linsk a la pagina de cada equipo
equipos_links &lt;- list()

for (i in 1:18){
  pagina &lt;- read_html(url)
  nodo &lt;- html_node(pagina, selectores[i])
  equipos_links[[i]] &lt;- html_attr(nodo, &quot;href&quot;)
}

#Creamos los links completos a las paginas
equipos_links &lt;- paste0(url,equipos_links)

#Dentro de la pagina de cada equipo entramos a sus jugadores
getJugadores &lt;- function(url){
  selector &lt;- &quot;div.jugador &gt; a &quot;
  pagina &lt;- read_html(url)
  nodos &lt;- html_nodes(pagina,selector)
  hrefs &lt;- html_attr(nodos, &quot;href&quot;)
}

jugadores &lt;- sapply(equipos_links,getJugadores)
jugadores &lt;- as.vector(unlist(jugadores))
link_jugadores &lt;- paste0(url,jugadores)

#Funcion para obtener los datos de cada jugador
getInformacionJugadores &lt;- function(con){
    #Dentro de cada jugador obtenemos sus estadisticas
    con &lt;- url(con,&quot;rb&quot;)
    pagina &lt;- read_html(con)
    
    #nombre
    nombre &lt;- &quot;#infoJugador &gt; div &gt; div.detalle.col-xs-9 &gt; h1&quot;
    nombre_nodo &lt;- html_node(pagina,nombre)
    nombre_text &lt;- html_text(nombre_nodo)
    
    #equipo
    equipo &lt;- &quot;#infoJugador &gt; div &gt; div.detalle.col-xs-9 &gt; dl:nth-child(8) &gt; dd&quot;
    equipo_nodo &lt;- html_node(pagina,equipo)
    equipo_text &lt;- html_text(equipo_nodo)
    equipo_text &lt;- str_replace_all(equipo_text,&quot; para Apertura 2018 - Clausura 2020&quot;,&quot;&quot;)
    
    #peso
    peso &lt;- &quot;#infoJugador &gt; div &gt; div.detalle.col-xs-9 &gt; dl:nth-child(4) &gt; dd:nth-child(6)&quot;
    peso_nodo &lt;- html_node(pagina,peso)
    peso_text &lt;- html_text(peso_nodo)
    
    #altura
    altura &lt;- &quot;#infoJugador &gt; div &gt; div.detalle.col-xs-9 &gt; dl:nth-child(4) &gt; dd:nth-child(4)&quot;
    altura_nodo &lt;- html_node(pagina,altura)
    altura_text &lt;- html_text(altura_nodo)
    
    #nacionalidad 
    nacionalidad &lt;- &quot;#infoJugador &gt; div &gt; div.detalle.col-xs-9 &gt; dl:nth-child(3) &gt; dd:nth-child(6)&quot;
    nacionalidad_nodo &lt;- html_node(pagina, nacionalidad)
    nacionalidad_text &lt;- html_text(nacionalidad_nodo)
    
    #juegos jugados
    jj &lt;- &quot;#info &gt; div &gt; div &gt; div.col-lg-12 &gt; div &gt; p:nth-child(1) &gt; a &gt; span&quot;
    jj_nodo &lt;- html_node(pagina,jj)
    jj_text &lt;- html_text(jj_nodo)
    
    #juegos titular 
    jt &lt;- &quot;#info &gt; div &gt; div &gt; div.col-lg-12 &gt; div &gt; p:nth-child(2) &gt; a &gt; span&quot;
    jt_nodo &lt;- html_node(pagina,jt)
    jt_text &lt;- html_text(jt_nodo)
    
    #goles
    g &lt;- &quot;#info &gt; div &gt; div &gt; div.col-lg-12 &gt; div &gt; p:nth-child(3) &gt; span&quot;
    g_nodo &lt;- html_node(pagina,g)
    g_text &lt;- html_text(g_nodo)
    
    #Autogoles
    ag &lt;- &quot;#info &gt; div &gt; div &gt; div.col-lg-12 &gt; div &gt; p:nth-child(4) &gt; span&quot;
    ag_nodo &lt;- html_node(pagina,ag)
    ag_text &lt;- html_text(ag_nodo)
    
    #Minutos jugados
    mj &lt;- &quot;#info &gt; div &gt; div &gt; div.col-lg-12 &gt; div &gt; p:nth-child(5) &gt; a &gt; span&quot;
    mj_nodo &lt;- html_node(pagina,mj)
    mj_text &lt;- html_text(mj_nodo)
    
    #Tarjetas Amarillas
    ta &lt;- &quot;#info &gt; div &gt; div &gt; div.col-lg-12 &gt; div &gt; p.amarillo &gt; a &gt; span&quot;
    ta_nodo &lt;- html_node(pagina,ta)
    ta_text &lt;- html_text(ta_nodo)
    
    #Tarjetas rojas
    tr &lt;- &quot;#info &gt; div &gt; div &gt; div.col-lg-12 &gt; div &gt; p.rojo &gt; span&quot;
    tr_nodo &lt;- html_node(pagina,tr)
    tr_text &lt;- html_text(tr_nodo)
    
    resultado &lt;- c(nombre_text,equipo_text,peso_text,as.numeric(altura_text),nacionalidad_text,as.integer(jj_text),as.integer(jt_text),as.numeric(g_text),as.numeric(ag_text),as.integer(mj_text),ta_text,tr_text)
}

#Obteniendo datos
res &lt;- sapply(link_jugadores, getInformacionJugadores)


#Creando el Datafram
res &lt;- t(res)
View(res)


jugadores &lt;- as.data.frame(res)
colnames(res) &lt;- c(&quot;Nombre&quot;,&quot;Equipo &amp; Posicion&quot;,&quot;Peso&quot;,&quot;Altura&quot;,&quot;Nacionalidad&quot;,&quot;Juegos Jugados&quot;,&quot;Juegos Titular&quot;,&quot;Goles&quot;,&quot;Autogoles&quot;,&quot;Minutos Jugados&quot;,&quot;Tarjetas Amarillas&quot;,&quot;Tarjetas Rojas&quot;)
rownames(res) &lt;- c(1:618)
 
#creando el CSV

write.csv(res, file = &quot;Jugadores_mexico.csv&quot;)

Jessica Moreno Salinas

student•

Muchas gracias por compatir!

Miguel Rodríguez

student•

Yo saque los jugadores de la liga Mexicana de http://www.ligabbva.mx

library(rvest)
#Obetener URL de equipo
url <- "http://www.ligabbva.mx/cancha/estadisticahistorica"
selector <- "body > section:nth-child(17) > div > div.estadisticas-equipos > div:nth-child(1) > div > table > tbody > tr:nth-child(1) > td:nth-child(2) > a:nth-child(1)"
pagina <- read_html(url)
nodo <- html_node(pagina, selector)
nodo_texto <- html_text(nodo)
nodo_link <- html_attr(nodo, "href")

urlcompleta <- paste0("http://www.ligabbva.mx/", nodo_link)

library(stringr)
pag <- "cancha/club/"
lista_paginas <- c(1:30)
pag <- paste0(pag, lista_paginas)

paginas <- paste0("http://www.ligabbva.mx/", pag)

linksJugadores <- function(url){
  
  selector <- "div > div.detalle > a" 
  pagina <- read_html(url)
  nodo <- html_nodes(pagina, selector)
  nodo_texto <- html_text(nodo)
  nodo_link <- html_attr(nodo, "href")
  
}
test <- linksJugadores(paginas[1])

linksJug <- sapply(paginas, linksJugadores)
vlinksjug <- as.vector(unlist(linksJug))
vlinks <- paste0("http://www.ligabbva.mx", vlinksjug)
vlinks


#Obtener la informacion de cada jugador

url <- "http://www.ligabbva.mx/cancha/jugador/17149/eyJpZENsdWIiOiA2fQ==/jose-de-jesus-corona-rodriguez"
nombre <- "#infoJugador > div > div.detalle.col-xs-9 > h1"
pagina_web <- read_html(url)
nombre_nodo <- html_node(pagina_web, nombre)
nombre_texto <- html_text(nombre_nodo)

#url_equipo <- "http://www.ligabbva.mx/cancha/club/6/cruz-azul/"
#pagina_web_equipo <- read_html(url_equipo)
#equipo <- #tituloMail
#equipo_nodo <- html_node(pagina_web_equipo, equipo)
#equipo_texto <- html_text(equipo_nodo)

nacionalidad <- "#infoJugador > div > div.detalle.col-xs-9 > dl:nth-child(3) > dd:nth-child(6)"
nacionalidad_nodo <- html_node(pagina_web, nacionalidad)
nacionalidad_texto <- html_text(nacionalidad_nodo)

peso_jugador <- "#infoJugador > div > div.detalle.col-xs-9 > dl:nth-child(4) > dd:nth-child(6)"
peso_nodo <- html_node(pagina_web, peso_jugador)
peso_texto <- html_text(peso_nodo)

altura_jugador <- "#infoJugador > div > div.detalle.col-xs-9 > dl:nth-child(4) > dd:nth-child(4)"
altura_nodo <- html_node(pagina_web, altura_jugador)
altura_texto <- html_text(altura_nodo)

edad <- "#infoJugador > div > div.detalle.col-xs-9 > dl:nth-child(4) > dd:nth-child(2)"
edad_nodo <- html_node(pagina_web, edad)
edad_texto <- html_text(edad_nodo)

minutos_jugados <- "#info > div > div > div.col-lg-12 > div > p:nth-child(5) > a > span"
minutos_nodo <- html_node(pagina_web, minutos_jugados)
minutos_texto <- html_text(minutos_nodo)

partidos <- "#info > div > div > div.col-lg-12 > div > p:nth-child(1) > a > span"
partidos_nodo <- html_node(pagina_web, partidos)
partidos_texto <- html_text(partidos_nodo)

partidos_titular <- "#info > div > div > div.col-lg-12 > div > p:nth-child(2) > a > span"
partidos_titular_nodo <- html_node(pagina_web, partidos_titular)
partidos_titular_texto <- html_text(partidos_titular_nodo)

tarjetas_amarillas <- "#info > div > div > div.col-lg-12 > div > p.amarillo > a > span"
amarillas_nodo <- html_node(pagina_web, tarjetas_amarillas)
amarillas_texto <- html_text(amarillas_nodo)

tarjetas_rojas <- "#info > div > div > div.col-lg-12 > div > p.rojo > span"
rojas_nodo <- html_node(pagina_web, tarjetas_rojas)
rojas_texto <- html_text(rojas_nodo)

goles <- "#info > div > div > div.col-lg-12 > div > p:nth-child(3) > span"
goles_nodo <- html_node(pagina_web, goles)
goles_texto <- html_text(goles_nodo)

auto_goles <- "#info > div > div > div.col-lg-12 > div > p:nth-child(4) > span"
auto_goles_nodo <- html_node(pagina_web, auto_goles)
auto_goles_texto <- html_text(auto_goles_nodo)

informacionPlayer <- c(nombre_texto, nacionalidad_texto,
                       peso_texto, altura_texto, edad_texto,
                       minutos_texto, partidos_texto, partidos_titular_texto,
                       amarillas_texto, rojas_texto, goles_texto,
                       auto_goles_texto)



obtenerJugadores<- function(url){
  
  print(url)
  nombre <- "#infoJugador > div > div.detalle.col-xs-9 > h1"
  pagina_web <- read_html(url)
  nombre_nodo <- html_node(pagina_web, nombre)
  nombre_texto <- html_text(nombre_nodo)
  
  #url_equipo <- "http://www.ligabbva.mx/cancha/club/6/cruz-azul/"
  #pagina_web_equipo <- read_html(url_equipo)
  #equipo <- #tituloMail
  #equipo_nodo <- html_node(pagina_web_equipo, equipo)
  #equipo_texto <- html_text(equipo_nodo)
  
  nacionalidad <- "#infoJugador > div > div.detalle.col-xs-9 > dl:nth-child(3) > dd:nth-child(6)"
  nacionalidad_nodo <- html_node(pagina_web, nacionalidad)
  nacionalidad_texto <- html_text(nacionalidad_nodo)
  
  peso_jugador <- "#infoJugador > div > div.detalle.col-xs-9 > dl:nth-child(4) > dd:nth-child(6)"
  peso_nodo <- html_node(pagina_web, peso_jugador)
  peso_texto <- html_text(peso_nodo)
  
  altura_jugador <- "#infoJugador > div > div.detalle.col-xs-9 > dl:nth-child(4) > dd:nth-child(4)"
  altura_nodo <- html_node(pagina_web, altura_jugador)
  altura_texto <- html_text(altura_nodo)
  
  edad <- "#infoJugador > div > div.detalle.col-xs-9 > dl:nth-child(4) > dd:nth-child(2)"
  edad_nodo <- html_node(pagina_web, edad)
  edad_texto <- html_text(edad_nodo)
  
  minutos_jugados <- "#info > div > div > div.col-lg-12 > div > p:nth-child(5) > a > span"
  minutos_nodo <- html_node(pagina_web, minutos_jugados)
  minutos_texto <- html_text(minutos_nodo)
  
  partidos <- "#info > div > div > div.col-lg-12 > div > p:nth-child(1) > a > span"
  partidos_nodo <- html_node(pagina_web, partidos)
  partidos_texto <- html_text(partidos_nodo)
  
  partidos_titular <- "#info > div > div > div.col-lg-12 > div > p:nth-child(2) > a > span"
  partidos_titular_nodo <- html_node(pagina_web, partidos_titular)
  partidos_titular_texto <- html_text(partidos_titular_nodo)
  
  tarjetas_amarillas <- "#info > div > div > div.col-lg-12 > div > p.amarillo > a > span"
  amarillas_nodo <- html_node(pagina_web, tarjetas_amarillas)
  amarillas_texto <- html_text(amarillas_nodo)
  
  tarjetas_rojas <- "#info > div > div > div.col-lg-12 > div > p.rojo > span"
  rojas_nodo <- html_node(pagina_web, tarjetas_rojas)
  rojas_texto <- html_text(rojas_nodo)
  
  goles <- "#info > div > div > div.col-lg-12 > div > p:nth-child(3) > span"
  goles_nodo <- html_node(pagina_web, goles)
  goles_texto <- html_text(goles_nodo)
  
  auto_goles <- "#info > div > div > div.col-lg-12 > div > p:nth-child(4) > span"
  auto_goles_nodo <- html_node(pagina_web, auto_goles)
  auto_goles_texto <- html_text(auto_goles_nodo)
  
  players <- c(nombre_texto, nacionalidad_texto,
                         peso_texto, altura_texto, edad_texto,
                         minutos_texto, partidos_texto, partidos_titular_texto,
                         amarillas_texto, rojas_texto, goles_texto,
                         auto_goles_texto)
  
}

infoJugadores <- sapply(vlinks, obtenerJugadores) 
tabinfo <- t(infoJugadores)

mis_datos <- as.data.frame(tabinfo)
colnames(mis_datos) <- c("Nombre", "Nacionalidad", "Peso", "Altura",
                         "Edad", "Minutos jugados", "Partidos jugados",
                         "Partidos como titular", "Tarjetas amarillas",
                         "Targetas rojas", "Goles", "Autogoles")
rownames(mis_datos) <- c(1:511)

![](

Gonzalo Ferrando

student•

Mi problema es el avance en la paginación en el código react que tiene la web de "https://www.laliga.es/laliga-santander", la porfe en la prueba usa otra "https://www.laliga.es/laliga-123/*", la cual ya no está disponible. Al ingresar por ejemplo en "https://www.laliga.com/clubes/atletico-de-madrid", el segundo tab es el de los jugadores (la plantilla), pero siempre obtengo datos vacíos, ya que se muestran solo al dar click en dicho tab.

Saludos

Jorge Leonardo Quintana Murillo

student•

Tengo exactamente el mismo problema

Xavier González

student•

Alguien puede poner el codigo para comparar? Gracias

Cindy Azaña Chauca

student•

Tampoco hice uso del html_table

A pesar que genero nuevas sheet a mi excel por cada equipo, la información es reemplazada

dejo mi código para que me ayuden a corregirlo:

#RELACIÔN DE JUGADORES LIGA SANTANDER
#######################################
install.packages("openxlsx") 
#Obtener relaciòn de clubes Liga Santander
library(xml2)
library(rvest)
library(openxlsx)


url_santander = "https://www.laliga.com/laliga-santander/clubes"
pagina_santander = read_html(url_santander)


#obtenemos todas las ligas
selector_club = "div.styled__ItemContainer-sc-1el5vkx-1 > span:nth-child(1) > a:nth-child(1)"
nodo_club = html_nodes(pagina_santander,selector_club)
href_club = html_attr(nodo_club,"href")
url_clubs = paste0("https://www.laliga.com",href_club)

#Caracteristicas para excel
of="C:/liga/DatosLigaSantander.xlsx"
OUT <- createWorkbook()

#Funcion: obtenemos detalle de fultbolistas
obtenerDetalleJugador <- function(urlJugador){
 # print(urlJugador)
  #urlJugador <- "https://www.laliga.com/jugador/unai-simon" ##prueba
  #urlJugador <- "https://www.laliga.com/jugador/juan-angel-iribarren"
  #print(urlJugador)
  paginaJugador <- read_html(urlJugador)
  
  
  #Nombre del jugador
  selector_nombre <- ".styled__FirstName-rwa3kw-9 p"
  nodo_nombre <- html_node(paginaJugador,selector_nombre)
  texto_nombre <- html_text(nodo_nombre)
  
  #Peso
  selector_peso <- "#__next > div > div.styled__SinglePlayerWrap-sc-4onsy-3.llxwkf > div.styled__Container-rwa3kw-0.styled__SinglePlayerBasicDataWrap-rwa3kw-1.grccID > div.styled__PlayerDataArea-rwa3kw-4.cGtOJO > div.styled__TableData-rwa3kw-13.dAugGE > div.cell-weight.styled__TableDataCell-rwa3kw-14.hXbtaW > div > div.styled__TableDataContent-rwa3kw-17.iyLVcC > p"
  nodo_peso <- html_node(paginaJugador,selector_peso)
  texto_peso <- html_text(nodo_peso)  

  #Altura
  selector_altura <- "#__next > div > div.styled__SinglePlayerWrap-sc-4onsy-3.llxwkf > div.styled__Container-rwa3kw-0.styled__SinglePlayerBasicDataWrap-rwa3kw-1.grccID > div.styled__PlayerDataArea-rwa3kw-4.cGtOJO > div.styled__TableData-rwa3kw-13.dAugGE > div.cell-height.styled__TableDataCell-rwa3kw-14.hXbtaW > div > div.styled__TableDataContent-rwa3kw-17.iyLVcC > p"
  nodo_altura <- html_node(paginaJugador,selector_altura)
  texto_altura <- html_text(nodo_altura)  


  #Datos Estadisticos
  selector_desc <-".styled__StatsTable-sc-1d8syqc-3 .styled__StatsRow-sc-1d8syqc-5 .styled__StatsCol-sc-1d8syqc-6 .styled__StatsColContent-sc-1d8syqc-7 .styled__StatsColLabel-sc-1d8syqc-9"
  nodo_desc <- html_nodes(paginaJugador,selector_desc)
  texto_desc <- html_text(nodo_desc) 
  v_desc <- as.vector(texto_desc)

  selector_valores <-".styled__StatsTable-sc-1d8syqc-3 .styled__StatsRow-sc-1d8syqc-5 .styled__StatsCol-sc-1d8syqc-6 .styled__StatsColContent-sc-1d8syqc-7 .styled__StatsColValue-sc-1d8syqc-10"
  nodo_valores <- html_nodes(paginaJugador,selector_valores)
  texto_valores <- html_text(nodo_valores) 
  v_valores <- as.vector(texto_valores)
  estadisticas_df <- data.frame(t(v_valores))
  colnames(estadisticas_df) <- v_desc
  

  #Minutos jugados
  texto_min <- as.character(estadisticas_df$Minutos)
  texto_min <- ifelse(length(texto_min)>0,texto_min,"-") 
  #Partidos jugados
  texto_part <- as.character(estadisticas_df$`Partidos jugados`)
  texto_part <- ifelse(length(texto_part)>0,texto_part,"-") 
  #Partidos jugados enteros
  #Partidos jugados como titular
  texto_partitu <- as.character(estadisticas_df$`Partidos como titular`)
  texto_partitu <- ifelse(length(texto_partitu)>0,texto_partitu,"-") 
  #Partidos sustituido
  texto_susti <- as.character(estadisticas_df$Sustituciones)
  texto_susti <- ifelse(length(texto_susti)>0,texto_susti,"-") 
  #Tarjetas amarillas
  texto_tarAma <- as.character(estadisticas_df$`Tarjetas amarillas`)
  texto_tarAma <- ifelse(length(texto_tarAma)>0,texto_tarAma,"-") 
  #Tarjetas rojas
  texto_tarRoja <- as.character(estadisticas_df$`Tarjetas rojas`)
  texto_tarRoja <- ifelse(length(texto_tarRoja)>0,texto_tarRoja,"-")
  #Doble amarilla
  texto_dobAma <- as.character(estadisticas_df$`Doble tarjeta amarilla`)
  texto_dobAma <- ifelse(length(texto_dobAma)>0,texto_dobAma,"-")
  #Goles
  texto_goles <- as.character(estadisticas_df$Goles)
  texto_goles <- ifelse(length(texto_goles)>0,texto_goles,"-")
  #Penaltis
  texto_penal <- as.character(estadisticas_df$Penalties)
  texto_penal <- ifelse(length(texto_penal)>0,texto_penal,"-")
  #Goles en propia puerta
  #Goles encajados.

  #jugador_df
  v_jugador <- c(texto_nombre,texto_peso,texto_altura,texto_min,texto_part,texto_partitu,texto_susti,  texto_tarAma,texto_tarRoja,texto_dobAma,texto_goles,texto_penal)
  print(Sys.time ())
  Sys.sleep(10)
  v_jugador
  
}

cont <- 0
#Funcion: obtener detalle de futbolistas
obtenerJugadorXclub <- function(url_clubs){
  pagina_club = read_html(url_clubs)
  print(url_clubs)
  cont <- cont + 1
  
  #Equipo
  selector_equipo ="h1.styled__TextHeader-qkrtew-0"
  nodo_equipo = html_node(pagina_club,selector_equipo)
  texto_equipo = html_text(nodo_equipo)
  print(texto_equipo)
  
  #Obtener Jugadores de club
  selector_urlPlayer = ".styled__NotDisplayedLinks-sc-9wem1u-6 .styled__LinkRegularContainer-sc-1kewulk-0 a"
  nodo_urlPlayer = html_nodes(pagina_club,selector_urlPlayer)
  href_urlPlayer = html_attr(nodo_urlPlayer,"href")
  link_urlPlayer = paste0("https://www.laliga.com",href_urlPlayer)
 # print(link_urlPlayer)
  
  v_jugadorClub <- sapply(link_urlPlayer,obtenerDetalleJugador)

  df_jugadorClub <- data.frame(t(v_jugadorClub))
  df_jugadorClub <- cbind(df_jugadorClub,"Equipo"=texto_equipo)
  colnames(df_jugadorClub) <- c("Nombre del Jugador","Peso","Altura","Minutos jugados","Partidos jugados titular",  "Partidos Sustituto","Tarjetas Amarillas","Minutos Rojas","Doble Amarillas","Goles","Penaltis","Equipo")
 # View(df_jugadorClub)

  sname <- paste0(cont,"_",texto_equipo)
  addWorksheet(OUT, sname)
  writeData(OUT, sheet = sname, x = df_jugadorClub)
  

  ifelse(cont==1,app<-"FALSE",app<-"TRUE")
   write.xlsx(df_jugadorClub,file=of,sheetName=sname,append=as.logical(app))
  
}

#url_club <- "https://www.laliga.com/clubes/fc-barcelona"
#obtenerJugadorXclub(url_club)

plantillaClub <- sapply(url_clubs,obtenerJugadorXclub)

Nota: el Sys.sleep(10) es por que mi maquina ya esta viejita.

Y si alguien me apoya con estos puntos estaré muy agradecida: 1.... como extraer información desde un JSON ya que esta incrustado en el código 2.... como extraer una tabla que no tiene la estructura html <table> ya que esta hecho con puro CSS

Buzu B

student•

Yo estoy usando la libreria rjson.

Dagoberto Porras Plata

student•

Hola, alguién ha tenido el siguiente problema, en el momento de obtener la tabla con las estadísticas de los jugadores: Error in UseMethod(“html_table”) : no applicable method for ‘html_table’ applied to an object of class “xml_missing”

Aquí, el código completo,

# Script para obtener información de La Liga
rm(list = ls())
library(xml2)
library(rvest)

url <- "https://www.laliga.es/laliga-santander"
pag <- read_html(url)
sel_equipo <- "#equipos > div:nth-child(1) > a:nth-child(1)"
nodo_equipo <- html_node(pag, sel_equipo)
nodo_link <- html_attr(nodo_equipo,"href")
nodo_link

# Así obtengo los links de cada equipo
sel_equipos <-"td.contenedor-nombre > a"
nodo_equipos <- html_nodes(pag, sel_equipos)
nodo_links <- html_attr(nodo_equipos,"href")
nodo_links


# Para obtener el peso, la altura y el nombre del equipo debo entrar al link de cada jugador
pag_equipo <- read_html(nodo_links[1])
sel_jugador <- "td:nth-child(4) > a"
nodo_jugadores <- html_nodes(pag_equipo, sel_jugador)
link_jugador <- html_attr(nodo_jugadores, "href")
link_jugador

# nombre del equipo
pag_jugador <- read_html(link_jugador[1])
sel_team <- "#ficha-jugador > main > div > span"
nodo_team <- html_node(pag_jugador, sel_team)
nombre_team <- html_text(nodo_team)
nombre_team
# nombre del jugador
sel_nombre_jugador <- "#nombre"
nodo_nombre_jugador <- html_node(pag_jugador, sel_nombre_jugador)
nombre_jugador <- html_text(nodo_nombre_jugador)
nombre_jugador
# peso del jugador
sel_peso <-"#ficha-jugador > aside > section.box.box-datos-sidebar.datos-sidebar-jugador > div.box-datos > div:nth-child(2) > div"
nodo_peso <-html_node(pag_jugador,sel_peso)
if(length(nodo_peso)==0){
  peso_jugador<-"-1"
}else{
peso_jugador<-html_text(nodo_peso)
}
peso_jugador
# Altura
sel_alt <-"#ficha-jugador > aside > section.box.box-datos-sidebar.datos-sidebar-jugador > div.box-datos > div:nth-child(1) > div"
nodo_alt <- html_node(pag_jugador, sel_alt)
if(length(nodo_alt)==0){
  altura_jugador<-"-1"
}else{
altura_jugador <- html_text(nodo_alt)
}
altura_jugador

# De la tabla principal puedo obtener los datos restantes
sel_tabla <-"#DataTables_Table_0"
nodo_tabla <- html_node(pag_equipo, sel_tabla)
tabla_equipo <- html_table(nodo_tabla)
tabla_equipo

Julio Renteria

student•

Ya no se puede por el tipo de pagina que es.

Winston Salcedo Nardey

student•

No entiendo, Cada jugador tiene un selector diferente, ¿Que se hace en ese caso?

Edwin Jesset Barrientos Gonzales

student•

Me quede estancado, llegue a extraer las url de cada equipo, al intentar extraer la url de un jugador. con su selector: #react-tabs-21 > div > div > div:nth-child(1) > div > div.Grid__Grid-bojwg.dUmHcp > div.Cell__Cell-jsYrZv.hOzbws > div > div.Grid__Grid-bojwg.ikqmQX > div:nth-child(1) > div > span > a sale NA, estuve investingando y con ese selector lo mas aconsejable es usar

Selenium para R https://rpubs.com/johndharrison/RSelenium-Basics

tocara buscar mas info, si alguien lo tiene algun avance favor compartir.

CLAUDIA CRISTINA APARICIO RUEDA

student•

buen ejemplo para ejecutar!

Platzerito De Platzi

student•

1. Les comparto este código R que extrae parte de la data que piden: Nombre,Peso, Altura. 2. He podido extraer todos los links de los jugadores que fueron 605, el problema es para extraer los datos estadísticos. Si logran extraer más datos compartan su solución para que juntos logremos completar este reto 3. Por cierto, en el código le he puesto que extraiga datos de solo 20 jugadores, porque si pongo que extraiga más, me sale un error:

Error in open.connection(x, "rb") : HTTP error 504.

4. Este es el código:

library(rvest)
library(rjson)
clubs_list_url <- 'https://www.laliga.com/laliga-santander/clubes'
clubs_list_page <- read_html(clubs_list_url)
json_data <- html_node(clubs_list_page, '#__NEXT_DATA__')
json_data_value <- html_text(json_data)
teams_data <- fromJSON(json_data_value)
getLink <- function (lista) lista$slug
teams_urls <- lapply(teams_data$props$pageProps$teams, getLink)
teams_urls <- paste0('https://www.laliga.com/clubes/', teams_urls)
getTeamMembers <- function(team_url) {
  team_page <- read_html(team_url)
  player_links <- html_nodes(team_page, 'a[href^="/jugador/"]')
  player_urls <- html_attr(player_links, 'href')
  player_urls
}
members <- sapply(teams_urls, getTeamMembers)
b<-as.data.frame(unlist(members))
b[] <- Map(paste0, 'https://www.laliga.com',b)
b<-as.vector(unlist(b))
getJugador<-function(url){
  library(rvest)
  pagina_web<-read_html(url)
  #Nombre del jugador
  nombre<-"#__next > div.styled__SinglePlayerWrap-sc-4onsy-3.JWsgI > div.styled__Container-rwa3kw-0.styled__SinglePlayerBasicDataWrap-rwa3kw-1.jOrlgm > div.styled__PlayerNameArea-rwa3kw-2.hinFoe > div.styled__PlayerName-rwa3kw-5.ciFBaS > div.styled__PlayerNameTxt-rwa3kw-6.ijdLRB > div.styled__FirstName-rwa3kw-9.iOfZYb > p"
  nombre_nodo<-html_node(pagina_web, nombre)
  nombre_texto<-html_text(nombre_nodo)
  nombre_texto
  #Peso
  peso<-"#__next > div.styled__SinglePlayerWrap-sc-4onsy-3.JWsgI > div.styled__Container-rwa3kw-0.styled__SinglePlayerBasicDataWrap-rwa3kw-1.jOrlgm > div.styled__PlayerDataArea-rwa3kw-4.eFwlEv > div.styled__TableData-rwa3kw-13.gQCPet > div.styled__TableDataCell-rwa3kw-14.kkAyOI.cell-weight > div > div.styled__TableDataContent-rwa3kw-17.dblPfO > p"
  peso_nodo<-html_node(pagina_web, peso)
  peso_texto<-html_text(peso_nodo)
  peso_texto
  #Altura
  altura<-"#__next > div.styled__SinglePlayerWrap-sc-4onsy-3.JWsgI > div.styled__Container-rwa3kw-0.styled__SinglePlayerBasicDataWrap-rwa3kw-1.jOrlgm > div.styled__PlayerDataArea-rwa3kw-4.eFwlEv > div.styled__TableData-rwa3kw-13.gQCPet > div.styled__TableDataCell-rwa3kw-14.kkAyOI.cell-height > div > div.styled__TableDataContent-rwa3kw-17.dblPfO > p"
  altura_nodo<-html_node(pagina_web,altura)
  altura_texto<-html_text(altura_nodo)
  altura_texto
  datos<-c(nombre_texto,peso_texto,altura_texto)
  datos
}
b<-head(b,20) #Esta parte indica que usaremos solo 20 links de los 605
jugadores <- sapply(b, getJugador)
jugadores<-t(jugadores)
colnames(jugadores)<-c("Nombre","Peso","Altura")
jugadores
write.csv(jugadores,"jugadores.csv")

5. Así es como queda la data de los jugadores. Si ustedes pueden extraer más datos de cada jugador, compartan su código

JAVIER IGNACIO FONES

student•

Hola, quería saber últimamente han logrado extraer el total de los datos? Yo lo intenté y solo pude sacar 162, luego la página me lanza un error de intentos máximos alcanzados (Max retries exceeded with url..) no sé si para solucionarlo hay que decirle que espere un tiempo, o si fue un error en como le dije que recorriera todos los links. Quedo atento si alguien ha tenido el mismo problema!

 # install.packages("rjson")

library(rvest)
library(rjson)

clubs_list_url <- 'https://www.laliga.com/laliga-santander/clubes'
clubs_list_page <- read_html(clubs_list_url)
json_data <- html_node(clubs_list_page, '#__NEXT_DATA__')
json_data_value <- html_text(json_data)
teams_data <- fromJSON(json_data_value)

getLink <- function (lista) lista$slug

teams_urls <- lapply(teams_data$props$pageProps$teams, getLink)
teams_urls <- paste0('https://www.laliga.com/clubes/', teams_urls)

getTeamMembers <- function(team_url) {
  team_page <- read_html(team_url)
  player_links <- html_nodes(team_page, 'a[href^="/jugador/"]')
  player_urls <- html_attr(player_links, 'href')
  player_urls
}

members <- sapply(teams_urls, getTeamMembers)

library(rvest)
library(stringr)
library(readr)

url &lt;- &quot;https://ligamx.net&quot;
indices &lt;- c(1:18)

# Creamos los selectores de todos los equipos de la liga mexicana
selectores &lt;- &quot;#teamLogos &gt; li:nth-child(1) &gt; a&quot;
selectores &lt;- str_replace_all(selectores, &quot;1&quot;, as.character(indices))

# Recorremos todos los selectores para obtener los linsk a la pagina de cada equipo
equipos_links &lt;- list()

for (i in 1:18){
  pagina &lt;- read_html(url)
  nodo &lt;- html_node(pagina, selectores[i])
  equipos_links[[i]] &lt;- html_attr(nodo, &quot;href&quot;)
}

#Creamos los links completos a las paginas
equipos_links &lt;- paste0(url,equipos_links)

#Dentro de la pagina de cada equipo entramos a sus jugadores
getJugadores &lt;- function(url){
  selector &lt;- &quot;div.jugador &gt; a &quot;
  pagina &lt;- read_html(url)
  nodos &lt;- html_nodes(pagina,selector)
  hrefs &lt;- html_attr(nodos, &quot;href&quot;)
}

jugadores &lt;- sapply(equipos_links,getJugadores)
jugadores &lt;- as.vector(unlist(jugadores))
link_jugadores &lt;- paste0(url,jugadores)

#Funcion para obtener los datos de cada jugador
getInformacionJugadores &lt;- function(con){
    #Dentro de cada jugador obtenemos sus estadisticas
    con &lt;- url(con,&quot;rb&quot;)
    pagina &lt;- read_html(con)
    
    #nombre
    nombre &lt;- &quot;#infoJugador &gt; div &gt; div.detalle.col-xs-9 &gt; h1&quot;
    nombre_nodo &lt;- html_node(pagina,nombre)
    nombre_text &lt;- html_text(nombre_nodo)
    
    #equipo
    equipo &lt;- &quot;#infoJugador &gt; div &gt; div.detalle.col-xs-9 &gt; dl:nth-child(8) &gt; dd&quot;
    equipo_nodo &lt;- html_node(pagina,equipo)
    equipo_text &lt;- html_text(equipo_nodo)
    equipo_text &lt;- str_replace_all(equipo_text,&quot; para Apertura 2018 - Clausura 2020&quot;,&quot;&quot;)
    
    #peso
    peso &lt;- &quot;#infoJugador &gt; div &gt; div.detalle.col-xs-9 &gt; dl:nth-child(4) &gt; dd:nth-child(6)&quot;
    peso_nodo &lt;- html_node(pagina,peso)
    peso_text &lt;- html_text(peso_nodo)
    
    #altura
    altura &lt;- &quot;#infoJugador &gt; div &gt; div.detalle.col-xs-9 &gt; dl:nth-child(4) &gt; dd:nth-child(4)&quot;
    altura_nodo &lt;- html_node(pagina,altura)
    altura_text &lt;- html_text(altura_nodo)
    
    #nacionalidad 
    nacionalidad &lt;- &quot;#infoJugador &gt; div &gt; div.detalle.col-xs-9 &gt; dl:nth-child(3) &gt; dd:nth-child(6)&quot;
    nacionalidad_nodo &lt;- html_node(pagina, nacionalidad)
    nacionalidad_text &lt;- html_text(nacionalidad_nodo)
    
    #juegos jugados
    jj &lt;- &quot;#info &gt; div &gt; div &gt; div.col-lg-12 &gt; div &gt; p:nth-child(1) &gt; a &gt; span&quot;
    jj_nodo &lt;- html_node(pagina,jj)
    jj_text &lt;- html_text(jj_nodo)
    
    #juegos titular 
    jt &lt;- &quot;#info &gt; div &gt; div &gt; div.col-lg-12 &gt; div &gt; p:nth-child(2) &gt; a &gt; span&quot;
    jt_nodo &lt;- html_node(pagina,jt)
    jt_text &lt;- html_text(jt_nodo)
    
    #goles
    g &lt;- &quot;#info &gt; div &gt; div &gt; div.col-lg-12 &gt; div &gt; p:nth-child(3) &gt; span&quot;
    g_nodo &lt;- html_node(pagina,g)
    g_text &lt;- html_text(g_nodo)
    
    #Autogoles
    ag &lt;- &quot;#info &gt; div &gt; div &gt; div.col-lg-12 &gt; div &gt; p:nth-child(4) &gt; span&quot;
    ag_nodo &lt;- html_node(pagina,ag)
    ag_text &lt;- html_text(ag_nodo)
    
    #Minutos jugados
    mj &lt;- &quot;#info &gt; div &gt; div &gt; div.col-lg-12 &gt; div &gt; p:nth-child(5) &gt; a &gt; span&quot;
    mj_nodo &lt;- html_node(pagina,mj)
    mj_text &lt;- html_text(mj_nodo)
    
    #Tarjetas Amarillas
    ta &lt;- &quot;#info &gt; div &gt; div &gt; div.col-lg-12 &gt; div &gt; p.amarillo &gt; a &gt; span&quot;
    ta_nodo &lt;- html_node(pagina,ta)
    ta_text &lt;- html_text(ta_nodo)
    
    #Tarjetas rojas
    tr &lt;- &quot;#info &gt; div &gt; div &gt; div.col-lg-12 &gt; div &gt; p.rojo &gt; span&quot;
    tr_nodo &lt;- html_node(pagina,tr)
    tr_text &lt;- html_text(tr_nodo)
    
    resultado &lt;- c(nombre_text,equipo_text,peso_text,as.numeric(altura_text),nacionalidad_text,as.integer(jj_text),as.integer(jt_text),as.numeric(g_text),as.numeric(ag_text),as.integer(mj_text),ta_text,tr_text)
}

#Obteniendo datos
res &lt;- sapply(link_jugadores, getInformacionJugadores)


#Creando el Datafram
res &lt;- t(res)
View(res)


jugadores &lt;- as.data.frame(res)
colnames(res) &lt;- c(&quot;Nombre&quot;,&quot;Equipo &amp; Posicion&quot;,&quot;Peso&quot;,&quot;Altura&quot;,&quot;Nacionalidad&quot;,&quot;Juegos Jugados&quot;,&quot;Juegos Titular&quot;,&quot;Goles&quot;,&quot;Autogoles&quot;,&quot;Minutos Jugados&quot;,&quot;Tarjetas Amarillas&quot;,&quot;Tarjetas Rojas&quot;)
rownames(res) &lt;- c(1:618)
 
#creando el CSV

write.csv(res, file = &quot;Jugadores_mexico.csv&quot;)

library(rvest)
#Obetener URL de equipo
url <- "http://www.ligabbva.mx/cancha/estadisticahistorica"
selector <- "body > section:nth-child(17) > div > div.estadisticas-equipos > div:nth-child(1) > div > table > tbody > tr:nth-child(1) > td:nth-child(2) > a:nth-child(1)"
pagina <- read_html(url)
nodo <- html_node(pagina, selector)
nodo_texto <- html_text(nodo)
nodo_link <- html_attr(nodo, "href")

urlcompleta <- paste0("http://www.ligabbva.mx/", nodo_link)

library(stringr)
pag <- "cancha/club/"
lista_paginas <- c(1:30)
pag <- paste0(pag, lista_paginas)

paginas <- paste0("http://www.ligabbva.mx/", pag)

linksJugadores <- function(url){
  
  selector <- "div > div.detalle > a" 
  pagina <- read_html(url)
  nodo <- html_nodes(pagina, selector)
  nodo_texto <- html_text(nodo)
  nodo_link <- html_attr(nodo, "href")
  
}
test <- linksJugadores(paginas[1])

linksJug <- sapply(paginas, linksJugadores)
vlinksjug <- as.vector(unlist(linksJug))
vlinks <- paste0("http://www.ligabbva.mx", vlinksjug)
vlinks


#Obtener la informacion de cada jugador

url <- "http://www.ligabbva.mx/cancha/jugador/17149/eyJpZENsdWIiOiA2fQ==/jose-de-jesus-corona-rodriguez"
nombre <- "#infoJugador > div > div.detalle.col-xs-9 > h1"
pagina_web <- read_html(url)
nombre_nodo <- html_node(pagina_web, nombre)
nombre_texto <- html_text(nombre_nodo)

#url_equipo <- "http://www.ligabbva.mx/cancha/club/6/cruz-azul/"
#pagina_web_equipo <- read_html(url_equipo)
#equipo <- #tituloMail
#equipo_nodo <- html_node(pagina_web_equipo, equipo)
#equipo_texto <- html_text(equipo_nodo)

nacionalidad <- "#infoJugador > div > div.detalle.col-xs-9 > dl:nth-child(3) > dd:nth-child(6)"
nacionalidad_nodo <- html_node(pagina_web, nacionalidad)
nacionalidad_texto <- html_text(nacionalidad_nodo)

peso_jugador <- "#infoJugador > div > div.detalle.col-xs-9 > dl:nth-child(4) > dd:nth-child(6)"
peso_nodo <- html_node(pagina_web, peso_jugador)
peso_texto <- html_text(peso_nodo)

altura_jugador <- "#infoJugador > div > div.detalle.col-xs-9 > dl:nth-child(4) > dd:nth-child(4)"
altura_nodo <- html_node(pagina_web, altura_jugador)
altura_texto <- html_text(altura_nodo)

edad <- "#infoJugador > div > div.detalle.col-xs-9 > dl:nth-child(4) > dd:nth-child(2)"
edad_nodo <- html_node(pagina_web, edad)
edad_texto <- html_text(edad_nodo)

minutos_jugados <- "#info > div > div > div.col-lg-12 > div > p:nth-child(5) > a > span"
minutos_nodo <- html_node(pagina_web, minutos_jugados)
minutos_texto <- html_text(minutos_nodo)

partidos <- "#info > div > div > div.col-lg-12 > div > p:nth-child(1) > a > span"
partidos_nodo <- html_node(pagina_web, partidos)
partidos_texto <- html_text(partidos_nodo)

partidos_titular <- "#info > div > div > div.col-lg-12 > div > p:nth-child(2) > a > span"
partidos_titular_nodo <- html_node(pagina_web, partidos_titular)
partidos_titular_texto <- html_text(partidos_titular_nodo)

tarjetas_amarillas <- "#info > div > div > div.col-lg-12 > div > p.amarillo > a > span"
amarillas_nodo <- html_node(pagina_web, tarjetas_amarillas)
amarillas_texto <- html_text(amarillas_nodo)

tarjetas_rojas <- "#info > div > div > div.col-lg-12 > div > p.rojo > span"
rojas_nodo <- html_node(pagina_web, tarjetas_rojas)
rojas_texto <- html_text(rojas_nodo)

goles <- "#info > div > div > div.col-lg-12 > div > p:nth-child(3) > span"
goles_nodo <- html_node(pagina_web, goles)
goles_texto <- html_text(goles_nodo)

auto_goles <- "#info > div > div > div.col-lg-12 > div > p:nth-child(4) > span"
auto_goles_nodo <- html_node(pagina_web, auto_goles)
auto_goles_texto <- html_text(auto_goles_nodo)

informacionPlayer <- c(nombre_texto, nacionalidad_texto,
                       peso_texto, altura_texto, edad_texto,
                       minutos_texto, partidos_texto, partidos_titular_texto,
                       amarillas_texto, rojas_texto, goles_texto,
                       auto_goles_texto)



obtenerJugadores<- function(url){
  
  print(url)
  nombre <- "#infoJugador > div > div.detalle.col-xs-9 > h1"
  pagina_web <- read_html(url)
  nombre_nodo <- html_node(pagina_web, nombre)
  nombre_texto <- html_text(nombre_nodo)
  
  #url_equipo <- "http://www.ligabbva.mx/cancha/club/6/cruz-azul/"
  #pagina_web_equipo <- read_html(url_equipo)
  #equipo <- #tituloMail
  #equipo_nodo <- html_node(pagina_web_equipo, equipo)
  #equipo_texto <- html_text(equipo_nodo)
  
  nacionalidad <- "#infoJugador > div > div.detalle.col-xs-9 > dl:nth-child(3) > dd:nth-child(6)"
  nacionalidad_nodo <- html_node(pagina_web, nacionalidad)
  nacionalidad_texto <- html_text(nacionalidad_nodo)
  
  peso_jugador <- "#infoJugador > div > div.detalle.col-xs-9 > dl:nth-child(4) > dd:nth-child(6)"
  peso_nodo <- html_node(pagina_web, peso_jugador)
  peso_texto <- html_text(peso_nodo)
  
  altura_jugador <- "#infoJugador > div > div.detalle.col-xs-9 > dl:nth-child(4) > dd:nth-child(4)"
  altura_nodo <- html_node(pagina_web, altura_jugador)
  altura_texto <- html_text(altura_nodo)
  
  edad <- "#infoJugador > div > div.detalle.col-xs-9 > dl:nth-child(4) > dd:nth-child(2)"
  edad_nodo <- html_node(pagina_web, edad)
  edad_texto <- html_text(edad_nodo)
  
  minutos_jugados <- "#info > div > div > div.col-lg-12 > div > p:nth-child(5) > a > span"
  minutos_nodo <- html_node(pagina_web, minutos_jugados)
  minutos_texto <- html_text(minutos_nodo)
  
  partidos <- "#info > div > div > div.col-lg-12 > div > p:nth-child(1) > a > span"
  partidos_nodo <- html_node(pagina_web, partidos)
  partidos_texto <- html_text(partidos_nodo)
  
  partidos_titular <- "#info > div > div > div.col-lg-12 > div > p:nth-child(2) > a > span"
  partidos_titular_nodo <- html_node(pagina_web, partidos_titular)
  partidos_titular_texto <- html_text(partidos_titular_nodo)
  
  tarjetas_amarillas <- "#info > div > div > div.col-lg-12 > div > p.amarillo > a > span"
  amarillas_nodo <- html_node(pagina_web, tarjetas_amarillas)
  amarillas_texto <- html_text(amarillas_nodo)
  
  tarjetas_rojas <- "#info > div > div > div.col-lg-12 > div > p.rojo > span"
  rojas_nodo <- html_node(pagina_web, tarjetas_rojas)
  rojas_texto <- html_text(rojas_nodo)
  
  goles <- "#info > div > div > div.col-lg-12 > div > p:nth-child(3) > span"
  goles_nodo <- html_node(pagina_web, goles)
  goles_texto <- html_text(goles_nodo)
  
  auto_goles <- "#info > div > div > div.col-lg-12 > div > p:nth-child(4) > span"
  auto_goles_nodo <- html_node(pagina_web, auto_goles)
  auto_goles_texto <- html_text(auto_goles_nodo)
  
  players <- c(nombre_texto, nacionalidad_texto,
                         peso_texto, altura_texto, edad_texto,
                         minutos_texto, partidos_texto, partidos_titular_texto,
                         amarillas_texto, rojas_texto, goles_texto,
                         auto_goles_texto)
  
}

infoJugadores <- sapply(vlinks, obtenerJugadores) 
tabinfo <- t(infoJugadores)

mis_datos <- as.data.frame(tabinfo)
colnames(mis_datos) <- c("Nombre", "Nacionalidad", "Peso", "Altura",
                         "Edad", "Minutos jugados", "Partidos jugados",
                         "Partidos como titular", "Tarjetas amarillas",
                         "Targetas rojas", "Goles", "Autogoles")
rownames(mis_datos) <- c(1:511)

#RELACIÔN DE JUGADORES LIGA SANTANDER
#######################################
install.packages("openxlsx") 
#Obtener relaciòn de clubes Liga Santander
library(xml2)
library(rvest)
library(openxlsx)


url_santander = "https://www.laliga.com/laliga-santander/clubes"
pagina_santander = read_html(url_santander)


#obtenemos todas las ligas
selector_club = "div.styled__ItemContainer-sc-1el5vkx-1 > span:nth-child(1) > a:nth-child(1)"
nodo_club = html_nodes(pagina_santander,selector_club)
href_club = html_attr(nodo_club,"href")
url_clubs = paste0("https://www.laliga.com",href_club)

#Caracteristicas para excel
of="C:/liga/DatosLigaSantander.xlsx"
OUT <- createWorkbook()

#Funcion: obtenemos detalle de fultbolistas
obtenerDetalleJugador <- function(urlJugador){
 # print(urlJugador)
  #urlJugador <- "https://www.laliga.com/jugador/unai-simon" ##prueba
  #urlJugador <- "https://www.laliga.com/jugador/juan-angel-iribarren"
  #print(urlJugador)
  paginaJugador <- read_html(urlJugador)
  
  
  #Nombre del jugador
  selector_nombre <- ".styled__FirstName-rwa3kw-9 p"
  nodo_nombre <- html_node(paginaJugador,selector_nombre)
  texto_nombre <- html_text(nodo_nombre)
  
  #Peso
  selector_peso <- "#__next > div > div.styled__SinglePlayerWrap-sc-4onsy-3.llxwkf > div.styled__Container-rwa3kw-0.styled__SinglePlayerBasicDataWrap-rwa3kw-1.grccID > div.styled__PlayerDataArea-rwa3kw-4.cGtOJO > div.styled__TableData-rwa3kw-13.dAugGE > div.cell-weight.styled__TableDataCell-rwa3kw-14.hXbtaW > div > div.styled__TableDataContent-rwa3kw-17.iyLVcC > p"
  nodo_peso <- html_node(paginaJugador,selector_peso)
  texto_peso <- html_text(nodo_peso)  

  #Altura
  selector_altura <- "#__next > div > div.styled__SinglePlayerWrap-sc-4onsy-3.llxwkf > div.styled__Container-rwa3kw-0.styled__SinglePlayerBasicDataWrap-rwa3kw-1.grccID > div.styled__PlayerDataArea-rwa3kw-4.cGtOJO > div.styled__TableData-rwa3kw-13.dAugGE > div.cell-height.styled__TableDataCell-rwa3kw-14.hXbtaW > div > div.styled__TableDataContent-rwa3kw-17.iyLVcC > p"
  nodo_altura <- html_node(paginaJugador,selector_altura)
  texto_altura <- html_text(nodo_altura)  


  #Datos Estadisticos
  selector_desc <-".styled__StatsTable-sc-1d8syqc-3 .styled__StatsRow-sc-1d8syqc-5 .styled__StatsCol-sc-1d8syqc-6 .styled__StatsColContent-sc-1d8syqc-7 .styled__StatsColLabel-sc-1d8syqc-9"
  nodo_desc <- html_nodes(paginaJugador,selector_desc)
  texto_desc <- html_text(nodo_desc) 
  v_desc <- as.vector(texto_desc)

  selector_valores <-".styled__StatsTable-sc-1d8syqc-3 .styled__StatsRow-sc-1d8syqc-5 .styled__StatsCol-sc-1d8syqc-6 .styled__StatsColContent-sc-1d8syqc-7 .styled__StatsColValue-sc-1d8syqc-10"
  nodo_valores <- html_nodes(paginaJugador,selector_valores)
  texto_valores <- html_text(nodo_valores) 
  v_valores <- as.vector(texto_valores)
  estadisticas_df <- data.frame(t(v_valores))
  colnames(estadisticas_df) <- v_desc
  

  #Minutos jugados
  texto_min <- as.character(estadisticas_df$Minutos)
  texto_min <- ifelse(length(texto_min)>0,texto_min,"-") 
  #Partidos jugados
  texto_part <- as.character(estadisticas_df$`Partidos jugados`)
  texto_part <- ifelse(length(texto_part)>0,texto_part,"-") 
  #Partidos jugados enteros
  #Partidos jugados como titular
  texto_partitu <- as.character(estadisticas_df$`Partidos como titular`)
  texto_partitu <- ifelse(length(texto_partitu)>0,texto_partitu,"-") 
  #Partidos sustituido
  texto_susti <- as.character(estadisticas_df$Sustituciones)
  texto_susti <- ifelse(length(texto_susti)>0,texto_susti,"-") 
  #Tarjetas amarillas
  texto_tarAma <- as.character(estadisticas_df$`Tarjetas amarillas`)
  texto_tarAma <- ifelse(length(texto_tarAma)>0,texto_tarAma,"-") 
  #Tarjetas rojas
  texto_tarRoja <- as.character(estadisticas_df$`Tarjetas rojas`)
  texto_tarRoja <- ifelse(length(texto_tarRoja)>0,texto_tarRoja,"-")
  #Doble amarilla
  texto_dobAma <- as.character(estadisticas_df$`Doble tarjeta amarilla`)
  texto_dobAma <- ifelse(length(texto_dobAma)>0,texto_dobAma,"-")
  #Goles
  texto_goles <- as.character(estadisticas_df$Goles)
  texto_goles <- ifelse(length(texto_goles)>0,texto_goles,"-")
  #Penaltis
  texto_penal <- as.character(estadisticas_df$Penalties)
  texto_penal <- ifelse(length(texto_penal)>0,texto_penal,"-")
  #Goles en propia puerta
  #Goles encajados.

  #jugador_df
  v_jugador <- c(texto_nombre,texto_peso,texto_altura,texto_min,texto_part,texto_partitu,texto_susti,  texto_tarAma,texto_tarRoja,texto_dobAma,texto_goles,texto_penal)
  print(Sys.time ())
  Sys.sleep(10)
  v_jugador
  
}

cont <- 0
#Funcion: obtener detalle de futbolistas
obtenerJugadorXclub <- function(url_clubs){
  pagina_club = read_html(url_clubs)
  print(url_clubs)
  cont <- cont + 1
  
  #Equipo
  selector_equipo ="h1.styled__TextHeader-qkrtew-0"
  nodo_equipo = html_node(pagina_club,selector_equipo)
  texto_equipo = html_text(nodo_equipo)
  print(texto_equipo)
  
  #Obtener Jugadores de club
  selector_urlPlayer = ".styled__NotDisplayedLinks-sc-9wem1u-6 .styled__LinkRegularContainer-sc-1kewulk-0 a"
  nodo_urlPlayer = html_nodes(pagina_club,selector_urlPlayer)
  href_urlPlayer = html_attr(nodo_urlPlayer,"href")
  link_urlPlayer = paste0("https://www.laliga.com",href_urlPlayer)
 # print(link_urlPlayer)
  
  v_jugadorClub <- sapply(link_urlPlayer,obtenerDetalleJugador)

  df_jugadorClub <- data.frame(t(v_jugadorClub))
  df_jugadorClub <- cbind(df_jugadorClub,"Equipo"=texto_equipo)
  colnames(df_jugadorClub) <- c("Nombre del Jugador","Peso","Altura","Minutos jugados","Partidos jugados titular",  "Partidos Sustituto","Tarjetas Amarillas","Minutos Rojas","Doble Amarillas","Goles","Penaltis","Equipo")
 # View(df_jugadorClub)

  sname <- paste0(cont,"_",texto_equipo)
  addWorksheet(OUT, sname)
  writeData(OUT, sheet = sname, x = df_jugadorClub)
  

  ifelse(cont==1,app<-"FALSE",app<-"TRUE")
   write.xlsx(df_jugadorClub,file=of,sheetName=sname,append=as.logical(app))
  
}

#url_club <- "https://www.laliga.com/clubes/fc-barcelona"
#obtenerJugadorXclub(url_club)

plantillaClub <- sapply(url_clubs,obtenerJugadorXclub)

# Script para obtener información de La Liga
rm(list = ls())
library(xml2)
library(rvest)

url <- "https://www.laliga.es/laliga-santander"
pag <- read_html(url)
sel_equipo <- "#equipos > div:nth-child(1) > a:nth-child(1)"
nodo_equipo <- html_node(pag, sel_equipo)
nodo_link <- html_attr(nodo_equipo,"href")
nodo_link

# Así obtengo los links de cada equipo
sel_equipos <-"td.contenedor-nombre > a"
nodo_equipos <- html_nodes(pag, sel_equipos)
nodo_links <- html_attr(nodo_equipos,"href")
nodo_links


# Para obtener el peso, la altura y el nombre del equipo debo entrar al link de cada jugador
pag_equipo <- read_html(nodo_links[1])
sel_jugador <- "td:nth-child(4) > a"
nodo_jugadores <- html_nodes(pag_equipo, sel_jugador)
link_jugador <- html_attr(nodo_jugadores, "href")
link_jugador

# nombre del equipo
pag_jugador <- read_html(link_jugador[1])
sel_team <- "#ficha-jugador > main > div > span"
nodo_team <- html_node(pag_jugador, sel_team)
nombre_team <- html_text(nodo_team)
nombre_team
# nombre del jugador
sel_nombre_jugador <- "#nombre"
nodo_nombre_jugador <- html_node(pag_jugador, sel_nombre_jugador)
nombre_jugador <- html_text(nodo_nombre_jugador)
nombre_jugador
# peso del jugador
sel_peso <-"#ficha-jugador > aside > section.box.box-datos-sidebar.datos-sidebar-jugador > div.box-datos > div:nth-child(2) > div"
nodo_peso <-html_node(pag_jugador,sel_peso)
if(length(nodo_peso)==0){
  peso_jugador<-"-1"
}else{
peso_jugador<-html_text(nodo_peso)
}
peso_jugador
# Altura
sel_alt <-"#ficha-jugador > aside > section.box.box-datos-sidebar.datos-sidebar-jugador > div.box-datos > div:nth-child(1) > div"
nodo_alt <- html_node(pag_jugador, sel_alt)
if(length(nodo_alt)==0){
  altura_jugador<-"-1"
}else{
altura_jugador <- html_text(nodo_alt)
}
altura_jugador

# De la tabla principal puedo obtener los datos restantes
sel_tabla <-"#DataTables_Table_0"
nodo_tabla <- html_node(pag_equipo, sel_tabla)
tabla_equipo <- html_table(nodo_tabla)
tabla_equipo

library(rvest)
library(rjson)
clubs_list_url <- 'https://www.laliga.com/laliga-santander/clubes'
clubs_list_page <- read_html(clubs_list_url)
json_data <- html_node(clubs_list_page, '#__NEXT_DATA__')
json_data_value <- html_text(json_data)
teams_data <- fromJSON(json_data_value)
getLink <- function (lista) lista$slug
teams_urls <- lapply(teams_data$props$pageProps$teams, getLink)
teams_urls <- paste0('https://www.laliga.com/clubes/', teams_urls)
getTeamMembers <- function(team_url) {
  team_page <- read_html(team_url)
  player_links <- html_nodes(team_page, 'a[href^="/jugador/"]')
  player_urls <- html_attr(player_links, 'href')
  player_urls
}
members <- sapply(teams_urls, getTeamMembers)
b<-as.data.frame(unlist(members))
b[] <- Map(paste0, 'https://www.laliga.com',b)
b<-as.vector(unlist(b))
getJugador<-function(url){
  library(rvest)
  pagina_web<-read_html(url)
  #Nombre del jugador
  nombre<-"#__next > div.styled__SinglePlayerWrap-sc-4onsy-3.JWsgI > div.styled__Container-rwa3kw-0.styled__SinglePlayerBasicDataWrap-rwa3kw-1.jOrlgm > div.styled__PlayerNameArea-rwa3kw-2.hinFoe > div.styled__PlayerName-rwa3kw-5.ciFBaS > div.styled__PlayerNameTxt-rwa3kw-6.ijdLRB > div.styled__FirstName-rwa3kw-9.iOfZYb > p"
  nombre_nodo<-html_node(pagina_web, nombre)
  nombre_texto<-html_text(nombre_nodo)
  nombre_texto
  #Peso
  peso<-"#__next > div.styled__SinglePlayerWrap-sc-4onsy-3.JWsgI > div.styled__Container-rwa3kw-0.styled__SinglePlayerBasicDataWrap-rwa3kw-1.jOrlgm > div.styled__PlayerDataArea-rwa3kw-4.eFwlEv > div.styled__TableData-rwa3kw-13.gQCPet > div.styled__TableDataCell-rwa3kw-14.kkAyOI.cell-weight > div > div.styled__TableDataContent-rwa3kw-17.dblPfO > p"
  peso_nodo<-html_node(pagina_web, peso)
  peso_texto<-html_text(peso_nodo)
  peso_texto
  #Altura
  altura<-"#__next > div.styled__SinglePlayerWrap-sc-4onsy-3.JWsgI > div.styled__Container-rwa3kw-0.styled__SinglePlayerBasicDataWrap-rwa3kw-1.jOrlgm > div.styled__PlayerDataArea-rwa3kw-4.eFwlEv > div.styled__TableData-rwa3kw-13.gQCPet > div.styled__TableDataCell-rwa3kw-14.kkAyOI.cell-height > div > div.styled__TableDataContent-rwa3kw-17.dblPfO > p"
  altura_nodo<-html_node(pagina_web,altura)
  altura_texto<-html_text(altura_nodo)
  altura_texto
  datos<-c(nombre_texto,peso_texto,altura_texto)
  datos
}
b<-head(b,20) #Esta parte indica que usaremos solo 20 links de los 605
jugadores <- sapply(b, getJugador)
jugadores<-t(jugadores)
colnames(jugadores)<-c("Nombre","Peso","Altura")
jugadores
write.csv(jugadores,"jugadores.csv")

Reto: Obtén datos de la liga española de fútbol

Basicos para el curso

Mundo Data Science

¿Qué hace un Data Scientist?

Introducción a R

Operaciones con datos: vectores, listas y matrices

Operaciones con datos: dataframe y ficheros

¿Qué es web scraping?

Visualización de datos

Presentación del proyecto

Web scraping con R

Intro paquete Rvest y descripción de ejercicio

Principales funciones de Rvest

HTML node

Rvest en nuestro proyecto de Amazon. Recopilación de paginación

Obtención de URL de cada producto

Funciones Apply

Obtención de información de cada producto

Automatización para obtener datos preprocesados

Corrección de errores durante obtención de datos