Introducción a las tecnologías web

Esta buenisimo el curso, siempre un grande david

Notas de la clase

Un problema muy comun es no encontrar el data set correcto, y no poder encontrar los datos que te permitiran responder la pregunta que te has planteado

por eso debes ser capaz de construir tus propios datasets

Que es?

Las teconologias web, se suele pensar que es el internet pero esto es erroneo ya que el internet es millones de veces mas grande y representa solamente el canal en el que existe la web.

el internet esta conformado tambien por APIs, email, http, protocolos de transferencia entre otras

esto es importante de conocer a la hora de buscar de donde es posible extraer datos

La web es una parte del internet donde se puede acceder a diversos documentos a traves de vinculos en forma de URL accediendo a archivos HTML que interactuan o no con un backend.

la web posee varios elementos basicos:

• HTML Estructura (importante)

• CSS. Presentacion

• Javascript, interactividad y computo.
  Es importante de considerar, ya que al accederse de forma programatica a una pagina web si no se ejecuta el javascript es posible que no hay informacion visible, ya que esta carga por medio de la ejecucion del javascript

• Json transferencia de datos por API (importante)

Hola, vengo del futuro, para poder entender este modulo para mi fue necesario hacer los cursos de:

1. Desarrollo Web Online
2. Fundamentos de Web Scrapping con Python y Xpath
3. Curso de Web Scrapping
4. Curso de Scrapy
   Te dan muy buenas bases para comprender lo que hace David en este modulo.
   igual agregaria el de API REST y el de Selenium con Python.
   ¡NUNCA PARES DE APRENDER!

Web Scraping: ¿legal o ilegal?

uno de los mejores profesores de Platzi

No sabía que la web era solo una parte del enorme Internet

Es de los pocos instructores o docentes (no sé que nombre es el correcto) que realmente me han atrapado con su forma de expresar, bastane claro.

Me gusta su enfoque.

Tecnologias web: Html, css, js, json.
Protocolos web: voip, pop3, imap, ftp, http

Me gusta como explica el profesor, es bastante claro en los conceptos.-

Para los que les interese, hay un curso en Platzi que enseña a usar selenium para poder manejar el javascript con Python.

Puppeteer

https://pptr.dev/ (node)

https://pypi.org/project/pyppeteer/ (python)

Tecnologías web

La web es el espacio de información en el cual de documentos se pueden accesar a través de URLs y vinculos. La comunicación se da a através del protocolo HTTP.

HTML: da la estructura.

CSS: presentación.

JavaScript: interactividad y cómputo

Json: transferencia de datos.

interesante!

Excelente clase, buena explicación sobre las tecnologías que debemos manejar.

Excelente clase e introduccion a la tecnologia web

excelente introducción.

CSS es un lenguaje de hojas de estilos creado para controlar el aspecto o presentación de los documentos electrónicos definidos con HTML y XHTML. CSS es la mejor forma de separar los contenidos y su presentación y es imprescindible para crear páginas web complejas

En la vida real, qué aplicación tiene hacer Web Scraping ??

que temas tan interesantes, muchas gracias.

Yo estoy usando Scrapy para web scraping y me gusta porque es muy fácil de aprener.

una pregunta: Cómo puedo simular js usando scrapy?

muy buena la explicación

bastante clara la clase, gracias

XML, RSS y Atom son tecnologías que se usan mucho en la web

Se ve super interesante, vamos con todas las herramientas a scrapear la web.

El Web Scraping lo haremos sobre archivos HTML

muy buena explicacion… gran tema

Aquí pueden ver una página web muy básica, pero muy cool que ha permanecido allí desde que se creó: https://spacejam.com/ ⛹️‍♂️🏀🪐

Elementos basicos de la web

• HTML: La estructura de etiquetas de una pagina web.
• CSS: Prfesentacion para hacer mas atractiva una pagina.
• Javascript: Interactividad para nuestras paginas.
• Json: La forma estandar de la transferencia de datos.

Introducción a las tecnologías web

Las tecnologías web en principio podemos pensarlas como el internet, pero el internet es mucho más grande, es la red de redes, la forma en la que millones de computadores se conectan entre ellas para transferirse información.

El internet también se compone de otros pedazos como telefonía(voip), mail(pop3, imap), compartir archivos(ftp). El internet es una red que une varias redes públicas, privadas, académicas, de negocios, de gobiernos, etc.

La web específicamente es un espacio de información en el cual varios documentos(y otros recursos web) se pueden acceder a través de URLs y vínculos(links). La comunicación se da a través del protocolo HTTP.

Elementos básicos de la web:

• HTML: nos da la estructura de la información. Es un lenguaje para anotar pedazos de información para que el navegador o otros tipos de programa puedan interpretar que tipo de información se encuentra ahí.
• CSS: nos permite darle colores, arreglar el texto y añadir diferentes elementos de presentación.
• Javascript: nos permite añadir interactividad y cómputo a nuestra web.
• JSON: Simplemente es una forma de transmitir datos entre servidores y clientes. Es la forma estándar en las que en la web y las aplicaciones se comunican con los servidores backend.

Lord Aroesti

English summary to practice

What is a web scraper?

A tool that will help us to extract web data for our later use

What is the web?

Is the webs web. It connect all computers connecteds to internet and can communicate them.

What are the web techs?

Are the languages that let’s the web works

HTML

Structure

CSS

Style

Javascript

Interactivity

JSON

Data transfer

Buenas noches, podrian ayudarme dandome una definicion de automatizacion de un pipeline y web scrapping? Muchas gracias de antemano. saludos

Hola Justo ahora tengo batsantes lagunas respecto a Data Extraction y creacion de Data Pipelines,

pense que spark servia para hacer Data Extraction (y creo que si, con Spark Streaming), tambien lei que apache flik y Kafka

pero todo se torna confuso, aqui se explica como hacer web scrapping con python, pero y donde puedo ver como extraer datos de una API?

Siempre me a costado un poquito estos temas, pero me ha permitido entender como funciona lo que uno consume a diario, muy interesante, la verdad es increíble todo loque e puede llegar a lograr para que las industrias logren ser competitivas.

Diferencia entre Internet y Web, el Internet es una red de ordenadores conectados al rededor del mundo, mientras que la Web es una colección de paginas.

Este curso parece una gran pelicula. Me prometí iniciarlo y trabajar 5 videos y mañana continuar, pero ya voy 11 videos y no lo he podido dejar.

También existe una muy buena alternativa llamada Pattern. Es una biblioteca para hacer scraping y tiene también módulos para scraping en redes sociales y Web Graph.
También viene con Librerias para Procesar Lenguaje Natural entre otras

https://github.com/clips/pattern

https://github.com/clips/pattern/wiki

Bien explicado

me gusta mucho su forma de dar clases, se entiende muy bien el tema y conoce mucho del tema

Aunque creo es más lento me gusta usar selenium para hacer scrapping. Lo sé es para pruebas automatizadas pero pues me gusta.

No entiendo muy bien el tema de los protocolos, http, pop3, imap. Alguna guía?

Estoy bajando post de comentarios, pero la página HTML solo muestra una parte del comentario y tiene un botón de Javascript para abrirlo completamente ¿Cómo o con qué puedo hacer que los comentarios se abran completos antes de bajar la información a python?

Cuando dice renderizar, exactamente a que se refiere? es un término que aun no lo comprendo bien

Buenas tardes creo que si hay tecnologías usadas en la web no mencionadas como es el caso de xml. para servicios web soap, rest que es casi todo json no todos la usan. un abrazo!!

David es un gran profesor 😃

Super bueno la introduccion al curso

He entendido mucho! Gracias David

Excelente curso!

Un excelente curso con un excelente profesor

Para Google Chrome hay una extensión útil para inspeccionar una página: SelectorGadget

conocen algun curso que utilice pupeteer? hay alguno en platzi?