Me gusto la frase que dice a los 27 segundos de video “Los scripts se lo dejamos a quienes no tienen tanto conocimiento”. Wuuuuoooo!!!
Ya llegar aquí es otro nivel.
Introducción
Qué aprenderás sobre la ingeniería de datos
Archivos del curso y Slides
¿Qué es la Ciencia e Ingeniería de Datos?
Roles
Configuración del ambiente
Jupyter Notebooks
Profundizando en tipos de datos
Tipos de datos
Fuentes de datos
ETL
Web scraping
Introducción a las tecnologías web
Realizar solicitudes HTTP con Python
¿Cómo trabajar con un documento HTML?
Analizando un sitio web para encontrar las directivas a utilizar al hacer un web scrapping
Solicitudes a la web: Requests
Implementando nuestro web scrapper: Configuración
Implementando nuestro web scrapper: Obteniendo enlaces del front page
Implementando nuestro web scrapper: Obteniendo artículos
Obtención de datos del Artículo
Persistiendo la información "scrapeada"
Pandas
Introducción a Pandas
Estructura de datos: Series
Estructura de datos: DataFrames
Índices y selección
Data wrangling con Pandas
Creación de la receta: preparando la automatización
¿Cómo trabajar con datos faltantes?
Operaciones con Series y DataFrames
Limpiando detalles adicionales
Limpiando detalles en nuestro proyecto
Enriquecimiento de los datos
Valores duplicados en Jupyter
Valores duplicados en Python
Visualización de datos
Intro a Sistemas de Datos
Introducción a los sistemas de datos
Automatización del Pipeline
Cargando datos a SQLite
Contenido Bonus
¿Por qué usar la nube?
Aún no tienes acceso a esta clase
Crea una cuenta y continúa viendo este curso
Un buen Data engineer utiliza los conceptos de la ingeniería de software para poder desarrollar sus programa. En nuestro caso para poder desarrollar nos apoyaremos de un patrón.
Page Object Patter: Es un patrón que consiste en esconder los queries especificos que se utilizan para manipular un documento HTML detrás de un objeto que representa la página web.
Si estos queries se añaden directamente al código principal, el código se vuelve frágil y va a depender mucho de la modificación que hagan a la web otras personas y arreglarlo se vuelve muy complicado.
Aportes 35
Preguntas 3
Me gusto la frase que dice a los 27 segundos de video “Los scripts se lo dejamos a quienes no tienen tanto conocimiento”. Wuuuuoooo!!!
Ya llegar aquí es otro nivel.
Encontré este link donde se expone la problemática del porqué usar Patrón Page Object y como se vería al ser implementado. Me ayudó a entender la idea general y como puede ser aplicada. http://adrianmoya.com/2013/09/aplicando-el-patron-page-object-en-la-automatizacion-de-escenarios/#sthash.LpAhXWgR.dpbs
No suelo escribir criticando pero deberian recordarle a David Aroesti que la misión de Platzi es revolucionar la educación, eso implica que personas con nulos conocimientos en informática o programación pueden llegar hacer este u otros, esa actitud arrogante de desprestigiar a quienes crean scripts y que se esfuerzan por mejorar y cada día aprender no deben ser aceptadas.
En este enlace pueden encontrar más información con respecto a Page Object Patter en testing automatizado 😄
Para ampliar la información:
https://medium.com/tech-tajawal/page-object-model-pom-design-pattern-f9588630800b
Por si se pregunta que es @property dejo un link
El codigo visto en clase no funciona, si usamos el de los archivos si, que paso actualizaron o algo? si es así deberian avisar
A pesar de no ser programador me gusta aprender los conceptos del mundo Tec sobre todo de la ciencia de datos - recalco lo que dijo: “Un buen Data Engineer utiliza los conceptos de la ingeniería de software para poder desarrollar sus programa” chevere.
Me encantan las explicaciones a detalle de los conceptos primero para entender que es lo que vamos a hacer!
Curioso vídeo, gracias.
Excelente me ha gustado mucho este curso.
Excelente explicacion
Page Object pattern represents the screens of your web app as a series of objects and encapsulates the features represented by a page. It allows us to model the UI in our tests.
Page Object Pattern
Siendo cada mas mas eficientes, me encanta. 😄
super, muy interesante
Esto es demasiado interesante, con todas las ganas de aprender más.
Muy acertado el consejo… es bueno hacer código mas robusto…
para seleccionar el texto de algun elemento por ejemplo si queremos solo el titulo de un artitulo podemos hacerlo con el metodo getText() de beautifulsoup
eluniversal = requests.get('https://www.eluniversal.com.mx/nacion/ubican-el-hospital-particular-de-el-mencho')
univ_soup = bs4.BeautifulSoup(eluniversal.text, 'html.parser')
titulo = univ_soup.select('.pane-content > h1')
for i in titulo: print("titulo: "+i.getText()) # getText a method for getting just the content
Veamos como funciona …
interesante!
Genial ir de una a la practica
Interesante
Muy buena explicación, nos vemos en la siguiente clase 😃
No conocía este patrón y ahora que lo veo me parece algo espectacular, que podemos implementar en nuestra vida diaria. Gracias David por tus enseñanzas.
Los Page Object Patter Los usamos para no ser sensibles a las modificaciones que se relaicen sobre la pagina que vamos a screapear!
Genial!
El patrón Page Object nos ayuda con la tarea de robustecer nuestras pruebas. Consiste en crear un objeto por cada conjunto de elementos significativos de la interfaz con la que interactuamos.
Me sale este error cuando ejecuto el main
<(base) C:\Users\wilso\web_scrapper_curso_data_eng>python main.py
File "main.py", line 23
args=parser.parse_args()
^
TabError: inconsistent use of tabs and spaces in indentation>
Alguien sabe como identar el codigo con linea de comando
//PaginaPrincipal.java
public class PaginaPrincipal {
private final WebDriver driver;
private final BarraNavegacion barraNavegacion;
public PaginaPrincipal(WebDriver driver) {
this.driver = driver;
barraNavegacion = new BarraNavegacion(driver);
}
Que interesante no habia escuchado de ese patrón también existe uno que se llama facade es interesante aplicarlo en el desarrollo
Si no recuerda el @porperty pueden leerlo en esta clase
https://platzi.com/clases/1775-poo-python/35412-setters-getters-y-decorador-property/
Excelente consejo para no andar corrigiendo todo un código por cada actualización de una página web.
Interesante aplicación
¿Quieres ver más aportes, preguntas y respuestas de la comunidad? Crea una cuenta o inicia sesión.