Data Harvesting y Data Mining

Como la frase “Big Data” se volvió viral, surgió todo lo relacionado con los datos. Web scraping, web harvesting, web mining, data analysis, data mining, etc. Estas palabras se han usado indistintamente para que el ámbito de los datos sea aún más confuso para muchas personas. Una comprensión integral de estos términos es necesaria para que las empresas respectivas sean informativas en la industria del marketing brutal.
¿Qué es la Data Harvesting?
La recolección de datos significa obtener los datos y la información del recurso en línea. Por lo general, es intercambiable con el web scraping, web crawling y extracción de datos. Recolección es un término agrícola que significa recolectar cosechas maduras de los campos que involucran el acto de recolección y reubicación. La recolección de datos es el proceso para extraer datos valiosos de los sitios web objetivo y ponerlos en su base de datos en un formato estructurado.

Para llevar a cabo la recolección de datos, debe tener un crawler automático para analizar los sitios web de destino, capturar información valiosa, extraer los datos y finalmente exportarlos a un formato estructurado para su posterior análisis. Data harvesting, por lo tanto, no involucra algoritmos, aprendizaje automático ni estadísticas. En cambio, depende de la programación de computadoras como Python, R, Java para funcionar. Además, la recolección de datos tiene más que ver con la precisión.

Existen muchas herramientas de extracción de datos y proveedores de servicios que pueden realizar la recolección web por usted

¿Qué es la Data Mining?

Data mining a menudo se entiende mal como un proceso para obtener los datos. Existen diferencias sustanciales entre la recopilación de datos y extracción de datos a pesar de que ambos implican el acto de extracción y obtención. La minería de datos es el proceso para descubrir patrones basados en hechos que genera a partir de un gran conjunto de datos. En lugar de obtener los datos y darles sentido. Data mining no solo es interdisciplinaria, sino que también integra estadísticas, ciencias de la computación y funciones de aprendizaje automático, no solo la adquisición de datos y hacerlos significativos.

El famoso escándalo de Cambridge Analytica, recopilaron más de 60 millones de información de usuarios de Facebook y aislaron a aquellos que no estaban seguros de sus votos en función de su identidad y actividades en Facebook. Cambridge Analytica luego empleó la táctica de “Psychographic microtargeting” para bombardearlos con mensajes inflamatorios para cambiar sus votos. Es una aplicación típica pero dañina de la minería de datos. Data mining descubre quiénes son, qué hacen y, a cambio, ayudalos a lograr el objetivo.

Data mining tiene Cuatro Aplicaciones Clave. El primero es la clasificación. Tal como lo indica la palabra, data mining se utiliza para colocar cosas o personas en diferentes categorías para su posterior análisis. Por ejemplo, el banco crea un modelo de clasificación a través de aplicaciones. Reúnen millones de solicitudes junto con los extractos bancarios de cada individuo, títulos de trabajo, estado civil, diploma escolar, etc., luego usan algoritmos para calcular y decidir qué aplicación es más riesgosa que las demás. Dicho esto, en el momento en que completa el formulario de solicitud, ya saben a qué categoría pertenece y qué préstamo se aplicará usted.

Regresión.

Regresión se usa para predecir la tendencia en función de los valores numéricos de los conjuntos de datos. Es un análisis estadístico de la relación entre variables. Por ejemplo, puede predecir la probabilidad de que ocurra el delito en un área específica según los registros históricos.

Clustering

El clúster es agrupar puntos de datos basados en rasgos o valores similares. Por ejemplo, Amazon agrupa productos similares en función de la descripción, las etiquetas y las funciones de cada artículo para que los clientes puedan identificarlo más fácilmente.

Detección de anomalías:
Es el proceso para detectar comportamientos anormales que también se llaman valores atípicos. Los bancos emplean este método para detectar transacciones inusuales que no se ajustan a sus actividades normales de transacción.

Asociación de aprendizaje:
El aprendizaje asociativo responde a la pregunta “¿Cómo se relaciona el valor de una característica con el de otra?” Por ejemplo, en las tiendas de comestibles, las personas que compran refrescos tienen más probabilidades de comprar Pringles juntas.

Estas cuatro aplicaciones construyen la columna vertebral de Data Mining. Por así decirlo, data mining es el núcleo de Big Data. El proceso de data mining también se concibe como Knowledge Discovery from Data (KDD). Ilumina el concepto de data science, que ayuda a estudiar la investigación y el descubrimiento del conocimiento. Los datos pueden ser estructurados o no estructurados y dispersos por Internet. El poder real es cuando cada pieza está agrupada, separada entre categorías para que podamos dibujar un patrón, predecir las tendencias y detectar anomalías. Continúa con cursos de Data Analytics.