Limpieza de datos

Clase 25 de 31 • Curso de Principios de Visualización de Datos para Business Intelligence (2021)

Clase anteriorSiguiente clase

Axel Yaguana

Team Platzi•

La recolección y limpieza de datos ocupa entre el 60-70% del trabajo de un/a Data Scientist.

Jeinfferson Bernal G

student•

Muy buen dato.

Mateo Posada

student•

waooo no tenia ni idea, gracias por el dato

Xavier Carrera

student•

Trabajando con Python, la forma más programática es usando Pandas y Numpy.

Elias Dudamel

student•

Claro, un .replace() y .lower() a toda una columna de strings y resuelves el tema de minúsculas y reemplazo de caracteres especiales.

Jeinfferson Bernal G

student•

es correcto!

Mauricio Obe

student•

Garbage in, garbage out Es una expresión en informática, que se puede entender como "basura entra, basura sale" es un concepto que se relaciona con la calidad de la información o los productos que ingresan a un sistema, si la calidad de lo que ingresa no es buena, el resultado normalmente tampoco es bueno.

David A. Vazquez Gonzalez

student•

Veo que algunos compañeros son bastante avanzados, pero en mi caso utilizo Power Query de Microsoft ya sea en Excel o Power BI para la limpieza de los datos.

Andres Ramirez

student•

Que chévere David, tendrás recomendaciones para aprender DAX?

David A. Vazquez Gonzalez

student•

Pues la mayoría lo he aprendido viendo videos en youtube a gente como Sandielly Ortega o los cuates de Excel Free blog. Si ya tienes algo de experiencia te recomiendo a Sandielly, es mas rapido y fluido, si vas iniciando puedes optar por la otra opcion ya que explican de manera mas calmada y con mucho ejemplo. Tambien utilizo mucho la documentación de Microsoft, este es el link: https://docs.microsoft.com/es-es/dax/

Javier Guardia

student•

Mini apuntes.

Limpieza de datos

Segunda etapa y también muy demandante de tiempo. Antes de empezar a interpretar la información es necesario que los datos tengan formatos estandarizados (tipos de datos, tipos de valores, la forma en la que están escritos, etc) que faciliten la lectura para nosotros, otras personas y el software. Por ejemplo, si usamos texto tenemos que evitar usar carácteres especiales para evitar que el software tenga problemas a la hora de estandarizar.
Existe un concepto muy importante en limpieza de datos: GIGO/RIRO (Garbage In, Garbage Out / Rubbish In, Rubbish Out). Ambos términos advierten que si ingresamos información basura vamos a obtener información basura. El producto final depende de la calidad de los datos.
Estandarizada la información y controlada su calidad/relevancia podemos pasar al proceso de preparación en el cual organizaremos esos datos para su uso.

Stephany Plaza

student•

excelente aporte, buen resumen

César Andrés Baudi Ventura

student•

Aprendí primero a usar Pandas así que me quedé con esa librería de Python, sin embargo, pienso que debería usar excel pues el proceso de limpieza usando una interfaz grafica, podría agilizar el proceso.

Elias Dudamel

student•

Buen día César, no es complicado. Al darle Crtl + B, te sale ventana de buscar y si le das a la solapa "Buscar y reemplazar" ingresas el carácter a buscar y porque lo cambias. Además tienes las funciones de MINUSC() que te transforma todo a minúscula. La parte de texto en columnas te separa cadena de strings por espacios también. Te invito a que investigues un poco y te diviertas con un pequeño proyecto, te aseguro que más nunca se te olvida.

Jeinfferson Bernal G

student•

Concuerdo contigo

David Andrés Torres Forero

student•

Yo en lo personal uso para la limpieza de datos el sistema de transformación STEP BY STEP que ofrece power BI. Es básicamente un sistema de paso a paso en el cuál le decimos al software qué debe hacer cada vez que entre data con una estructura similar. Todo esto es NOCODE y es bastante práctico

Alejandro Palacios

student•

En mi caso uso principalmente la herramienta de Sql Server Integration Service (SSIS) de Microsoft dentro de la empresa, en casos donde no requiero automatizar procesos sino hacer algo rápido utilizo Excel y Power BI.

Cristian Mauricio Baron Castiblanco

student•

NOTAS Es una de las etapas mas demoradas e importantes, dado que requiere estandarizar el formato de trabajo que preferimos, basándonos no solo en nuestro gusto, sino en el sistema que utilizamos para el análisis e interpretación de datos (Excel, Power BI, Python, etc.).

Un concepto muy común en esta etapa es el GIGO/RIRO, que refiere al Garbage In, Garbage Out. Esto hace referencia a que si en nuestros análisis metemos basura desde el principio, tendremos basura en nuestro resultado. Claramente la información que desde el principio no es confiable, no genera resultados confiables. Por otro lado, la preparación es importante en esta etapa donde finalmente, le damos forma a nuestra información en cuanto a calidad y formato, dejando listo todo para la visualización de datos.

Julian Muñoz

student•

Totalmente de acuerdo!

Daniel Choxin

student•

Gracias por el aporte

Edward Toledo López

student•

Cuando se trata de csv's, procuro empezar con el número de columnas, si encuentro algunas con errores, cabio el separador. De ahí, para estandarizar por tipos prefiero usar python, pandas y numpy. Para almacenar, estoy aprendiendo a usar bien PostgreSQL, ya que me permite importar de forma sencilla una "Base de Datos" que se tenía en excel

Erick Smith Espinosa

student•

Hola amigo, estoy haciendo el mismo proceso que tu. solo que estoy empezando y quería preguntarte que llevas 2 años más que yo para saber si es buen camino o que me recomiendas?

David Prada

student•

Erick, seguiste en este camino? Cómo te ha ido?

Leonardo Acosta

student•

Normalmente utilizo python para hacer la limpieza de datos. Se que existen otras herramientas como Tableau Prep que te hacen todo el pipeline incluyendo la limpieza

Daniel David Mármol Rivero

student•

Personalmente uso Excel para la limpieza de datos, en el cual analizo columna por columna buscando errores y aplicando diversas funciones o simplemente cambiando el tipo de texto para estandarizar la data.

Eliezer Pimentel Rodriguez

student•

Un software de ETL (Extract, Transform and Load) es ideal para estos casos. El proceso de ETL se realiza para integrar datos de una o varias fuentes (Origen), en una fuente destino. Aqui se recopilan datos de la(s) fuente(s) origen, se limpian los datos (transformaciones de los datos) y se cargan en la fuente destino, ya listos para ser utilizados por la herramienta de visualización. Esto es un poco mas avanzado. Herramientas para ETL estan :SQL Server Integration Services (SSIS), Informatica PowerCenter entre otras. Las herramientas de visualización como Tableau, Power BI y otras permiten hacer limpieza de datos a un nivel intermedio comparado con las herramientas y softwares de ETL.

Miguel Angel Reyes Moreno

student•

Cuando estaba en universidad tuve que hacer limpieza muy profunda de una BBDD que se hizo a través de un formulario MUY MAL HECHO desde un inicio. Les pongo un ejemplo: Una pregunta era '¿En qué ciudad vives?' Realmente más del 99% de la población encuestada iba a vivir en la misma ciudad (no era muy necesaria esta pregunta). Pero la respuesta que se pudo haber reducido a una opción múltiple tipo:

Ciudad X
Otra se mantuvo como un Campo de Texto y esto hizo que MUCHAS personas escribieran la misma ciudad de mil formas distintas. Ahora imaginen eso con 60 y tantas preguntas para más de 100 encuestas. En ese entonces no sabía combinar Python con Excel así que me vi limitado a usar Google Sheets. No estuvo mal, fue mucho más rápido de lo que esperaba pero me dio mucho coraje porque todo el formulario era una porquería que se pudo mejorar xD

Jhon Freddy Tavera Blandon

student•

Software para limpieza de datos

La limpieza de datos es el proceso que elimina los datos que no pertenecen a su conjunto de datos. La transformación de datos es el proceso de convertir datos de un formato o estructura a otro. Los procesos de transformación también se pueden denominar disputa de datos o manipulación de datos, transformación y mapeo de datos de un formulario de datos "sin procesar" a otro formato para almacenamiento y análisis. Este artículo se centra en los procesos de limpieza de esos datos.

Acá te dejo una lista con las herramientas de limpieza de datos que más se usan
https://www.softwareadvice.es/directory/3195/data-cleaning/software

Diego Martín

student•

Suelo utilizar Rstudio para la limpieza de grandes volúmenes de data. Si no es mucho, basta con excel :)

Charly Nieves

student•

Excel es muy bueno, cuando se utilizan cantidades de datos muy pequeños, KNIME es una herramienta de datos amigable basada en cubos programables para limpiar grandes cantidades de datos.

JULIÁN MAURICIO CELIS GALINDO

student•

Aquí te presento algunas opciones populares:

OpenRefine (anteriormente Google Refine):
- Una herramienta potente y gratuita para trabajar con datos desordenados: limpiarlos, transformarlos, y enriquecerlos de otras bases de datos.
- Bueno para tareas como la normalización de datos, identificación de duplicados, y limpieza de errores.
Pandas en Python:
- Una biblioteca de análisis de datos que ofrece amplias capacidades para la manipulación de datos, incluyendo limpieza.
- Permite filtrar datos, llenar valores faltantes, eliminar duplicados, y realizar múltiples transformaciones de datos.
Trifacta Wrangler:
- Una herramienta interactiva para la limpieza y transformación de datos.
- Ofrece una interfaz de usuario gráfica para transformar datos sin necesidad de escribir código.
Talend:
- Una plataforma de integración de datos que proporciona herramientas para limpiar, transformar y migrar datos.
- Es útil para proyectos de integración de datos a gran escala.
Microsoft Excel / Google Sheets:
- Herramientas de hoja de cálculo con capacidades básicas para la limpieza de datos, como eliminar duplicados, filtrar y ordenar datos, y usar funciones para transformar datos.
KNIME:
- Una plataforma de análisis de datos de código abierto que permite realizar diversas operaciones de limpieza de datos.
- Proporciona una interfaz gráfica para combinar distintos nodos de procesamiento de datos.
SQL:
- Lenguajes de bases de datos como SQL también se pueden utilizar para limpiar datos, especialmente cuando los datos ya están almacenados en una base de datos relacional.
Data Ladder:
- Una herramienta más orientada al ámbito empresarial, ideal para la limpieza, emparejamiento y enriquecimiento de datos.
IBM InfoSphere QualityStage:
- Una herramienta empresarial para la calidad de datos que ayuda a crear datos consistentes, precisos y completos.
Alteryx:
- Combina análisis de datos, limpieza de datos, y capacidades de integración de datos en una sola plataforma.

Álvaro Nicolás Sarmiento Ospina

student•

Algunas herramientas para la limpieza de datos son OpenRefine Trifacta Talend RapidMiner Alteryx

Adriana VP

student•

Reto Estas herramientas utilizan la automatización y eliminan cualquier proceso manual, lo que acelera el proceso de limpieza de datos.

Astera Centerprise: Es una solución completa de integración de datos sin código, que es perfecta para la limpieza de datos. Ofrece capacidades avanzadas de creación de perfiles y limpieza de datos que permiten a los usuarios garantizar la integridad de los datos.

OpenRefine: Es una utilidad de datos de código abierto muy popular. La herramienta de limpieza de datos ayuda a su organización a convertir datos entre diferentes formatos mientras mantiene su estructura.

Trifacta Wrangler: Es otra de las principales herramientas de limpieza de datos del mercado. Esta herramienta interactiva y transformadora permite a los analistas de datos limpiar y preparar datos muy rápidamente en comparación con otras herramientas.

Dedupley: Es una herramienta específica para la limpieza de datos.

Experian Data Quality: Dispone de programas específicos para la validación de datos a través del correo electrónico y es capaz de analizar números de teléfono de forma masiva.

Limpieza de datos

Introducción: fundamentos de la visualización de datos

¿Qué aprenderás sobre la visualización de datos?

¿Qué es la visualización de datos?

Florence Nightingale y la dama de la lámpara

Retos para aprender visualización de datos

Importancia de la visualización de datos: disminuye la carga cognitiva

Herramientas para visualizar datos: Excel, Tableau, Power BI, Google Analytics, Google Data Studio

¿Cómo usar correctamente una gráfica? Ejemplos y usos de visualizaciones

Buenas prácticas para visualización de datos: user personas, mentiras estadísticas y principios de Gestalt

Caso Target: conflictos de ética en la ciencia de datos y Big Data

Elige la gráfica correcta para tus reportes

Gráfica de barras

Gráfica de pie

Gráfica de dispersión

Gráfica de burbujas

Gráfica de mapas

Tipos de mapas: isolíneas, coropletas, diagramas, anamórficos

Gráfica de heat map o mapas de calor

Gráfica de tablas

Importancia del storytelling en la visualización de datos

Data Visualization para Business Intelligence

¿Cómo afecta la visualización de datos en tu negocio?

Explora, descubre, pregunta: toma decisiones inteligentes con análisis de datos

Práctica: análisis y exploración de datos

Práctica: storytelling para contar historias con datos

Caso Walmart: integra visualización de datos y Big Data con inteligencia de negocios

Flujo de trabajo y etapas del Business Intelligence

Recolección de datos

Limpieza de datos

Exploración de datos

Creación de gráficas y visualizaciones

Generación de reportes con storytelling

Define objetivos SMART con KPIs o Key Performance Indicators

Recomendaciones finales para Visualización de Datos

Caso Orbitz: beneficios de una cultura data-driven o basada en datos

Continúa aprendiendo Data Science, Business Intelligence y Visualización de Datos