Recolección de datos, limpieza y validación

Clase 7 de 28 • Curso de Análisis Exploratorio de Datos

Jeinfferson Bernal G

student•

Resumen

Recolección de Datos, limpieza y validación

La recolección de datos es la forma de recolectar información que permite obtener conocimiento de primera mano e ideas originales sobre el problema de investigación

Tipos de Recolección de Datos

Primaria: Datos colectados de primera mano a traves de encuestas, entrevistas, experimentos y otros. Puedes decidir que recolectas y que quiere medir. Tienes total control de los datos.
Secundaria: Datos previamente recolectados por una fuente primaria externa al usuario primario. Son datos abiertos que puedes utilizar. No tienes control sobre lo que se mide o sobre el objetivo del estudio
Terciaria: Datos que se adquieren de fuentes completamente externas al usuario primario. Son datos accesibles a todo el mundo por lo que pierde su valor y tienden a ser datos genericos

Validación de los datos

Es el proceso de asegurar la consistencia y precisión dentro de un conjunto de datos. Para asegurar la consistencia de los datos debemos validar:

Modelo de datos: si un tercero recolecto los datos, verifica que preguntas queria responder con los datos. Si eres quien recolecta los datos, hazte muchas preguntas y considera si esos datos son suficientes para responderlas
Seguimiento de formato estándar de archivos: verifica que la extensión de los archivos que estas manejando correspondan con el formato interno que tienen. Asegurate que los numeros se expresen en el formato que estas trabajando.
Tipos de Datos: verifica que los datos sen del tipo que se indica en el dataset
Rango de variables: verifica que las variables estén dentro del rango establecido en la recoleccion de datos. En caso de encontrar variables fuera del rango preguntate: como llegaron esos datos aqui? tienen algun significado alterno? debo preservarlos o eliminarlos?
Unicidad: verifica que tan unicos son los datos. detecta si existe duplicidad en los datos y corrige.
Consistencia de expresiones: se refiere a como la persona que recolecta los datos define sus variables. Formato de fecha, de hora, variables escritas de la misma forma en toda la tabla. No son datos erroneos, solo es cuestion de darle el formato adecuado
Valores nulos: pueden estar explicitos o implicitos en el dataset. Son datos faltantes. Porque esta vacio? puedo rellenarlo con otro dato? esta vacio por un proceso aleatorio o tiene un sentido?

Carlos Mazzaroli

student•

Tu aporte me ayudo! toma un sanguchito

Ruddy Ramos

student•

Muchas gracias por su aporte.

Sebastian Nolasco

student•

Existe el estandar ISO 8601 que especifica un formato de AAAA-MM-DD pero aún se siguen usando diferentes variantes para cada región.

Algunos formatos de fechas regionales:

EEUU: MM/DD/AA
Europa (la mayoría): DD/MM/AA
Ásia (la mayoría): AA/MM/DD

Yo soy de Perú 🇵🇪 y se usa MM/DD/AAA.

Ruddy Ramos

student•

En Colombia se usa DD/MM/AAAA

Luis F. Hernandez

student•

en Guatemala, usamos regularmente DD/MM/AAAA

Jeinfferson Bernal G

student•

Robert Junior Buleje del Carpio

student•

x3 En Perú también.

Fernando Jesús Núñez Valdez

student•

¿Qué se debe validar para asegurar la consistencia?

Modelo de datos:

Saber la intención de los datos, es decir el ¿por que fueron colectados esos datos?¿Que se busca responder con estos datos?¿Estos datos hacen satisfacen los requerimientos necesarios para responder mi hipótesis?

Seguimiento de formato estándar de archivos:

Asegurarnos que la información siga el estándar de la extensión del archivo.

Tipos de datos:

Los tipos de dato booleano, entero, flotante, etc. Deben corresponder como fueron definidos. No debe de haber un flotante en una casilla para los booleanos.

Rango de variables:

Los datos deben de estar en el rango definido para la variable. Ex. [5,10], es decir, desde el 5 hasta el 10 (discretos).

Unicidad:

Cada muestra o dato debe de tener únicamente un identificador.

Consistencia de expresiones:

Mantener el mismo "formato" al escribir fechas, horas, etc. Es decir, mantener en todos los registros el formato DD/MM/AA, o cualquier otro pero que sea consistente. De igual manera para las variables categóricas y booleanas (T o F, True o False, etc.).

Valores nulos:

Tratar de entender porque existen datos faltantes y también si es posible rellenarlos aleatoriamente con otros del conjunto.

1. Valores nulos explícitos:

Especifica que el dato no esta; NaN.

2. Valores nulos implícitos:

Simplemente no aparece en el registro.

Juan R. Vergara M.

student•

Gracias por el resumen.

Ruddy Ramos

student•

Gracias por el aporte.

Sergio Mora

student•

En Colombia usamos DD/MM/AAAA

Y pensé que el tema de MM/DD/AAAA era exclusivo de estados unidos, me sorprende saber que mas regiones que lo usan, pero igual es como todo, para mi es raro solo porque estoy acostumbrado diferente

Rafael Alejandro Belalcázar Burbano

student•

En algunas ocasiones he tenido que trabajar con archivos donde las fechas para una misma columna vienen en distintos formatos.

Ahí empieza el camino para tratar de rescatar y estandarizar los datos.

David Duque Uribe

student•

Estandarizar los datos, fundamental para poder analizarlos, pues si cada cual pone un nombre que no siga las mismas variables que el resto dificultaría su filtración y posterior análisis

Pablo Alejandro Figueroa

student•

Validación para Asegurar Consistencia en los Datos:

1. Modelo de Datos:

Descripción: Verificar que el modelo conceptual y las preguntas que se intentan responder estén alineados con la realidad y las necesidades de la investigación.
Acciones:
- Si los datos fueron recopilados por un tercero, entender sus objetivos y preguntas clave.
- En el caso de recolectores internos, cuestionar si los datos proporcionados son adecuados para abordar las preguntas planteadas.

2. Seguimiento de Formato Estándar de Archivos:

Descripción: Garantizar que los archivos se adhieran a un formato estándar y que la extensión sea coherente con el formato interno que se está utilizando.
Acciones:
- Verificar que los archivos tengan la extensión correcta según el formato interno.
- Confirmar que los números y otros datos estén expresados de manera consistente según el formato de trabajo.

3. Tipos de Datos:

Descripción: Confirmar que los datos coincidan con los tipos de datos especificados en el conjunto de datos.
Acciones:
- Revisar cada columna y verificar que los datos sean del tipo esperado (entero, flotante, cadena, etc.).
- Corregir cualquier discrepancia identificada.

4. Rango de Variables:

Descripción: Asegurar que los valores de las variables estén dentro de los rangos esperados o establecidos durante la recolección de datos.
Acciones:
- Identificar variables que estén fuera de los rangos definidos y evaluar su validez.
- Tomar decisiones sobre si preservar o eliminar los datos atípicos.

5. Unicidad:

Descripción: Verificar la singularidad de los datos para evitar duplicados y asegurar la integridad del conjunto de datos.
Acciones:
- Identificar duplicados en función de criterios específicos.
- Corregir o eliminar duplicados según sea necesario.

6. Consistencia de Expresiones:

Descripción: Asegurar que las variables se expresen de manera coherente en toda la tabla, incluyendo formatos de fecha, hora y variables de texto.
Acciones:
- Establecer estándares para la representación de fechas, horas y otras expresiones.
- Realizar ajustes para garantizar la coherencia.

7. Valores Nulos:

Descripción: Identificar y manejar valores nulos para evitar problemas en el análisis y la interpretación incorrecta.
Acciones:
- Identificar valores nulos, ya sean explícitos o implícitos.
- Determinar si los valores nulos son aceptables o si deben ser gestionados (rellenados o eliminados).

La validación de estos elementos es esencial para asegurar la coherencia y calidad de los datos, proporcionando una base sólida para análisis precisos y decisiones informadas.

Diego Cesar Lerma Torres

student•

Recolección de Datos para Data Science

La recolección de datos es un paso crítico en el proceso de Data Science. Implica reunir información de diversas fuentes para análisis posteriores, lo cual permite a los científicos de datos y analistas obtener insights, desarrollar modelos predictivos y tomar decisiones basadas en datos

Concepto

La recolección de datos en Ciencia de Datos se refiere al proceso de obtener datos brutos de diferentes fuentes con el objetivo de realizar un análisis posterior. Estos datos pueden ser estructurados (tablas, SQL, etc.) o no estructurados (textos, imágenes, audios, etc.), y pueden ser recolectados de diversas maneras, incluyendo encuestas, APIs, sensores, registros en línea, y más.

Fuentes de Datos

Internas: Datos generados dentro de la organización (bases de datos de clientes, registros de transacciones, etc.).
Externas: Datos obtenidos de fuentes fuera de la organización (bases de datos públicas, datos de redes sociales, datos de satélite, etc.).

Métodos de Recolección

Encuestas y Cuestionarios: Diseñados para recoger información específica de un grupo de personas.
Web Scraping: Extracción de datos de sitios web.
APIs: Interfaces de programación de aplicaciones que permiten acceder a datos de servicios en línea.
Registros Electrónicos: Datos recopilados de interacciones digitales, como logs de servidores o historiales de compra.
Sensores: Datos recogidos a través de dispositivos IoT, sensores ambientales, etc.

Herramientas

Lenguajes de Programación: Python y R son ampliamente usados para recolectar y manipular datos.
Librerías: Pandas (Python) para manipulación de datos, Beautiful Soup (Python) para web scraping, y Tidyverse (R) para data wrangling.
Plataformas de Encuestas: Google Forms, SurveyMonkey, etc., para recopilación de datos a través de cuestionarios.

Puntos de Buena Práctica

Consentimiento y Ética: Asegurarse de que la recolección de datos se realiza de manera ética y con el consentimiento de los involucrados.
Calidad de Datos: Verificar la calidad y la relevancia de los datos recopilados para el análisis deseado.
Seguridad de Datos: Implementar medidas de seguridad para proteger los datos recopilados, especialmente si son sensibles o personales.
Diversidad de Fuentes: Utilizar múltiples fuentes de datos para obtener una visión más completa y reducir el sesgo.

La recolección de datos es la base sobre la cual se construyen todos los análisis en Ciencia de Datos. Una estrategia bien planificada y ética para recolectar datos puede significar la diferencia entre insights valiosos y conclusiones erróneas.

Guillermo Augusto Bracho Prieto

student•

Tanto Venezuela como Colombia utilizan el formato DD/MM/AAAA

Mauricio Combariza

student•

En Colombia dd/mm/aaaa

Jose Ramon Moreno Sanchez

student•

Deppnote con el plugin de dark reader para evitar los blancos segadores!

Juan R. Vergara M.

student•

En Panamá dd/mm/aaaa

Ivonne Castilla

student•

No hay mejor actividad que hacer un curso en Platzi el 1 de enero del 2026!

Gabriel Obregón

student•

¿QUÉ ES LA RECOLECCIÓN DE DATOS?

La recolección de datos es el proceso mediante el cual se obtiene información para adquirir conocimiento o ideas originales sobre un problema de investigación. En este caso, los científicos recopilaron datos sobre los pingüinos, buscando responder preguntas como:

¿Qué características definen a un pingüino?
¿Cómo determinar la especie de un pingüino?
¿Cómo identificar si un pingüino es macho o hembra?

TIPOS DE RECOLECCIÓN DE DATOS

Existen tres tipos principales de recolección de datos:

Primaria:
- Datos recolectados de primera mano (entrevistas, encuestas, experimentos).
- Ventaja: Control total sobre qué se mide y cómo.
Secundaria:
- Datos recolectados previamente por otros (gobierno, empresas).
- Ventaja: Ahorro de tiempo y recursos.
- Desventaja: No controlas qué ni cómo se midió.
Terciaria:
- Datos obtenidos de terceros (empresas que venden datos).
- Ventaja: Amplia disponibilidad.
- Desventaja: Menor relevancia específica para tus necesidades.

¿QUÉ ES LA VALIDACIÓN DE DATOS?

La validación de datos asegura que los datos sean consistentes y precisos. Sin una validación adecuada, los resultados no serán confiables.

PASOS PARA VALIDAR DATOS

Verificar el modelo de datos:
- Asegúrate de que las preguntas iniciales puedan responderse con los datos recolectados.
- Evita sesgos al diseñar entrevistas, encuestas o experimentos.
Comprobar el formato estándar de archivos:
- Asegúrate de que el archivo cumpla con su formato (e.g., un archivo CSV debe tener columnas separadas por comas).
- Ten cuidado con cómo los números o separadores se representan en distintos contextos (e.g., "1,000" podría confundirse con dos columnas).
Validar tipos de datos:
- Revisa que las variables correspondan a su tipo definido (e.g., números, booleanos).
- Detecta valores atípicos (e.g., un booleano que muestra "1.5" en lugar de "verdadero" o "falso").
Revisar rangos de variables:
- Verifica que los valores estén dentro del rango esperado.
- Ejemplo: Una calificación entre 5 y 10 no debe incluir valores como -1 o 2.
Comprobar unicidad:
- Asegúrate de que los identificadores sean únicos.
- Ejemplo: No debe haber dos filas con el mismo identificador pero datos diferentes.
Garantizar consistencia en las expresiones:
- Unifica formatos, como fechas y nombres.
- Ejemplo: Las fechas pueden variar entre países; define un estándar (e.g., día/mes/año).
- Asegúrate de que categorías como "macho" y "hembra" estén escritas de manera uniforme.
Detectar y manejar valores nulos:
- Identifica campos vacíos y determina si pueden rellenarse o si indican un problema.
- Pregúntate: ¿Por qué falta este dato? ¿Tiene un significado o es aleatorio?

PEDRO ANTONIO VELEZ VELEZ

student•

Soy de Colombia y manejo un software contable que tiene una versión en visual fox y otra en .Net, uso las dos versiones; la visual fox usa el formato de fecha mm/dd/aaaa, y la versión .Net usa el formato dd/mm/aaaa. Aunque personalmente me gusta mas el formato dd/mm/aaaa, luego de analizar veo que el formato mm/dd/aaaa tiene un gran ventaja que es que, cuando voy ingresando la fecha, por registrar primero el mes, al momento de ingresar el último día de un mes me valida si es correcto, sino lo es simplemente corrijo el día, mientras que en el formato dd/mm/aaaa, primero digitó el día y luego el mes, y si el día es mayor al último día del mes debo retroceder hasta el inicio de la fecha para corregirlo siendo este caso mas lento al momento de corregir fechas.

El caso es que, el gran problema con los formatos de fecha es que, si no conoces que formato se está usando y el día ingresado no es mayor a 12, es muy dificil reconocer qué formato de fecha es.

Marlen Jara Cruz

student•

Ame esta clase <3

David Alexander Milesi

student•

argentina 13/6/24 o en tramites el 13/6/2024

Isaac Bryan Ascanoa Roncall

student•

Bueno en mi caso de la recoleccion de datos. Primero es el dia, luego, el mes y finalmente es el año. Vengo de Peru DD//MM//YYYY

Ragknos Demian Fernandez Agraz Rodriguez

student•

27/02/23

Recolección de datos, limpieza y validación

Introducción al análisis exploratorio de datos

¿Qué es y para qué sirve el análisis exploratorio de datos?

¿Cómo hacer un análisis exploratorio de datos?

Tipos de análisis de datos

Tipos de datos y análisis de variables

Herramientas de software para el análisis exploratorio de datos

Conociendo nuestros datos: palmerpenguins

Recolección de datos, limpieza y validación

Ejercicio de validación de datos

Análisis univariado

Explorando una variable categórica: conteos y proporciones

Estadística descriptiva aplicada: medidas de tendencia central

Estadística descriptiva aplicada: medidas de dispersión

Ejercicio de obtención de medidas de dispersión

Estadística descriptiva aplicada: distribuciones

Estadística descriptiva aplicada: funciones de densidad de probabilidad

Bonus: Teorema del límite central

Análisis bivariado

Estableciendo relaciones: gráficos de puntos

Estableciendo relaciones: gráficos de violín y boxplots

Estableciendo relaciones: matrices de correlación

Limitantes de los coeficientes de correlación lineal

Estableciendo relaciones: análisis de regresión simple

Limitaciones del análisis de regresión simple

Análisis multivariado

Análisis de regresión múltiple

Visualización del análisis de regresión múltiple

Análisis de regresión logística

Paradoja de Simpson

¿Qué hacer cuando tengo muchas variables?

Conclusiones

Diversidad de gráficas al explorar datos

Continúa aprendiendo sobre EDA