Recolección de datos, limpieza y validación

Resumen

Recolección de Datos, limpieza y validación

La recolección de datos es la forma de recolectar información que permite obtener conocimiento de primera mano e ideas originales sobre el problema de investigación

Tipos de Recolección de Datos

• Primaria: Datos colectados de primera mano a traves de encuestas, entrevistas, experimentos y otros. Puedes decidir que recolectas y que quiere medir. Tienes total control de los datos.
• Secundaria: Datos previamente recolectados por una fuente primaria externa al usuario primario. Son datos abiertos que puedes utilizar. No tienes control sobre lo que se mide o sobre el objetivo del estudio
• Terciaria: Datos que se adquieren de fuentes completamente externas al usuario primario. Son datos accesibles a todo el mundo por lo que pierde su valor y tienden a ser datos genericos

Validación de los datos

Es el proceso de asegurar la consistencia y precisión dentro de un conjunto de datos. Para asegurar la consistencia de los datos debemos validar:

• Modelo de datos: si un tercero recolecto los datos, verifica que preguntas queria responder con los datos. Si eres quien recolecta los datos, hazte muchas preguntas y considera si esos datos son suficientes para responderlas
• Seguimiento de formato estándar de archivos: verifica que la extensión de los archivos que estas manejando correspondan con el formato interno que tienen. Asegurate que los numeros se expresen en el formato que estas trabajando.
• Tipos de Datos: verifica que los datos sen del tipo que se indica en el dataset
• Rango de variables: verifica que las variables estén dentro del rango establecido en la recoleccion de datos. En caso de encontrar variables fuera del rango preguntate: como llegaron esos datos aqui? tienen algun significado alterno? debo preservarlos o eliminarlos?
• Unicidad: verifica que tan unicos son los datos. detecta si existe duplicidad en los datos y corrige.
• Consistencia de expresiones: se refiere a como la persona que recolecta los datos define sus variables. Formato de fecha, de hora, variables escritas de la misma forma en toda la tabla. No son datos erroneos, solo es cuestion de darle el formato adecuado
• Valores nulos: pueden estar explicitos o implicitos en el dataset. Son datos faltantes. Porque esta vacio? puedo rellenarlo con otro dato? esta vacio por un proceso aleatorio o tiene un sentido?

Existe el estandar ISO 8601 que especifica un formato de AAAA-MM-DD pero aún se siguen usando diferentes variantes para cada región.

Algunos formatos de fechas regionales:

• EEUU: MM/DD/AA
• Europa (la mayoría): DD/MM/AA
• Ásia (la mayoría): AA/MM/DD

Yo soy de Perú 🇵🇪 y se usa MM/DD/AAA.

en Guatemala, usamos regularmente DD/MM/AAAA

¿Qué se debe validar para asegurar la consistencia?

Modelo de datos:

Saber la intención de los datos, es decir el ¿por que fueron colectados esos datos?¿Que se busca responder con estos datos?¿Estos datos hacen satisfacen los requerimientos necesarios para responder mi hipótesis?

Seguimiento de formato estándar de archivos:

Asegurarnos que la información siga el estándar de la extensión del archivo.

Tipos de datos:

Los tipos de dato booleano, entero, flotante, etc. Deben corresponder como fueron definidos. No debe de haber un flotante en una casilla para los booleanos.

Rango de variables:

Los datos deben de estar en el rango definido para la variable. Ex. [5,10], es decir, desde el 5 hasta el 10 (discretos).

Unicidad:

Cada muestra o dato debe de tener únicamente un identificador.

Consistencia de expresiones:

Mantener el mismo “formato” al escribir fechas, horas, etc. Es decir, mantener en todos los registros el formato DD/MM/AA, o cualquier otro pero que sea consistente. De igual manera para las variables categóricas y booleanas (T o F, True o False, etc.).

Valores nulos:

Tratar de entender porque existen datos faltantes y también si es posible rellenarlos aleatoriamente con otros del conjunto.

1. Valores nulos explícitos:

Especifica que el dato no esta; NaN.

2. Valores nulos implícitos:

Simplemente no aparece en el registro.

En Colombia usamos DD/MM/AAAA

Y pensé que el tema de MM/DD/AAAA era exclusivo de estados unidos, me sorprende saber que mas regiones que lo usan, pero igual es como todo, para mi es raro solo porque estoy acostumbrado diferente

En algunas ocasiones he tenido que trabajar con archivos donde las fechas para una misma columna vienen en distintos formatos.

Ahí empieza el camino para tratar de rescatar y estandarizar los datos.

Estandarizar los datos, fundamental para poder analizarlos, pues si cada cual pone un nombre que no siga las mismas variables que el resto dificultaría su filtración y posterior análisis

Tanto Venezuela como Colombia utilizan el formato DD/MM/AAAA

En Colombia dd/mm/aaaa

Deppnote con el plugin de dark reader para evitar los blancos segadores!

En Panamá dd/mm/aaaa

Bueno en mi caso de la recoleccion de datos. Primero es el dia, luego, el mes y finalmente es el año. Vengo de Peru
DD//MM//YYYY

Validación para Asegurar Consistencia en los Datos:

• Descripción: Verificar que el modelo conceptual y las preguntas que se intentan responder estén alineados con la realidad y las necesidades de la investigación.
• Acciones:
  • Si los datos fueron recopilados por un tercero, entender sus objetivos y preguntas clave.
  • En el caso de recolectores internos, cuestionar si los datos proporcionados son adecuados para abordar las preguntas planteadas.

• Descripción: Garantizar que los archivos se adhieran a un formato estándar y que la extensión sea coherente con el formato interno que se está utilizando.
• Acciones:
  • Verificar que los archivos tengan la extensión correcta según el formato interno.
  • Confirmar que los números y otros datos estén expresados de manera consistente según el formato de trabajo.

• Descripción: Confirmar que los datos coincidan con los tipos de datos especificados en el conjunto de datos.
• Acciones:
  • Revisar cada columna y verificar que los datos sean del tipo esperado (entero, flotante, cadena, etc.).
  • Corregir cualquier discrepancia identificada.

• Descripción: Asegurar que los valores de las variables estén dentro de los rangos esperados o establecidos durante la recolección de datos.
• Acciones:
  • Identificar variables que estén fuera de los rangos definidos y evaluar su validez.
  • Tomar decisiones sobre si preservar o eliminar los datos atípicos.

• Descripción: Verificar la singularidad de los datos para evitar duplicados y asegurar la integridad del conjunto de datos.
• Acciones:
  • Identificar duplicados en función de criterios específicos.
  • Corregir o eliminar duplicados según sea necesario.

• Descripción: Asegurar que las variables se expresen de manera coherente en toda la tabla, incluyendo formatos de fecha, hora y variables de texto.
• Acciones:
  • Establecer estándares para la representación de fechas, horas y otras expresiones.
  • Realizar ajustes para garantizar la coherencia.

• Descripción: Identificar y manejar valores nulos para evitar problemas en el análisis y la interpretación incorrecta.
• Acciones:
  • Identificar valores nulos, ya sean explícitos o implícitos.
  • Determinar si los valores nulos son aceptables o si deben ser gestionados (rellenados o eliminados).

La validación de estos elementos es esencial para asegurar la coherencia y calidad de los datos, proporcionando una base sólida para análisis precisos y decisiones informadas.

DD/MM/AAAA

Fecha en ARG día/mes/año

7. Recolección de datos, limpieza y validación

“Forma de recolección de información que permite obtener conocimiento de primera mano e ideas originales sobre el problema o investigación”

Tipos de recolección de datos

01 Primaria: Datos colectados de primera mano a través de encuestas, entrevistas, experimentos y otros.

02 Secundaria: Datos previamente recolectados por una fuente primaria externa al usuario primario.

Por ejemplo, datos de departamentos de gobierno o empresas similares a la del usuario primario.

03 Terciaria: Son datos que se adquieren de fuentes completamente externas al usuario primario. Por ejemplo, a través de proveedores de datos.

¿Qué es la validación de datos?

“El proceso de asegurar la consistencia y precisión dentro de un conjunto de datos.”

“Si los datos no son precisos desde el comienzo, los resultados definitivamente no serán precisos.”

¿Qué se debe validar para asegurar consistencia?

• Modelo de datos.
• Seguimiento de formato estándar de archivos.
• Tipos de datos.
• Rango de variables.
• Unicidad.
• Consistencia de expresiones.
• Valores nulos.

En argentina la fecha se escribe así (día/mes/año)

Mi opinión personal y mi experiencia me ha enseñado que la mayoría d veces los datos nunca son precisos, por eso la estadística es una herramienta fundamental para saber con qué datos se puede trabajar.

Un pequeño aporte. En las ciencias sociales, una de las etapas más importantes para los datos es justamente la recolección. Dependiendo del área se requieren preguntas más específicas. De hecho, muchas veces en Antropología se usan técnicas para evitar modificar las conductas de las personas de un grupo (ya que al ser externo, las personas pueden comportarse distinto a sus costumbres). Es un tema muy extenso y llevan prácticamente un siglo de desarrollo estas técnicas.

¿Qué se debe validar paraasegurar consistencia?

Modelo de datos:

• Es la representación abstracta de los datos que se van a analizar.
• Este modelo define las relaciones y las estructuras de los datos y puede incluir información sobre los tipos de datos, la estructura de las tablas y la definición de las claves.

Seguimiento de formato estándar de archivos:

• Es importante tener un formato estándar para los archivos de datos, ya que permite una mayor eficiencia y consistencia en la manipulación de los datos.
• Además, los archivos con formato estándar son más fáciles de comprender y procesar por otros usuarios.

Tipos de datos:

• Los datos pueden ser de diferentes tipos, como numéricos, categóricos, de fecha y hora, entre otros.
• Es importante conocer el tipo de datos que se están manejando para poder realizar el análisis adecuado y tomar las medidas necesarias para tratar los datos incorrectos o inconsistentes.

Rango de variables:

• Es el intervalo de valores que puede tomar una variable.
• Conocer el rango de las variables permite identificar valores atípicos o fuera de lo esperado, y tomar medidas para tratarlos o explicarlos.

Unicidad:

• Refiere a la cantidad de valores únicos en una columna o variable.
• Conocer la unicidad de los datos permite identificar duplicados o valores repetidos, y tomar medidas para tratarlos.

Consistencia de expresiones:

• Refiere a la consistencia en la escritura de los valores en una columna o variable.
• Por ejemplo, se deben escribir todas las fechas con el mismo formato y las ciudades con el mismo nombre.
• Conocer la consistencia de las expresiones permite identificar errores y tomar medidas para corregirlos.

Valores nulos:

• Refiere a los valores faltantes en una columna o variable.
• Conocer la cantidad de valores nulos permite identificar los datos faltantes y tomar medidas para tratarlos, como por ejemplo, eliminar las filas o rellenarlos con valores promedios o medianas.

EN Colombia DD/MM/AAAA

Los valores nulos son toda una ciencia, uno puede trabajar mucho con ellos, hacer analisis muy interesantes; no necesariamente siempre significan perdida de informacion. Y adicional, el tratamiento de estos datos se debe tomar con muuucha precaucion, no es solo borrar porque no los tengo completos, debes sostener porque lo estas haciendo con un analisis a profundidad

En Panama usamos DD/MM/YYYY 😅

Dentro de estas validaciones, algo por el cual podemos fallar en los análisis es desconocer las variables según el país. por ejemplo cuando trabajamos con ventas debemos de convertir la moneda para trabajar el análisis bajo una misma moneda.

En Perú utilizamos , usamos regularmente DD/MM/AAAA; pero va depender de cada empresa o negocio según las necesidades o estándares definidos.

DD/MM/AAAA

Partir de buenas preguntas es esencial para lograr mejores resultados en el estudio de los datos.

Yo soy de Bolivia y se usa MM/DD/AAA