Testing de software y de datos

Clase 15 de 25 • Curso de Fundamentos de Ingeniería de Datos

Clase anteriorSiguiente clase

Jerald Jeanphierre Espinoza Flores

student•

Hay varias librerías de Python para pruebas automatizadas, algunas de las más populares son:

++unittest++: Es una librería estándar de Python para pruebas unitarias. Proporciona una estructura común para escribir pruebas y comparar resultados esperados con resultados actuales.
++pytest++: Es una librería popular para pruebas automatizadas que se centra en hacer las pruebas fáciles de leer y escribir. Incluye características como la detección automática de pruebas y la capacidad de ejecutar varias pruebas al mismo tiempo.
++nose++: Es una librería de pruebas automatizadas que se enfoca en encontrar y ejecutar automáticamente todas las pruebas en un paquete de Python.
++doctest++: Es una librería de Python que permite incluir pruebas en comentarios en el código fuente. Las pruebas se ejecutan automáticamente cuando se importa el módulo.
++behave++: Es una librería de pruebas automatizadas BDD (Test driven development) para Python. Esta librería utiliza Gherkin lenguaje para escribir pruebas.

Carlos Corrales

student•

Una pequeña aclaración: BDD es Behavior Driven Development TDD es Test driven development

Ricardo Alanis

teacher•

Gracias por compartir!

Daviel Antonio Jiménez Comas

student•

Mi resumen de la clase:

La colaboración es muy importante, el testing es muy necesario para cada vez que realicemos algo, estemos considerando lo importante. Para estos hacemos funciones que revisan lo que hacemos y que al meter cierto valor, sale lo que esperamos. Las pruebas unitarias serán de gran ayuda para esto.

El testing de software: va de pruebas unitarias, de integración y las pruebas E2E con características visibles para probar que lo que hacemos tenga calidad.

Ricardo Alanis

teacher•

Ian Cristian Ariel Yané

student•

**Testing unitario: **Sirve para hacer los test de cada una de las funciones por separado Test de integracion:Es para comprobar que las funciones funcionan correctamente en conjunto **Test end 2 end: **Es para comprovar que la funcion funciona en produccion

Ricardo Alanis

teacher•

Testear quizá te quite unos minutos hoy, pero mañana te salvará un par de horas.

Sebastian F. Gimenez

student•

Comparto un blog donde encontré algo de evaluación de Data Quality con Python y al final utiliza un scrip de Python para automatizar controles de datos. https://servian.dev/data-quality-and-testing-frameworks-316c09436ab2 No es la consigna en sí, pero me gusto mucho porque va de algo simple a algo avanzado.

Ricardo Alanis

teacher•

Muchas gracias por compartir!

Miguel Angel Reyes Moreno

student•

List Of Python Testing Frameworks

Ricardo Alanis

teacher•

Gracias por compartir! <333

Julian Castro Pulgarin

student•

No me quedó muy claro lo del testing en datos (hubo enfoque en el de software), ¿puedes ampliar más la información? ¿se usan las mismas metodologías?, creo que es muy distinto ambos debido al output en el trabajo de data

Ricardo Alanis

teacher•

Con mucho gusto, Julián. De entrada, me gustaría separar el enfoque de testing centrado a las tareas de datos en dos cosas muy distintas:

La presentación de APIs de modelación - este testing es mucho más cercano al del desarrollo de software habitual backend. Esto literalmente es igual usando pytest para probar endpoints, de manera unitaria, y transversal.
La de manejo de datos - este testing es el que puede ser más tricky, porque como trabajas con flujos de información. El de pipelines debe de ser similar al de testeo de un script, donde validamos los distintos componentes de un proceso de datos y las abstracciones usadas. La parte que puede ser un poco más diferente es si queremos cuidar la salud de los datos de manera directa, ya que algunos equipos prefieren tener un ambiente de pruebas donde verifican los datos según un estado de salud de la información generada. Se sigue usando la misma filosifia de la expectativa vs la realidad pero tocando base con conexiones directas a datos (Algo muy poco habitual en pruebas en software, que suelen usar mocks para las conexiones de info)

Mauro Benito Montoya Arenas

student•

Esto es la respuesta que me mando ChatGPT:

DataOps y DevOps son dos prácticas de ingeniería de software relacionadas pero diferentes que se utilizan para acelerar la entrega de software y mejorar la calidad del mismo. A continuación se presentan algunas de las principales diferencias entre DataOps y DevOps:

Objetivos: El objetivo principal de DevOps es integrar y automatizar el proceso de desarrollo y despliegue de software para acelerar la entrega y mejorar la calidad del mismo. Por otro lado, el objetivo principal de DataOps es integrar y automatizar el proceso de gestión de datos para acelerar el acceso y mejorar la calidad de los datos.
Enfoque: DevOps se centra en la integración y automatización del proceso de desarrollo y despliegue de software, mientras que DataOps se centra en la integración y automatización del proceso de gestión de datos.
Proceso: El proceso de DevOps incluye la integración continua, la entrega continua y la implementación continua, mientras que el proceso de DataOps incluye la integración de datos, la gestión de datos y la entrega de datos.
Tecnología: DevOps utiliza herramientas como Jenkins, Docker, Kubernetes y Git para integrar y automatizar el proceso de desarrollo y despliegue de software, mientras que DataOps utiliza herramientas como Apache Kafka, Apache Hadoop, Apache Spark y herramientas de ETL (Extract, Transform, Load) para integrar y automatizar el proceso de gestión de datos.
Equipo: En DevOps, los equipos de desarrollo y operaciones trabajan juntos para integrar y automatizar el proceso de desarrollo y despliegue de software, mientras que en DataOps, los equipos de datos y operaciones trabajan juntos para integrar y automatizar el proceso de gestión de datos.

En resumen, DataOps y DevOps son dos prácticas de ingeniería de software relacionadas pero diferentes que se centran en integrar y automatizar procesos diferentes para acelerar la entrega de software y mejorar la calidad del mismo. Mientras que DevOps se centra en el proceso de desarrollo y despliegue de software, DataOps se centra en el proceso de gestión de datos.

Ricardo Alanis

teacher•

Jajaja gracias por compartir! sin duda bastante adhoc al tema!

Mario Alexander Vargas Celis

student•

El testing de software y el testing de datos son disciplinas relacionadas, pero tienen enfoques distintos debido a las características de cada dominio. Aquí tienes una descripción de cada uno:

Testing de Software

El objetivo principal es garantizar que las funcionalidades del software cumplan con los requisitos definidos y funcionen correctamente en diferentes escenarios.

Tipos principales de pruebas:

Unit Testing:
- Verifica componentes o funciones individuales de un programa.
- Herramientas comunes: unittest, pytest, JUnit.
Integration Testing:
- Asegura que los módulos o sistemas interactúen correctamente entre sí.
System Testing:
- Valida el sistema completo en un entorno realista.
Regression Testing:
- Garantiza que las nuevas actualizaciones no afecten funcionalidades existentes.
Performance Testing:
- Evalúa la velocidad, escalabilidad y estabilidad del software bajo diferentes condiciones.
User Acceptance Testing (UAT):
- Los usuarios finales verifican que el software satisface sus necesidades.

Herramientas comunes:

Selenium (pruebas automatizadas para aplicaciones web).
Postman (pruebas de APIs).
JMeter (pruebas de rendimiento).

Testing de Datos

Se centra en garantizar la calidad, consistencia y precisión de los datos en los sistemas que los manejan, desde su origen hasta su destino.

Tipos principales de pruebas:

Data Integrity Testing:
- Verifica que los datos no se corrompan durante las transferencias, transformaciones o almacenamiento.
Data Quality Testing:
- Asegura que los datos cumplen con reglas específicas, como valores únicos, sin duplicados o dentro de rangos válidos.
ETL Testing:
- Valida que los procesos de extracción, transformación y carga (ETL) funcionan correctamente.
- Ejemplo: Comparar datos fuente y destino tras un proceso ETL.
Performance Testing:
- Evalúa la capacidad del sistema para manejar grandes volúmenes de datos sin degradación.
Data Validation Testing:
- Compara datos calculados o transformados con resultados esperados.

Herramientas comunes:

Great Expectations (automatización de pruebas de datos).
dbt (data build tool) (validación y transformaciones en pipelines de datos).
Apache Airflow (monitoreo y pruebas en workflows de datos).

Diferencias clave:

AspectoTesting de SoftwareTesting de DatosFocoFuncionalidades del softwareCalidad y consistencia de los datosResultado esperadoComportamiento correcto del sistemaDatos precisos y transformaciones fiablesHerramientasSelenium, Postman, JMeterGreat Expectations, dbt, Airflow

Ambos tipos de pruebas son esenciales en proyectos modernos, especialmente en entornos donde los sistemas y los datos están altamente interconectados.

Mario Alexander Vargas Celis

student•

En el mundo del desarrollo de software y datos, el testing utiliza una variedad de bibliotecas dependiendo del lenguaje de programación, el tipo de pruebas y el dominio (software, datos, machine learning, etc.). Aquí tienes una lista de bibliotecas comunes categorizadas:

1. Testing General en Python

Estas bibliotecas son ampliamente utilizadas para pruebas en aplicaciones Python:

unittest: Biblioteca estándar de Python para pruebas unitarias.
pytest: Framework poderoso y flexible para pruebas unitarias, con soporte para fixtures y plugins.
nose2: Extensión de unittest que simplifica la ejecución y generación de reportes.
doctest: Permite probar código embebido en docstrings.

2. Testing de APIs

Postman: Herramienta gráfica para pruebas de APIs REST, con soporte para automatización.
pytest-django: Extensión de pytest para pruebas en proyectos Django.
Requests-Mock: Simula respuestas HTTP en pruebas.

3. Testing de Datos

Great Expectations: Validación de datos automatizada y pruebas en pipelines de datos.
dbt (Data Build Tool): Permite pruebas de calidad y transformaciones de datos en entornos de análisis.
pandas-testing: Facilita la comparación de DataFrames para pruebas en proyectos con Pandas.
Pytest-Pandas: Complemento de pytest para validar estructuras y contenidos en Pandas.
Cerberus: Validación de esquemas para datos en JSON o diccionarios de Python.

4. Testing de Machine Learning

sklearn.utils.testing: Herramientas para probar pipelines y modelos en Scikit-Learn.
MLflow: Realiza pruebas en el ciclo de vida del modelo (entrenamiento, despliegue y monitoreo).
pytest-benchmark: Mide el rendimiento de modelos y algoritmos.
deepchecks: Framework específico para probar datos, modelos y pipelines en Machine Learning.

5. Testing de Performance y Carga

JMeter: Pruebas de rendimiento en sistemas web y APIs.
Locust: Generación de pruebas de carga usando Python.
k6: Pruebas de carga modernas con un enfoque en APIs y servicios web.

6. Mocking y Simulación

unittest.mock: Módulo estándar para simular comportamientos en pruebas.
mock: Similar a unittest.mock, pero disponible como paquete independiente.
freezegun: Simula tiempos en pruebas, útil para manejar fechas y tiempos en funciones.

7. Reporte y Automatización de Pruebas

Allure: Generación de reportes visuales para resultados de pruebas.
pytest-html: Genera reportes HTML para pruebas ejecutadas con pytest.
tox: Automatiza la ejecución de pruebas en diferentes entornos.

8. Testing en Frontend y UI

Selenium: Automatización de pruebas en navegadores web.
Cypress: Framework moderno para pruebas de front-end.
Playwright: Alternativa moderna para pruebas de aplicaciones web.

Elección de herramientas según el dominio

Proyectos de software general: pytest, unittest, nose2.
Pruebas de APIs: Postman, Requests-Mock, pytest-django.
Proyectos de datos: Great Expectations, dbt, pandas-testing.
Machine Learning: deepchecks, pytest-benchmark, MLflow.

Estas herramientas son adaptables a diferentes necesidades y ofrecen integración con sistemas de CI/CD para un ciclo de pruebas más eficiente.

Jhon Mario Cano Torres

student•

El testing en ingeniería de datos es esencial para validar la calidad, integridad y consistencia de los datos a lo largo de todo el ciclo de vida. Permite identificar y corregir errores tempranamente, evitando que datos defectuosos impacten en análisis, modelos o decisiones de negocio. Así, asegura la fiabilidad de los sistemas de datos y sus resultados.

Santiago Andres Gelvez Camargo

student•

Solo en python hay algunas que son muy usadas dependiendo del momento dentro del flujo de datos en el que te encuentres.

Respuesta de IA:

Testing general (unit/integration)

pytest → framework de testing más usado en Python.
hypothesis → property-based testing (genera datos automáticamente para encontrar edge-cases).

Validación de datos / DataFrames

Pandera → validación declarativa de pandas / Polars DataFrames (schemas, tipos, reglas).
pydantic → validación de datos estructurados en Python (JSON, dicts, payloads).
jsonschema → validación de JSON contra esquemas.

Testing PySpark

chispa → utilidades para testear DataFrames de PySpark (assertions más claras).
pydeequ → wrapper en Python sobre Amazon Deequ (aunque el core es Scala, el uso es vía Python).

Mocks y entornos de prueba

moto → mocks de servicios AWS (S3, Dynamo, etc.).
testcontainers-python → levanta contenedores de DBs/Kafka/etc. para pruebas de integración.
localstack (Python client) → para simular servicios de AWS localmente.

Generación de datos de prueba

Faker → generación de datos sintéticos (nombres, emails, fechas, etc.).
mimesis → alternativa a Faker con soporte para múltiples idiomas y tipos de datos.

Julian Castro Pulgarin

student•

Ricardo, ¿Que pasa con los equipos pequeños de data que están con una carga grande de trabajo? eso pasa mucho en los ambientes accelerate, los desarrolladores no pueden pasar tanto tiempo con metodologías de construcción de testing (en equipos grande hay personas encargadas de eso exclusivamente, debido a que tiende a ser un trabajo manual y muy creativo). ¿Qué tan sostenible en el tiempo es no hacer esas pruebas?

Ricardo Alanis

teacher•

Siempre siempre siempre vamos a tener la tensión en los equipos de empujar a features (Cosas que son más cercanas al cliente y al flujo de valor) versus las cosas más llamadas técnicas. Es muy importante mantener un equilibrio (y si no tenemos un equipo de producto o un equipo de management técnico), el empujar que hay algunas tareas como el testing que pueden ayudar a que nuestras soluciones sean mucho más estables.

Quiero decir, existe el caso de negocio de porqué debemos de tener testing, porque con ello evitamos retrabajo y downtime, y eso tiene un costo. El tener un piso minimo de testing debe de ser parte de nuestra misión y temas a defender. Una persona que lleva el liderazgo menos técnico puede que no vea el valor abstracto de testear, pero si entenderá que estamos protegiendo al sistema de caidas y de problemas fundamentales de desarrollo. (Porque inclusive testear ayuda a tener un piso minimo de documetación en código)

Kevin Acevedo

student•

Pytest: Pytest es un marco de pruebas de Python que tiene su origen en el proyecto PyPy. Se puede utilizar para escribir varios tipos de pruebas de software, incluyendo pruebas unitarias, pruebas de integración, pruebas de extremo a extremo y pruebas funcionales.

María Requenes Ramos

student•

Para realizar testing en Python, las siguientes son las librerías más comunes y útiles:

1. **unittest**: Librería estándar de Python para escribir y ejecutar pruebas unitarias. Es robusta y se inspira en frameworks como JUnit.

- Uso: Crear clases de prueba que heredan de unittest.TestCase y definir métodos que comienzan con test\_.

2. **pytest**: Framework de testing muy popular, flexible y fácil de usar. Permite escribir pruebas con menos código y soporta plugins.

- Uso: Escribir funciones de prueba con nombres que comienzan con test\_. Se instala con pip install pytest.

3. **doctest**: Librería estándar para probar ejemplos interactivos en la documentación (docstrings).

- Uso: Incrustar ejemplos de código en docstrings y verificar que funcionan correctamente.

4. **nose2**: Extensión de unittest, diseñado para ser más simple y extensible. Es un sucesor de nose.

- Uso: Similar a pytest, descubre y ejecuta pruebas automáticamente. Instalar con pip install nose2.

5. **tox**: Herramienta para automatizar pruebas en múltiples entornos de Python y versiones.

- Uso: Configurar un archivo tox.ini para probar en diferentes configuraciones. Instalar con pip install tox.

6. **mock (unittest.mock)**: Incluida en la librería estándar (desde Python 3.3) para crear objetos simulados (mocks) y probar comportamientos sin dependencias externas.

- Uso: Reemplazar partes del sistema (como APIs externas) con simulaciones.

7. **coverage**: Herramienta para medir la cobertura de código durante las pruebas, indicando qué partes del código no están siendo probadas.

- Uso: Ejecutar pruebas con coverage run y generar reportes. Instalar con pip install coverage.

8. **hypothesis**: Librería para pruebas basadas en propiedades, generando casos de prueba automáticamente.

- Uso: Definir propiedades que el código debe cumplir. Instalar con pip install hypothesis.

### Recomendaciones

- **Principiantes**: Usa pytest por su simplicidad y comunidad activa.

- **Proyectos estándar**: Combina unittest (si prefieres la librería estándar) con mock para simulaciones.

- **Proyectos complejos**: Usa tox para entornos múltiples y coverage para asegurar buena cobertura.

- **Instalación**: Asegúrate de instalar las librerías necesarias con pip install \<nombre>.

Ruben Herrera

student•

unittest: Es la librería de testing incluida en Python. Sirve para crear casos de prueba, organizar pruebas en clases y verificar resultados esperados.
pytest: Muy popular por su facilidad de uso. Permite escribir pruebas de manera simple y soporta plugins para extender funcionalidades.
nose2: Evolución de Nose. Automatiza la búsqueda y ejecución de pruebas, integrándose fácilmente con proyectos existentes.
doctest: Permite escribir pruebas directamente en los comentarios de las funciones. Ideal para comprobar ejemplos en la documentación.
mock: Parte de unittest. Sirve para simular objetos y funciones en pruebas, ideal para tests aislados.
behave: Para testing basado en comportamiento (BDD). Usa lenguaje natural para definir pruebas (similar a Cucumber).
robotframework: Framework para pruebas automatizadas que permite escribir pruebas en formato tabular. Muy usado en pruebas de sistemas y aplicaciones web.
tox: Herramienta para probar proyectos en múltiples entornos de Python, útil para validar compatibilidad de versiones.

Wilson Andrey Cárdenas Henao

student•

Great Expectations

Descripción: Great Expectations es una biblioteca que facilita la validación, documentación y pruebas de calidad de los datos.

Permite crear "expectativas" sobre los datos y verificar que estos cumplan con ciertas reglas (por ejemplo, un rango de valores o la presencia de valores nulos).

Daniel Alejandro Perdomo Escobar

student•

Son utilizados para escribir y ejecutar pruebas unitarias, de integración o funcionales:

unittest
- Integrado en la biblioteca estándar de Python.
- Ofrece herramientas para escribir pruebas unitarias y organizar casos de prueba en clases.
- Similar a frameworks como JUnit (Java).
pytest
- Uno de los más populares debido a su simplicidad y flexibilidad.
- Compatible con unittest.
- Características como fixtures, parametrización y extensibilidad mediante plugins.

Laura Alejandra Moreno Borda

student•

Algunas librerias que encontre son:

Unittest(viene ya incluida)
Pytest
Hypothesis

Juan Esteban Sanchez Bedoya

student•

Unittest (pyTest): Viene incluida denttro de Pythom

Hypotesis: Nos ayuda para generar escenarios aleatorios para ejecutarlo en nuestros test

Iván León Niño Ramírez

student•

1. unittest

Descripción: Es la librería estándar de Python para pruebas unitarias, inspirada en JUnit de Java1. Uso Básico:

Pythonimport unittest

class TestStringMethods(unittest.TestCase):

def test_upper(self): self.assertEqual('foo'.upper(), 'FOO')

def test_isupper(self): self.assertTrue('FOO'.isupper()) self.assertFalse('Foo'.isupper())

def test_split(self): s = 'hello world' self.assertEqual(s.split(), ['hello', 'world']) with self.assertRaises(TypeError): s.split(2)

if __name__ == '__main__': unittest.main() Código generado por IA. Revisar y usar cuidadosamente. Más información sobre preguntas frecuentes.

Ventajas:

Integrado en la biblioteca estándar de Python.
Soporte para fixtures, suites de pruebas y runners.

2. pytest

Descripción: Una librería muy popular que simplifica la escritura de pruebas y soporta fixtures avanzados y plugins2. Uso Básico:

Pythondef test_upper(): assert 'foo'.upper() == 'FOO'

def test_isupper(): assert 'FOO'.isupper() assert not 'Foo'.isupper()

def test_split(): s = 'hello world' assert s.split() == ['hello', 'world'] with pytest.raises(TypeError): s.split(2) Código generado por IA. Revisar y usar cuidadosamente. Más información sobre preguntas frecuentes.

Ventajas:

Sintaxis simple y fácil de leer.
Soporte para fixtures y plugins.
Integración con otras herramientas de testing.

3. nose2

Descripción: Es la sucesora de Nose y extiende las capacidades de unittest con plugins adicionales2. Uso Básico:

Pythonimport unittest

class TestStringMethods(unittest.TestCase):

def test_upper(self): self.assertEqual('foo'.upper(), 'FOO')

def test_isupper(self): self.assertTrue('FOO'.isupper()) self.assertFalse('Foo'.isupper())

def test_split(self): s = 'hello world' self.assertEqual(s.split(), ['hello', 'world']) with self.assertRaises(TypeError): s.split(2)

if __name__ == '__main__': unittest.main() Código generado por IA. Revisar y usar cuidadosamente. Más información sobre preguntas frecuentes.

Ventajas:

Compatible con unittest.
Soporte para plugins adicionales.

4. doctest

Descripción: Permite escribir pruebas dentro de los docstrings y ejecutarlas como parte de la documentación1. Uso Básico:

Pythondef add(a, b): """ Suma dos números.

>>> add(2, 3) 5 >>> add('a', 'b') 'ab' """ return a + b

if __name__ == "__main__": import doctest doctest.testmod() Código generado por IA. Revisar y usar cuidadosamente. Más información sobre preguntas frecuentes.

Ventajas:

Fácil de usar para pequeñas pruebas.
Integración con la documentación.

5. Robot Framework

Descripción: Un framework de automatización de pruebas para pruebas de aceptación y desarrollo dirigido por pruebas (TDD)2. Uso Básico:

*** Settings *** Library OperatingSystem

*** Test Cases *** Example Test [Documentation] This is an example test [Tags] example Run Process echo Hello, Robot Framework!

Ventajas:

Basado en palabras clave, lo que facilita la lectura y escritura de pruebas.
Extensible con bibliotecas externas.

Testing de software y de datos

Introducción a la ingeniería de datos

¿Qué es ingeniería de datos? ¿Qué es Data Engineer?

Formación Integral para Data Engineers: Retos y Herramientas Esenciales

¿Cómo convertirte en Data Engineer?

¿Dónde ejercer como Data Engineer?

Tareas de Data Engineer: DataOPs

Herramientas del ciclo de DataOps

Agile en ingeniería de datos

Lenguajes de programación e ingeniería de software

¿Dónde y cómo escribir tu código en ingeniería de datos?

Automatización y scripting

Fuentes de datos: SQL, NoSQL, API y web scraping

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Automatizar los pipelines: Airflow

Containers y empaquetamiento: Docker y Kubernetes

Manejo de ambientes para datos

Testing de software y de datos

CI/CD basico

Servidores y computación en la nube para data

Reentrenamiento y control de salud de servicios

Medición de indicadores y seguimiento a proyectos

Ejerciendo como Data Engineer

Buscando Oportunidades como Data Engineer

Evolución en el rol: ganando seniority como Data Engineer

Evolución en el rol: manager, architect, pivot

Trabajando en equipo como Data Engineer

Conclusiones

Compartir con la comunidad y seguir creciendo

Completa tu guía con los retos y certifícate