Gestión, monitoreo y control: Monitoreo y Seguimiento

Apuntes:

Gestión, monitoreo y control: Monitoreo y Seguimiento

Gestión de Pruebas

• Planeación de pruebas. Definición de Objetivos de las pruebas, alcance de las mismas, las técnicas de pruebas que se llevarán a cabo, junto con la estimación y definición de fechas de entrega, así como los criterios de salida.
• Monitoreo y control de pruebas. Durante el monitoreo se va midiendo y comparando los resultados de las métricas, y entonces durante el control se toman acciones para alcanzar el objetivo del plan y los criterios de salida.
• Análisis de pruebas. Cuando estamos analizando las pruebas para nuestro proyecto, necesitamos determinar qué debemos probar, obviamente basados en las prioridades de cobertura.
• Diseño de pruebas. Diseñado de casos de alto nivel. Diseñar y priorizar las pruebas. Identificar los datos de pruebas. Identificar el entorno de pruebas – infraestructura y herramientas. Hacer una trazabilidad entre pruebas y sus condiciones.
• Implementación de pruebas. Para poder prepararnos para hacer las pruebas, primero tenemos que asegurarnos que tenemos todo lo necesario para ello.
• Ejecución de pruebas. Durante esta etapa, las suites de pruebas se ejecutan de acuerdo con el programa de ejecución de las pruebas.
• Finalización de las pruebas. Defectos con el estatus correcto. Reporte para comunicar los resultados de las pruebas. Finalizar y archivar ambiente de prueba y sus datos. Entregar el Testware al equipo de mantenimiento de pruebas. Analizar lecciones aprendidas para futuras versiones. Recopilar la información para ayudar a mejorar la madurez del proceso de prueba.

Planeación
Definicion de objetivos de las pruebas, alcence de las mismas, las tecnicas de pruebas que se llevaran a cabo, junto con la estimacion y definicion de fechas de entrega, asi como los criterios de salida
Monitoreo y Control
Durante el monitoreo se va midiendo y comparando los resultados de las metricas, y entonces durante el control se toman acciones para alcanzar el objetivo del plan y los criterios de salida
Análisis
Cuando estamos analizando las pruebas para nuestro proyecto, necesutamos determinar que debemos probar, obviamente basados en las prioridades de cobertura
Diseño
Diseño de casos de alto nivel
Diseñar y priorizar las pruebas
Identificar los datos de pruebas
Identificar el entorno de pruebas - infraestructura y herramientas
Hecer una trazabilidad entre pruebas y sus condiciones
Implementación
Para poder prepararnos para hacer las pruebas, primero tenemos que asegurarnos que tenemos todo lo necesario para ello
Ejecución
Durante esta etapa, las suites de pruebas se ejecutan de acuerdo con el programa de ejecucion de las pruebas
Finalización
Defectos con el estatus correcto
Reporte para comunicar los resultados de las pruebas
Finalizar y archivar ambiente de pruebas y datos
Entregar el testware al equipo de mantenimiento de pruebas
Analizar lecciones aprendidas para futuras versiones
Recopilar la informacion para ayudar a mejorar la madurez del proceso de prueba

Resumen
Gestion de pruebas:
1 planeacion de pruebas: definir los objetivos de las pruebas.
2 monitoreo y control: en el monitoreo se mide y compara los resultados de las metricas y en el control se toman acciones para alcanzar el objetivo.
3 analisis de prueba: analizar las prioridades de pruebas
4 diseño de pruebas: es donde detalla cada caso de uso.
5 implementacion: asegura de contar con la estructura necesaria para realizar las pruebeas.
6 ejecucion: es donde los suites de pruebas se ejecutan de acuerdo al diseño.
7 finalizacion: es cuando se cierra el ciclo de las pruebas. Aprender lecciones sobre el proceso.

Me estoy introduciendo como QA y es abrumador para mi saber la cantidad de gestion de pruebas que debo realizar en mi dia a dia. Tal vez con el tiempo y mucha practica logrue dominar cada una de estas fases.

La gestión de pruebas tiene varias etapas:

• Planeación de pruebas

  • Definición de Objetivos de las pruebas, alcance de las mismas, las técnias de pruebas que se llevarán a cabo, junto con las estimación y definición de fechas de entrega, así como los criterios de salida.

• Monitoreo y control de pruebas

  • Durante el Monitoreo se va midiendo y comparando los resultados de las métricas, y entonces durante el CONTROL se toman acciones para alcanzar el objetivo del plan y los criterios de salida

• Análisis de pruebas

  • Cuando estamos analizando las pruebas para nuestro proyecto, necesitamos determinar qué debemos probar, obviamente basados en las prioridades de cobertura

• Diseño de pruebas
  • Diseño de casos de alto nivel
  • Diseñar y priorizar las pruebas
  • Identificar los datos de pruebas
  • Identificar el entorno de pruebas - infraestructura y herramientas
  • Hacer una trazabilidad entre pruebas y sus condiciones
• Implementación de pruebas

  • Para poder prepararnos para hacer las pruebas, primero tenemos que asegurarnos que tenemos todo lo necesario para ello

• Ejecución de pruebas

• Durante esta etapa, las suites de pruebas se ejecutan de acuerdo con el programa de ejecución de las pruebas

• Finalización de las pruebas
  • Defectos con el estatus correcto
  • Reporte para comunicar los resultados de las pruebas
  • Finalizar y archivar ambiente de pruebas y sus datos
  • Entregar el Testware al equipo de mantenimiento de pruebas
  • Analizar lecciones aprendidas para futuras versiones
  • Recopilar la información para ayudar a mejorar la madurez del proceso de prueba

Pruebas de cajas
Negra: no se ve el interior del contenido

• Partición de equivalencia
• valores limite
• tablas de decisiones
• transición de estados
• casos de uso

Gris :

• Casos de negocio
• Pruebas End to End
• Pruebas de integración

Blanca: si se ve el contenido

• Cobertura de declaración
• Cobertura de decisiones

Implementación de pruebas: “Para poder prepararnos. para hacer las pruebas, primero tenemos que asegurarnos que tenemos todo lo necesario para ello.”

Ejecución de pruebas: “Durante esta etapa, las suites de pruebas se ejecutan de acuerdo con el programa de ejecución de las pruebas.”

Finalización de pruebas:

• Defectos con el estatus correcto
• Reporte para comunicar los resultados de las pruebas
• Finalizar y archivar ambiente de pruebas y sus datos
• Entregar el Testware al equipo de mantenimiento de pruebas
• Analizar lecciones aprendidas para futuras versiones
• Recopilar la información para ayudar a mejorar la madurez del proceso de prueba.

Gestión de pruebas

• Planeación de pruebas
• Monitoreo y control de pruebas
• Análisis de pruebas
• Diseño de pruebas
• Implementación de pruebas
• Ejecución de pruebas
  Finalización de las pruebas

¿Qué es la matriz de trazabilidad?
La matriz de trazabilidad es una tabla que relaciona cada uno de los requerimientos con el entregable que se haya solicitado. Este cuadro es de doble sentido. Te permite identificar qué resultado se alcanza a través de cada requisito y, a la vez, qué requisitos son los que permiten obtener un determinado entregable

Los pasos se me hacen muchos si los voy a ejecutar yo mismo como desarrollador.

Gestión del monitoreo, control y seguimiento de pruebas

En la gestión de pruebas:

Planeación de pruebas: Definir los objetivos de las pruebas es clave. Estimación, recursos, alcance, objetivos, deadlines y criterios de salida.

Monitoreo y control de pruebas:
Medir y comparar los resultados de las métricas con el fin de tomar acciones de acuerdo al desarrollo de las pruebas.

Análisis de pruebas:
Necesidad de determinar que debemos probar de acuerdo a las prioridades de cobertura.

Diseño de pruebas
Diseño de casos de alto nivel (mapa de ideas / índice de casos de uso)
Diseñar y priorizar las pruebas
Identificar los datos de pruebas
Identificar el entorno de pruebas - infraestructura y herramientas.
Hacer una trazabilidad entre pruebas y sus condiciones.

Implementación de pruebas
Contar con la estructura suficiente para hacer las pruebas: recursos, infraestructura, herramientas, entre otros.

Ejecución de pruebas
Los suites de pruebas se ejecutan de acuerdo con el programa diseñado.
Suites de pruebas = Agrupación de casos de prueba.

Finalización de las pruebas
¿Qué porcentaje de pruebas se cubrió?
¿Cuántos defectos se derivaron?
¿Qué aprendizaje obtuvimos?

Defectos con el estatus correcto
Reporte para comunicar los resultados de las pruebas
Finalizar y archivar ambiente de pruebas y sus datos
Entregar el Testware al equipo de mantenimiento de pruebas
Analizar lecciones aprendidas para futuras versiones
Recopilar la información para ayudar a mejorar la madurez del proceso de prueba.

Etapas

- Planeación de pruebas
Definir objetivos
Recursos
Alcance
- Monitoreos y control de pruebas
Metricas
Indicadores que sirvan como alerta cuando se estan demorando más de lo planeado
- Análisis
Priorizar
- Diseño de pruebas
Diseño de alto nivel
Diseñar y priorizar
Identificar el entornode pruebas - Infraestructura y herramientas
Hacer una trazabilidad entre pruebas y condiciones
- Implementacion
Para poder hacer pruebas, primero necesitamos asegurarnos que tenemos todo lo necesario para ello
**- Ejecución de pruebas **
Se ejecutan las pruebas como de acuerdo con el prigrama de ejecución de las pruebas
- Finalización de las pruebas
Defectos con el status correcto
Reporte para comunicar los resultados de las pruebas
Finalizar y archivar ambiente de pruebas y sus datos
Entrega el Testware al equipo de mantenimiento de pruebas
Analizar lecciones aprendidas para futuras versiones
Recopilar la informacion para ayudar a mejorar la madurez del proceso de prueba

Quieres tener una buena gestión, planeación y monitoreo de tus pruebas, pues hacer esto tendrás:

• Planeación de pruebas
• Monitoreo y control de pruebas
• Análisis de pruebas
• Diseño de pruebas
• Implementación de pruebas
• Ejecución de pruebas
• Finalización de las pruebas

La gestión, monitoreo y control de pruebas consta de algunas etapas que debemos garantizar:

1. Planeación: Es la definición de objetivos, alcance, técnicas, estimación, recursos.
2. Monitoreo y control: Se comparan los resultados de las métricas para saber si se están alcanzando los objetivos y así tomar acciones en caso de que no se estén logrando.
3. Análisis de pruebas: Determinar prioridades, qué se debe probar de acuerdo con las necesidades y requerimientos del proyecto.
4. Diseño de pruebas: se hacen diseños de alto nivel, se priorizan las pruebas, se identifican datos, el entorno de pruebas, infraestructura y herramientas; y se hace la trazabilidad entre pruebas y condiciones.
5. Implementación de pruebas: Se debe tener la estructura para las pruebas; es decir, el ambiente, los datos, en dónde hacer el seguimiento y hacer la documentación de las pruebas.
6. Ejecución de pruebas: Los suites de pruebas se agrupan y ejecutan de acuerdo con el programa de ejecución.
7. Finalización de pruebas: es en donde se sabe que porcentaje se desarrolló de acuerdo con los requerimientos, se documentan los defectos del proyecto, se hace el reporte de pruebas, se analizan las lecciones aprendidas y se recopila información que ayude a mejorar la madurez del proceso de pruebas.

Gestión de pruebas

Estas etapas pueden ocurrir o no en este orden

Esto no está relacionado con el desarrollo de software, solo está enfocado en crear, ejecutar y mantener las pruebas.

Planeación de pruebas

Tener una estrategia clara sobre lo que vamos a probar y cómo lo vamos a hacer nos ayuda tener una buena cobertura de pruebas, por esto es importante la planeación de pruebas. Aquí definimos el objetivo de las pruebas, su alcance, las técnicas que se llevarán a cabo, la estimación y definición de fechas de entrega, así como los criterios de salida.

Monitoreo y Control de pruebas

Durante el monitoreo definimos métricas que nos ayudan a reconocer si estamos avanzando o no, nos alertan cuando nuestro plan no se está llevando a cabo y que se está saliendo del tiempo indicado.

Análisis de pruebas

Es decidir cuáles pruebas tienen prioridad, determinar qué es lo que debemos probar considerando las prioridades de cobertura.

Diseño de pruebas

En esta etapa hacemos un diseño de pruebas a bajo nivel basado en un mapa de ideas o un índice de casos de uso que definimos desde el inicio. Aquí vamos a hacer el diseño a bajo nivel, detallado, del paso a paso que va a incluir cada caso de uso con ciertas técnicas que usamos para indicar los distintos casos posibles. Por ejemplo, los valores de datos que serán aceptados, rangos numéricos permitidos, opciones aceptables, etc.

También podemos hacer una trazabilidad entre casos de uso y los requerimientos funcionales, técnicos o de diseño. Así nos ayudamos a definir la posibilidad que tiene nuestro producto de cumplir con esos requisitos. Por ejemplo, si es posible mostrar 50 ítems en un e-commerce o no.

Nuestro diseño de pruebas también debe contener toda la información que nos ayude a tener una cobertura exitosa, como son:

• Especificaciones de negocio, funcionales, de sistema, historias de usuario, casos de uso
• Información referente al diseño, implementación, arquitectura, plataformas, stack de desarrollo; BBDD, código, queries.

Implementación de pruebas

Debemos asegurarnos de tener la estructura suficiente para hacer las pruebas; un ambiente de pruebas, datos de pruebas, donde documentar las pruebas, donde dar seguimiento a los defectos que se encuentren.

Una opción que funciona cuando no se documentan las pruebas es usar una matriz de pruebas, que permite agilizar la visualización de las pruebas que se han ejecutado o no.

Ejecución de pruebas

Aquí las suites de pruebas se ejecutan de acuerdo con el programa o plan que hemos diseñado. Agrupamos los casos de prueba para que no estén desordenados y podamos darle seguimiento. También para que podamos localizarlos cuando hagamos pruebas de regresión y poder mirar el impacto si es que hay cambios en el software.

Finalización de pruebas

Aquí se cierra el ciclo de pruebas, evaluamos el porcentaje que se ejecutó y el que se cubrió, cuántos defectos se encontraron (derivaron?) y aprender lecciones sobre el proceso.

Las lecciones que nos podemos llevar son las siguientes:

Los defectos pueden suceder cuestiones técnicas o del mismo proceso, puede ser la falta de documentación, ambigüedad o falta de claridad sobre los requerimientos del cliente o fallos inherentes del sistema derivados de errores en la arquitectura o el diseño.

qué es la matriz de pruebas?

¿También es un estándar por IBM?

Es un buen punto la trazabilidad, cuando se vuelve a realizar pruebas como un mini historial

Planeación de Pruebas : define objetivos de las pruebas

Monitorio y control: se mide y se compara resultados de las métricas , para tomar acciones y así alcanzar el plan

Uno podria pensar que hacer las pruebas no requiere de mucho, pero es muy importante contar con el ambiente de pruebas y el plan de pruebas antes de llegar a este proceso

Aunque parezca obvio que es necesario gestionar nuestro trabajo y darle seguimiento a las pruebas y ejecución, hay estudios donde las empresas no pueden hacer esto exitosamente.

Gestión de Pruebas:

Planeación: Definir los objetivos de las pruebas es muy importante, al no tener una estrategia clara termina causando una pobre cobertura de pruebas. Los elementos a considerar para una buena planeación son la estimación, recursos, el alcance y objetivo.

Monitoreo y Control: Durante el monitoreo lo que estamos buscando son esas métricas que nos digan si estamos llevando avances o tenemos retrasos. Son nuestras alertas cuando nuestro plan no se esta ejecutando.

Análisis: Incluye decidir cuáles son esas prioridades que nos ayudará a definir qué debemos probar.

Diseño: Normalmente cuándo estas iniciando las pruebas es necesario crear un mapa de ideas. Después de esto, puedes realizar el diseño a detalle de qué va a incluir cada caso de uso. Casos de alto nivel, diseñar y priorizar pruebas, identificar el entorno de pruebas, hacer una trazabilidad entre pruebas y sus
condiciones.

Implementación: También nos aseguramos de contar con la estructura necesaria para realizar las pruebas, con un ambiente, datos y dónde documentar o realizar las pruebas.

Ejecución: En esta etapa los suites de pruebas se ejecutan de acuerdo al programa o el plan diseñado con anterioridad. Se suelen agrupar los casos de pruebas para que no estén desorganizado y podemos hacerles un buen seguimiento.

Finalización: Cuando queremos cerrar el ciclo de las pruebas, necesitamos saber qué porcentaje se cubrió, ejecutó, cuántos defectos se derivaron, aprender lecciones sobre el proceso.

¿Puede ser que todo el equipo de testing trabaje desde una Hoja de Cálculo del Drive para hacerlo de manera coordinada o hay otras herramientas mejores para hacerlo?

Entendido, es importante aplicarlo en cada prueba que se vaya a realizar.

Gestión, monitoreo y control

Gestión de pruebas:
- Planeación: Definir objetivos, alcances, técnicas, estimación, fechas y criterios de salida
- Monitoreo y control: Se mide y compara los resultados de las métricas, en el control se toman acciones para alcanzar los objetivos y criterios de salida
- Análisis: Determinar que probar en base a nuestras prioridades
- Diseño:
○ Alto nivel
○ Diseñar y priorizar
○ Identificar datos de pruebas
○ Identificar entorno (infraestructura y herramientas)
○ Trazabilidad entre pruebas y condiciones
- Implementación: Ambiente de pruebas
- Ejecución: Agrupar casos de prueba y ejecutarlos en un deployment
- Finalización
○ Defectos con el estatus correcto
○ Reportes para comunicar el resultado
○ Archivar ambiente de pruebas y sus datos
○ Entregar testware al equipo de mantenimiento
Lecciones aprendidas