Limitaciones de la automatización de pruebas

Creo que las limitaciones de la automatización de pruebas es una barrera que existe hoy. De acá a unos diez años con la inteligencia artificial y demás avances estos límites van a ser alcanzados y me imagino que las áreas de testing se van a ver reducidas de forma muy significativa.

A mi me gustaría poder automatizar más procesos de pruebas de interacción con el usuario y reforzar las pruebas en cuanto a UX/UI, aunque en esta clase me quedó claro que el tema de poder automatizar UX es bastante complejo 😅. El tema de los sensores también sería algo en lo que me gustaría profundizar.

Limitaciones

• Two Factor Authentication
• reCAPTCHA (aunque se puede montar un entorno de pruebas deshabilitando reCAPTCHA)
• Correos (mucho coste o tener en cuenta demasiados factores a la hora de automatizar y quizá no vale la pena el riesgo)
• Pruebas en dispositivos móviles: Sensores (puede ser complejo emular o imitar un comportamiento similar)
• Sólo puedes verificar resultados interpretables por la máquina (Ejemplo: no puedes medir cuan feliz es el usuario usando tu app)
• NO va a reemplazar las pruebas exploratorias realizadas por un humano (no analiza los casos a automatizar etc)
• UX no se puede “medir” de tal forma que permita automatizarlo

Cuando alguien me dice que no podemos medir si un usuario esta feliz o triste.

😃 Mi cerebro automáticamente 😃
JAJAJAJA

Mi sueño y quizá mi plan, ya materializandolo, es poder construir una herramienta, que mediante pruebas exploratorias, identifique los escenarios que pueden ser automatizados…

Buena explicación sobre las limitaciones. En mi caso, las pruebas que requieren que se envíe un mail automatico no es un problema porque son pruebas sencillas y rápidas de hacer. Lo que me gustaría automatizar son variaciones en el ingreso de datos del sistema que maneja la empresa. Hay modulos que se habilitan dos veces al año y tener que hacer las pruebas todos los años aburre y agota, con la automatización la idea es probar que todo funcione ok y para poder dedicar más tiempo a las pruebas nuevas o que sean un poco mas laboriosas.

Existe un concepto errado en muchas personas que les hace creer que todo puede automatizarse, por esto exigen a los QA realizarse proceso , lo cual demanda tiempo y esfuerzo que al final no obtiene los resultados esperados.
La automatización de pruebas soluciona muchos problemas que se presentan con las pruebas funcionales manuales, facilita el trabajo e incentiva el trabajo ágil, pero implica tiempo y recursos . De igual forma existen flujos o casos que por mas que se quieran son complejos de automatizar y mas que todos aquellos donde intervienen por ejemplo temas de seguridad o validación de identidad , hablo por ejemplo de sistemas biometricos.

LIMITACIONES DE LA AUTOMATIZACIÓN DE PRUEBAS
.

• No se puede automatizar todo.
• Two Factor Authentication.
• reCAPTCHA.
• Correo electronico.
• Sensores.
• Solo se puede ver resultados interpretables por la maquina.
• UX no es automatizable.

No se puede automatizar TODO

Estas limitaciones me abren los ojos para entender que habrán cosas que no se deben automatizar por mas que se quiera, la seguridad nunca se debe automatizar, ya no seria seguridad.

-El reCAPTCHA por que está creado para hacerse manualmente

-El correo, el resetear contraseñas, puede ser muy costoso o complejo

Realmente no conocia que pruebas no eran posibles de automatizar, pero tal vez con la ayuda de inteligencia artificial y otras tecnologias se puedan automatizar diferentes procesos o pruebas.

Hay algunos casos por ejemplo el correo electrónico que se puede solucionar emulando un servidor con un Docker, puede ser una alternativa, pero se require tener conocimiento de este tipo de servidores.

En cuanto al 2FA, hay herramientas como Cypress que tratan de aliviar un poco este dolor con algunas estrategias como la de Google Auth: https://docs.cypress.io/guides/end-to-end-testing/google-authentication

Otra limitación puede ser automatizar los diálogos del sistema operativo, en este caso, AutoIT puede hacer esto, pero llevándolo a CI, desconozco como sería la performance de esta herramienta.

Aprender Automatizar desde 0 he dejado mucho de lado Serenity Bdd, Intellij Idea bajo el patrón de diseño de pruebas ScreenPlay

Me parece super importante la aclaración "Las pruebas Automatizadas No reemplazan las pruebas Exploratorias"
Ya que considero que la capacidad analítica de los QA Manuales son muy importantes para prevenir la mayor cantidad de defectos que encontremos sobre los requerimientos y posteriormente los fallos que encontramos en los sistemas que se ocasionan por los defectos.

Limitaciones de la automatización de pruebas es un gran obstáculo en a toma de decisiones para ponerlas en practica.

Para mi es un poco frustrante el no poder hacer test por el captcha o por que el two-factor authentication. Me eh encontrado con casos asi, y hemos tenido que pivotear.

Pero tengo en claro de que AI puede ayudar con esas partes, o tal vez dependiendo del proyecto, puedes hablar para que desactiven estas funcionalidades para cuando quieras correr pruebas.

una de las limitaciones que me parecio interesante que no se puede automatizar es la de los sistema de reCAPTCHA ya que me parece interesante al saber que no se puede hacer

Creo que con machine learning e IA en un futuro se podra analizar y avanzar en test de UX, mas el como el humano reaciona o se emociona siempre sera una medicion manual.

Creo que en un futuro la IA pueda introducirse como medio exploratorio de acuerdo al entrenamiento que se le ofrezca del aplicativo o sistema y esta dectete bugs o posibles escenarios.

una desventaja que veo de automatizar las pruebas, es que por más que se consulta a los expertos del negocio el cómo funcionan sus procesos hoy en día, ellos parecen no dominarlo o no dan la información completa y como QA manual ya sufro para hacer un caso de prueba, no me imagino, en clientes como el que tengo ahora, pensando y repensando un caso automatizado y ellos cambiando a diestra y siniestra las definiciones. Son casos reales y lo veo como desventaja.

Conocer las limitaciones existentes, permite pensar de otras formas, no cerrandose a dicha limitacion. una limitacion solo es bloqueo que se puede evitar dirigiendose a otra parte.

me llamo la atencion que muchas cosas podemos adaptarlas si es que es muy necesario automatizarlo, sin embargo al llegar a la complexidad, talvez no vale la pena ni el ezfuerzo ni la calidad real de los resultados

Es muy importante entender las limitaciones de la automatización, como QA en formación entiendo que es de vital importancia evaluar el caso por caso, el querer automatizar todo puede ocasionar una perdida de tiempo y enfoque, ademas de no agregar valor al producto.

El enfoque correcto seria todo es susceptible de automatizar, es lo que ha mostrado el tiempo sobre todo a nivel industrial y sistémico.

Buena tarde, no veo como impedimentos las limitaciones ya que de igual manera existen varias cosas por automatizar, y en algunos casos de limitaciones se puede trabajar o por ejemplo lo del captcha sí es posible deshabilitar la opción en ambientes de pruebas.

Una de las limitaciones que he podido ver es cuando el cuando el cliente solicita automatizar pruebas que involucren dispositivos físicos como :

• Pinpad POS
• Lector de huella digital
• Codigo de lector de barra.

Si alguien conoce como poder automatizar estos procesos, ayudaría mucho nos lo puedan compartir.

Me gustaria automatizar los sensores y si me desilusiono mucho Factor autenticación por ejemplo a mi me cuesta mucho estos pasos por que requiere de tiempo para poder hacerlo,

Como determinar que se puede y debe automatizar? Es un hecho que los usuarios esperan mucho de QA y piensan que se puede automatizar todo cuando no es así o bien si es posible no vale la pena invertir el tiempo en ciertas automatizaciónes.
Me gustaría que enseñen automatización con Python y Selenium sobre todo en la parte de como poder ubicar los XPATH dinámicos

no me desilusiono pero si pensé que en gmail se podía, ya que no tomaba en cuenta los ejemplos que se dieron en el vídeo, igual me llamo mucho la atención las pruebas de using experience.

Yo que laboro en el tema educativo aplicado a infantes, podrá en algún momento evolucionar o innovar en la educación estas automatizaciones, pero jamás detectar el nivel de felicidad del alumno, el nivel de ira, hiperactividad en los educandos.

Unas de las cosas que se utilizan mucho es lo del token al correo electronico, si alguien conoce una herramienta para esta seria bueno conocerla , ayudaria mucho.

Limitaciones de la automatización de pruebas

Las limitaciones, son las “cosas” que no podemos automatizar.

NO SE PUEDE AUTOMATIZAR TODO.

Algunas de las limitaciones son:

• Two Factor Authentication.
  (Cuando iniciamos sesiòn, podemos configurar que nos genere un codigo en otro dispositivos, no se puede automatizar ya que es una cuestión de seguridad)
• reCAPTCHA
  (Tambien por cuestiones de seguridad, ya que reCaptcha trata de evitar que la gente use automatizaciones)
• Correo
  (No es imposible, pero es muy costoso o se necesita tener muchas factores en cuenta a la hora de automatizar, y proablemente no valga la pena el riesgo)
• Dispositivos moviles y los sensores
  (Puede ser dificil emular o imitar un comportamiento similar)
• Solo se puede verificar resultados interpretables por la máquina, por ejemplo no se puede medir las emociones del usuario.
• No va a reemplazar las pruebas exploratorias realizadas por un humano (no analiza los casos a automatizar etc)
• UX no se puede “medir” de tal forma que permita automatizarlo

Respecto al email si es posible, con plataformas de terceros como zapier, con él puedes detectar un trigger de cierto email! También con las webhook de google y un catcher en el backend!

Una parte que me parece importante lograr automatizar serían los sensores, desde mi punto de vista el resultado que se obtendría sería muy efectivo.

Las emociones que se tienen al utilizar una aplicación no se pueden medir ni tampoco automatizar.

Me parece que ademas de la complejidad que supondría automatizar el two factor auth y el reCAPTCHA, se perdería todo el sentido de ser de estas dos cosas, debido a que lo que proveen es una capa extra de seguridad, y si automatizamos esto, para que un humano no sea el que sea responsable de la seguridad, pierden completamente el sentido.

Google: Jaaa que facil

No se puede automatizar todo, así como no se puede probar todo un Software, Hay diferentes limitantes para ello. Así que, definir un buen plan de pruebas te ayudará a estimar todas las variaciones y las pruebas a realizar en un software.

Yo me encontré con el problema del QR.
y un DEV implemento un dashboard en la APP (remoto solo para los QA) en donde podíamos ver errores,eventos, pantallas etc… y entre esas funciones agrego un campo para ingresar el string de un QR.
una genealidad.

Excelente explicación. En mi práctica el tema de limitación al automatizar el correo si me ha sucedido. Es decir si no tengo el mail definido específicamente para el proceso a automatizar entonces en el resultado el valor se afecta negativamente. Por otro lado se debe evaluar cada correo y analizar los adjuntos en caso de tenerlos.

¿Estamos seguros de no poder automatizar las UX? Quiero decir, tenemos inteligencias artificiales que pueden generar UX a partir de texto descriptivo; por lo que pienso, ¿No existe la capacidad de entrenar Inteligencias artificiales con la capacidad de generar automáticamente experiencias de usuarios en base a lo lo que previamente existe? Tal como una base de datos de sistemas de UX y sistemas de tracking de clickeo.

xiste un concepto errado en muchas personas que les hace creer que todo puede automatizarse, por esto exigen a los QA realizarse proceso , lo cual demanda tiempo y esfuerzo que al final no obtiene los resultados esperados.
La automatización de pruebas soluciona muchos problemas que se presentan con las pruebas funcionales manuales, facilita el trabajo e incentiva el trabajo ágil, pero implica tiempo y recursos . De igual forma existen flujos o casos que por mas que se quieran son complejos de automatizar y mas que todos aquellos donde intervienen por ejemplo temas de seguridad o validación de enfrentar a el problemas de censores la camara como cuando quieres escanear al qr con el celuar.