Crea una cuenta o inicia sesi贸n

隆Contin煤a aprendiendo sin ning煤n costo! 脷nete y comienza a potenciar tu carrera

Aprende todo un fin de semana sin pagar una suscripci贸n 馃敟

Aprende todo un fin de semana sin pagar una suscripci贸n 馃敟

Reg铆strate

Comienza en:

3D
12H
38M
29S

Limitaciones de la automatizaci贸n de pruebas

3/9
Recursos

Las limitaciones de la automatizaci贸n de pruebas se refieren a aquellas cosas que ser谩n dif铆ciles de automatizar, es decir, debes tener claro que no todo se puede automatizar.

Funcionalidades dif铆ciles de probar automatizadamente

A continuaci贸n se expondr谩n ciertas funcionalidades que son dif铆ciles de probar de forma autom谩tica:

Probar la verificaci贸n de dos pasos

La verificaci贸n de dos pasos (Two Factor Authentication) consiste en enviar un c贸digo de seguridad para identificar a un usuario, por lo tanto, por cuestiones de seguridad y de la complejidad que se requiere, no es posible automatizar este procedimiento.

Probar los sistemas anti-spam

El sistema de reCAPTCHA consiste en verificar que el usuario es una persona y no un robot o un programa.

Usualmente, estas t茅cnicas son usadas por empresas que desean generar spam.

La verificaci贸n consiste en seleccionar im谩genes relacionadas entre s铆 o un c贸digo, por lo que por su complejidad, no es posible automatizarlo.

Probar los correos automatizados

La automatizaci贸n de correos, ya sea para realizar una restauraci贸n de contrase帽a o probar que un correo haya sido enviado correctamente, no es posible en su totalidad.

Existen muchas limitaciones para probar el env铆o de correos, aunque no es imposible porque hay herramientas que te permiten conectarte a un servidor y observar algunos de los resultados que se desean probar.

Sin embargo, el costo de automatizar estas pruebas puede ser elevado porque es necesario adquirir el servicio de correos.

Por el motivo anterior y el tiempo que es necesario invertir para este tipo de automatizaciones, no es rentable hacerlo.

Probar los sensores de los dispositivos m贸viles

Los sensores de los dispositivos m贸viles son dif铆ciles de probar de manera automatizada, porque su comportamiento es dif铆cil de emular por c贸digo.

Por ejemplo, si se quiere imitar el comportamiento del giroscopio, es necesario mover el dispositivo, quiz谩s haya formas de emularlo por c贸digo, pero al final no va a ser una prueba que se acerque al uso real de un humano.

Otro ejemplo es escanear un c贸digo QR, que para automatizarlo se necesita que el celular est茅 bien soportado y que la distancia de lectura est茅 dentro de un rango espec铆fico.

Por lo tanto, siempre es importante que puedas analizar los beneficios y riesgos en una prueba automatizada.

Limitaciones comunes de las pruebas automatizadas

Al momento de pensar en la automatizaci贸n de pruebas, ten presente las siguientes limitaciones antes de dise帽ar las pruebas:

Solo se puede probar funcionalidades cuyo resultado sea interpretable por la m谩quina

Que los resultados sean interpretables por la m谩quina quiere decir que el criterio de aceptaci贸n elegido debe ser medible autom谩ticamente.

Por ejemplo, no se puede medir si el usuario est谩 feliz al usar la aplicaci贸n. Lo que s铆 se puede cuantificar es el color, el n煤mero de clics, o si le sali贸 una alerta, entre otros.

Las pruebas automatizadas no reemplazan las pruebas exploratorias

Las pruebas exploratorias son las acciones manuales que realiza una persona. La curiosidad, impredecibilidad e imaginaci贸n humana no se pueden automatizar.

La Experiencia de Usuario (UX) no es medible

No se puede medir ni automatizar la experiencia de usuario. Solo es posible recopilar datos para realizar an谩lisis futuros.

Contribuci贸n creada con los aportes de: Andr茅s Guano.

Aportes 35

Preguntas 0

Ordenar por:

驴Quieres ver m谩s aportes, preguntas y respuestas de la comunidad?

o inicia sesi贸n.

Creo que las limitaciones de la automatizaci贸n de pruebas es una barrera que existe hoy. De ac谩 a unos diez a帽os con la inteligencia artificial y dem谩s avances estos l铆mites van a ser alcanzados y me imagino que las 谩reas de testing se van a ver reducidas de forma muy significativa.

A mi me gustar铆a poder automatizar m谩s procesos de pruebas de interacci贸n con el usuario y reforzar las pruebas en cuanto a UX/UI, aunque en esta clase me qued贸 claro que el tema de poder automatizar UX es bastante complejo 馃槄. El tema de los sensores tambi茅n ser铆a algo en lo que me gustar铆a profundizar.


Limitaciones

  • Two Factor Authentication
  • reCAPTCHA (aunque se puede montar un entorno de pruebas deshabilitando reCAPTCHA)
  • Correos (mucho coste o tener en cuenta demasiados factores a la hora de automatizar y quiz谩 no vale la pena el riesgo)
  • Pruebas en dispositivos m贸viles: Sensores (puede ser complejo emular o imitar un comportamiento similar)
  • S贸lo puedes verificar resultados interpretables por la m谩quina (Ejemplo: no puedes medir cuan feliz es el usuario usando tu app)
  • NO va a reemplazar las pruebas exploratorias realizadas por un humano (no analiza los casos a automatizar etc)
  • UX no se puede 鈥渕edir鈥 de tal forma que permita automatizarlo

Cuando alguien me dice que no podemos medir si un usuario esta feliz o triste.

馃槂 Mi cerebro autom谩ticamente 馃槂
JAJAJAJA

Mi sue帽o y quiz谩 mi plan, ya materializandolo, es poder construir una herramienta, que mediante pruebas exploratorias, identifique los escenarios que pueden ser automatizados鈥

LIMITACIONES DE LA AUTOMATIZACI脫N DE PRUEBAS
.

  • No se puede automatizar todo.
  • Two Factor Authentication.
  • reCAPTCHA.
  • Correo electronico.
  • Sensores.
  • Solo se puede ver resultados interpretables por la maquina.
  • UX no es automatizable.

Existe un concepto errado en muchas personas que les hace creer que todo puede automatizarse, por esto exigen a los QA realizarse proceso , lo cual demanda tiempo y esfuerzo que al final no obtiene los resultados esperados.
La automatizaci贸n de pruebas soluciona muchos problemas que se presentan con las pruebas funcionales manuales, facilita el trabajo e incentiva el trabajo 谩gil, pero implica tiempo y recursos . De igual forma existen flujos o casos que por mas que se quieran son complejos de automatizar y mas que todos aquellos donde intervienen por ejemplo temas de seguridad o validaci贸n de identidad , hablo por ejemplo de sistemas biometricos.

No se puede automatizar TODO

Buena explicaci贸n sobre las limitaciones. En mi caso, las pruebas que requieren que se env铆e un mail automatico no es un problema porque son pruebas sencillas y r谩pidas de hacer. Lo que me gustar铆a automatizar son variaciones en el ingreso de datos del sistema que maneja la empresa. Hay modulos que se habilitan dos veces al a帽o y tener que hacer las pruebas todos los a帽os aburre y agota, con la automatizaci贸n la idea es probar que todo funcione ok y para poder dedicar m谩s tiempo a las pruebas nuevas o que sean un poco mas laboriosas.

Estas limitaciones me abren los ojos para entender que habr谩n cosas que no se deben automatizar por mas que se quiera, la seguridad nunca se debe automatizar, ya no seria seguridad.

-El reCAPTCHA por que est谩 creado para hacerse manualmente

-El correo, el resetear contrase帽as, puede ser muy costoso o complejo

Otra limitaci贸n puede ser automatizar los di谩logos del sistema operativo, en este caso, AutoIT puede hacer esto, pero llev谩ndolo a CI, desconozco como ser铆a la performance de esta herramienta.

Aprender Automatizar desde 0 he dejado mucho de lado Serenity Bdd, Intellij Idea bajo el patr贸n de dise帽o de pruebas ScreenPlay

Es muy importante entender las limitaciones de la automatizaci贸n, como QA en formaci贸n entiendo que es de vital importancia evaluar el caso por caso, el querer automatizar todo puede ocasionar una perdida de tiempo y enfoque, ademas de no agregar valor al producto.

El enfoque correcto seria todo es susceptible de automatizar, es lo que ha mostrado el tiempo sobre todo a nivel industrial y sist茅mico.

Buena tarde, no veo como impedimentos las limitaciones ya que de igual manera existen varias cosas por automatizar, y en algunos casos de limitaciones se puede trabajar o por ejemplo lo del captcha s铆 es posible deshabilitar la opci贸n en ambientes de pruebas.

Una de las limitaciones que he podido ver es cuando el cuando el cliente solicita automatizar pruebas que involucren dispositivos f铆sicos como :

  • Pinpad POS
  • Lector de huella digital
  • Codigo de lector de barra.

Si alguien conoce como poder automatizar estos procesos, ayudar铆a mucho nos lo puedan compartir.

Realmente no conocia que pruebas no eran posibles de automatizar, pero tal vez con la ayuda de inteligencia artificial y otras tecnologias se puedan automatizar diferentes procesos o pruebas.

Me gustaria automatizar los sensores y si me desilusiono mucho Factor autenticaci贸n por ejemplo a mi me cuesta mucho estos pasos por que requiere de tiempo para poder hacerlo,

Como determinar que se puede y debe automatizar? Es un hecho que los usuarios esperan mucho de QA y piensan que se puede automatizar todo cuando no es as铆 o bien si es posible no vale la pena invertir el tiempo en ciertas automatizaci贸nes.
Me gustar铆a que ense帽en automatizaci贸n con Python y Selenium sobre todo en la parte de como poder ubicar los XPATH din谩micos

Hay algunos casos por ejemplo el correo electr贸nico que se puede solucionar emulando un servidor con un Docker, puede ser una alternativa, pero se require tener conocimiento de este tipo de servidores.

En cuanto al 2FA, hay herramientas como Cypress que tratan de aliviar un poco este dolor con algunas estrategias como la de Google Auth: https://docs.cypress.io/guides/end-to-end-testing/google-authentication

no me desilusiono pero si pens茅 que en gmail se pod铆a, ya que no tomaba en cuenta los ejemplos que se dieron en el v铆deo, igual me llamo mucho la atenci贸n las pruebas de using experience.

Yo que laboro en el tema educativo aplicado a infantes, podr谩 en alg煤n momento evolucionar o innovar en la educaci贸n estas automatizaciones, pero jam谩s detectar el nivel de felicidad del alumno, el nivel de ira, hiperactividad en los educandos.

Unas de las cosas que se utilizan mucho es lo del token al correo electronico, si alguien conoce una herramienta para esta seria bueno conocerla , ayudaria mucho.

Limitaciones de la automatizaci贸n de pruebas

Las limitaciones, son las 鈥渃osas鈥 que no podemos automatizar.

NO SE PUEDE AUTOMATIZAR TODO.

Algunas de las limitaciones son:

  • Two Factor Authentication.
    (Cuando iniciamos sesi貌n, podemos configurar que nos genere un codigo en otro dispositivos, no se puede automatizar ya que es una cuesti贸n de seguridad)
  • reCAPTCHA
    (Tambien por cuestiones de seguridad, ya que reCaptcha trata de evitar que la gente use automatizaciones)
  • Correo
    (No es imposible, pero es muy costoso o se necesita tener muchas factores en cuenta a la hora de automatizar, y proablemente no valga la pena el riesgo)
  • Dispositivos moviles y los sensores
    (Puede ser dificil emular o imitar un comportamiento similar)
  • Solo se puede verificar resultados interpretables por la m谩quina, por ejemplo no se puede medir las emociones del usuario.
  • No va a reemplazar las pruebas exploratorias realizadas por un humano (no analiza los casos a automatizar etc)
  • UX no se puede 鈥渕edir鈥 de tal forma que permita automatizarlo

Respecto al email si es posible, con plataformas de terceros como zapier, con 茅l puedes detectar un trigger de cierto email! Tambi茅n con las webhook de google y un catcher en el backend!

Una parte que me parece importante lograr automatizar ser铆an los sensores, desde mi punto de vista el resultado que se obtendr铆a ser铆a muy efectivo.

Las emociones que se tienen al utilizar una aplicaci贸n no se pueden medir ni tampoco automatizar.

Me parece que ademas de la complejidad que supondr铆a automatizar el two factor auth y el reCAPTCHA, se perder铆a todo el sentido de ser de estas dos cosas, debido a que lo que proveen es una capa extra de seguridad, y si automatizamos esto, para que un humano no sea el que sea responsable de la seguridad, pierden completamente el sentido.

Google: Jaaa que facil

No se puede automatizar todo, as铆 como no se puede probar todo un Software, Hay diferentes limitantes para ello. As铆 que, definir un buen plan de pruebas te ayudar谩 a estimar todas las variaciones y las pruebas a realizar en un software.

Yo me encontr茅 con el problema del QR.
y un DEV implemento un dashboard en la APP (remoto solo para los QA) en donde pod铆amos ver errores,eventos, pantallas etc鈥 y entre esas funciones agrego un campo para ingresar el string de un QR.
una genealidad.

Excelente explicaci贸n. En mi pr谩ctica el tema de limitaci贸n al automatizar el correo si me ha sucedido. Es decir si no tengo el mail definido espec铆ficamente para el proceso a automatizar entonces en el resultado el valor se afecta negativamente. Por otro lado se debe evaluar cada correo y analizar los adjuntos en caso de tenerlos.

驴Estamos seguros de no poder automatizar las UX? Quiero decir, tenemos inteligencias artificiales que pueden generar UX a partir de texto descriptivo; por lo que pienso, 驴No existe la capacidad de entrenar Inteligencias artificiales con la capacidad de generar autom谩ticamente experiencias de usuarios en base a lo lo que previamente existe? Tal como una base de datos de sistemas de UX y sistemas de tracking de clickeo.

"no se puede automatizar todo". quiz谩s sea cierto, pero cada vez automatizamos m谩s. yo por ej evito muchas tareas repetitivas mediante unos scripts en Python, lo que me permite ganar tiempo para mi. llegu茅 incluso hasta automatizar mi actividad en un videojuego, obvio como practica. practice makes perfect dicen. no se que tan complicado sea el 2fa, pero si le gan茅 a un captcha, con gusto acepto el desaf铆o :smile:

xiste un concepto errado en muchas personas que les hace creer que todo puede automatizarse, por esto exigen a los QA realizarse proceso , lo cual demanda tiempo y esfuerzo que al final no obtiene los resultados esperados.
La automatizaci贸n de pruebas soluciona muchos problemas que se presentan con las pruebas funcionales manuales, facilita el trabajo e incentiva el trabajo 谩gil, pero implica tiempo y recursos . De igual forma existen flujos o casos que por mas que se quieran son complejos de automatizar y mas que todos aquellos donde intervienen por ejemplo temas de seguridad o validaci贸n de enfrentar a el problemas de censores la camara como cuando quieres escanear al qr con el celuar.