Tendencias clave en las pruebas de software de SmartBear: tipos de pruebas y tendencias

En 2019, SmartBear realizó su encuesta anual de la comunidad de probadores de software por tercera vez . Alyona Batitskaya, desarrollador front-end, maestra y líder del curso en la facultad de programación en Netología, tradujo la investigación y recopiló resultados clave sobre metodologías de desarrollo, herramientas y tecnologías de prueba, automatización y tendencias de desarrollo de la industria en los próximos dos años.  

Quien fue entrevistado

La compañía entrevistó a 2.526 personas de diferentes países e industrias, entre las cuales prevalecen los ingenieros de control de calidad y los ingenieros de automatización: 37%. También entre los encuestados se encontraban desarrolladores (15%), gerentes de control de calidad (14%), arquitectos (8%), evaluadores manuales (7%), gerentes de análisis de productos / negocios (5%), consultores (4%), DevOps ingenieros (4%).


Las profesiones de los encuestados son consistentemente diferentes:

existen muchos tipos de pruebas de software y, con mayor frecuencia, se aplican varios enfoques. El número promedio de tipos de pruebas en los equipos encuestados es 2.2. Esto muestra que los departamentos de evaluación no están hiperespecializados, es decir, no utilizan muchos enfoques de evaluación, pero no se detienen de la misma forma.  


La mayoría de los encuestados prueba el software o ingresa a los equipos apropiados
 
En relación con los probadores que trabajan de forma independiente, hay más gerentes de control de calidad que establecen y controlan las tareas. Los investigadores explican esto por la mejora continua de las calificaciones de los encuestados y la transición a los siguientes pasos en la escala profesional.  
  
Desde 2017, el tamaño de las empresas en las que trabajan los encuestados ha cambiado. Anteriormente, todos querían ingresar a una gran empresa (más de 10,000 empleados), pero ahora prefieren compañías más pequeñas (menos de 500 empleados).  

Lo que fue probado

Aplicaciones web más probadas (79%) y API / servicios web (77%). 

Desde 2017, el número de API / servicios web de prueba y aplicaciones web móviles ha aumentado en aproximadamente un 10%. Al mismo tiempo, existe una tendencia a la baja en las pruebas de aplicaciones de escritorio, aplicaciones web híbridas y progresivas y soluciones en caja. 

Tiempo de prueba

El tiempo dedicado a las pruebas no ha cambiado mucho desde 2018; en promedio, esto es el 61% del tiempo de trabajo.

La tarea que requiere más tiempo El 23% de los encuestados considera realizar pruebas. Creación de pruebas automatizadas en segundo lugar (18%), seguido de la escritura de guiones para pruebas manuales (17%). Los informes / análisis de los resultados de la prueba se mantuvieron en el mismo nivel: cuarto lugar con el 12% de los encuestados, pero esto es significativamente más alto que el 3% que dijo que esta fue la tarea que más tiempo llevó en 2017. 
 
Los empleados de grandes empresas están más satisfechos con el proceso de prueba de software incorporado. La razón puede ser que las grandes organizaciones, en contraste con las pequeñas, tienen los recursos, la historia y el conocimiento para realizar mejores pruebas. 
 
Se reveló la siguiente correlación: los encuestados que dedicaron menos del 20% de su tiempo a las pruebas estaban menos satisfechos con el proceso de evaluación, a diferencia de los que evaluaron del 20 al 80%. Esto puede reflejar una mayor conciencia de los procesos y su conveniencia, o un menor nivel de interés y satisfacción entre aquellos que realizan pruebas con menos frecuencia. 
 

Ciclos de prueba

Las empresas continúan cambiando a ciclos de prueba de software más rápidos.

La combinación más popular de metodologías de desarrollo es Agile y DevOps. Esto sugiere que las compañías que ya usan Agile continúan mejorando en estos procesos y están comenzando a implementar procesos DevOps. 

Solo un enfoque DevOps utiliza empresas pequeñas y grandes. Y el uso de ambos enfoques, Agile y DevOps, se observa más en las grandes empresas. 
 

Las metodologías ágiles y DevOps no están creciendo rápidamente, lentamente tomando participación de mercado de Waterfall. La mayoría de los encuestados indicaron que utilizan una combinación de enfoques en el proceso de cambio a DevOps.
 

Pruebas de herramientas y tecnologías

Entre las herramientas, Jenkins lidera por tercer año consecutivo (52%). Al mismo tiempo, la cantidad de personas que no usan herramientas de CI / CD en su trabajo disminuye de año en año: en 2019 solo había el 14% del total. 


A pesar del fuerte liderazgo de Jenkins, el mercado de herramientas de prueba parece fragmentado.
 
Los lenguajes más comunes para escribir aplicaciones son Java (49%) y JavaScript (44%). La frecuencia de usar C # (24%) y VB.net (11%) está disminuyendo, pero la frecuencia de usar Python está aumentando (18%). La popularidad de Swift, R y Go continúa creciendo, pero todos conservan aproximadamente el mismo nivel de respuesta. 

El número promedio de lenguajes de programación para escribir aplicaciones ha aumentado: de 2.36 a 2.54. 

Una distribución similar entre los idiomas se ha conservado en la redacción de pruebas automáticas. A menos que Python intercambie lugares con C #. 
 

Gestión de pruebas 

Surgió un patrón claro: cuanto más pequeña es la empresa, más no les gusta usar programas para administrar el proceso de prueba.  


Es menos probable que las pequeñas empresas utilicen herramientas de gestión de pruebas. 

Entre los que todavía usan dicho software, no hay un solo programa líder:  

Pruebas de estrés 

Del 30% al 35%, el número de encuestados aumentó que las pruebas de carga se llevan a cabo antes de cada publicación del proyecto.  


La popularidad de las pruebas de carga para diferentes tipos de software
 
Entre las herramientas de prueba de carga, el Apache JMeter de código abierto explota con un margen de confianza: el 37% de los evaluadores lo eligen. La tendencia de código abierto está creciendo en la comunidad de TI, por lo que tal líder no es sorprendente. 

Segundo lugar: en LoadRunner (18%). El 17% utiliza herramientas no designadas, "otras". 
 

 

Prueba de automatización 

El grado de cobertura de software mediante pruebas automáticas prácticamente no ha cambiado desde 2017:
 

solo el 18% de las aplicaciones están cubiertas por autotest en más del 75%.
 
Y nuevamente, hay un patrón con el tamaño de las empresas. 

Cuanto más grande es la empresa, mayor es el grado de cobertura de la aplicación con autotest. 

 Mantener la relevancia de las pruebas a medida que la aplicación cambia y crece sigue siendo el mayor problema: el 21% de las respuestas. La falta de tiempo para las pruebas se registra en un 15%. Las calificaciones insuficientes de los empleados se observan en un 12%.

Prueba de IU 

Dificultades y desafíos principales.

En la lista de las principales dificultades en las pruebas, la interfaz de usuario lidera las pruebas de estabilidad (18%).

Una nueva respuesta "Comience a hacer esto" [no han probado la IU antes, ahora están listos para continuar. - aprox. Ed.] Inmediatamente tomó el segundo lugar con 17%.  
 
Distribución de otras respuestas:
 

• Determinación del objeto de prueba y control del proceso (15%).
• Pruebas en diferentes entornos (dispositivos, sistemas operativos) (13%).
• Prueba de cobertura de prueba (11%).
• Servicio de prueba (11%).
• Creación de datos sintéticos (9%).

 

Herramientas

Entre las herramientas para pruebas automatizadas de IU hay muchas aplicaciones con poca popularidad. 

Por segundo año consecutivo, Selenium Webdriver sigue siendo el líder (27%). En segundo lugar está TestNG (10%). TestComplete cierra los tres primeros (8%).



 

Ejecutando pruebas al mismo tiempo

Ejecutar varios tipos de pruebas al mismo tiempo ahorra tiempo en las pruebas, lo cual es crucial en las condiciones de un ciclo de desarrollo corto.  

Al mismo tiempo, bastantes probadores usan este chip: solo el 30% de los encuestados realizan más de 10 pruebas a la vez.

El número de pruebas lanzadas simultáneamente

Otra regularidad: casi todos los que no ejecutan pruebas en paralelo no automatizan las pruebas. 

Casi todos los que usan scripts u otros métodos de prueba de IU están usando pruebas paralelas, a diferencia de aquellos que eligieron Grabar y repetir como la forma principal de probar las IU. 

Elección de un enfoque de automatización frente a pruebas paralelas
 

Ejecutando pruebas en la nube 

El número de quienes realizan pruebas en la nube está creciendo lenta pero constantemente. En 2017, hubo un 45% de tales respuestas, y en 2019 ya un 50%.  

Navegadores populares

Los tres líderes no han cambiado desde 2017. El navegador más popular para probar aplicaciones web es Chrome (53%). Luego viene Firefox (41%) e Internet Explorer (35%). 

Chrome, Firefox e Internet Explorer cayeron bruscamente en 2018, pero los dos primeros crecieron aproximadamente un 5% en 2019, pero Internet Explorer continúa cayendo.  

El 38% de los encuestados realiza pruebas en tres o más navegadores. La gran mayoría (51%) se prueba solo en la última versión de los navegadores, 20% - en los últimos dos, 11% - en los últimos tres.  

Navegadores sin cabeza 

La tecnología de los navegadores sin cabeza aumenta significativamente el número de pruebas ejecutadas en paralelo, acelerando así todo el proceso de prueba en casi tres veces. Hasta ahora, solo Chrome y FireFox tienen versiones sin cabeza. 
 
Según la encuesta, el 25% de los encuestados usa esta tecnología. El 75% restante no tiene conocimiento del uso de navegadores sin cabeza en la empresa o está seguro de que esta tecnología no está implementada.  

Pruebas móviles

Cada año, la necesidad de que las empresas prueben el producto en dispositivos móviles está creciendo: solo el 15% de los encuestados dijeron que no prueban los dispositivos móviles en absoluto. 
 
El líder, como el año pasado, son los dispositivos iOS. Android está pisando los talones. 
 

— , , . 

 

En 2018, el 45% de las pruebas se automatizaron, en 2019: 46%. Aunque no es sustancial, pero de crecimiento estable. 

Según los planes de los encuestados, para 2021 quieren automatizar el 69% de las pruebas. Los ingenieros de control de calidad tienen las más altas expectativas.  

Según la encuesta, aquellos con una tasa de automatización actual de 1–25% planean aumentarla a 26–50%. Y aquellos con 26–50% quieren obtener 51–75%. Es decir, nadie afirma la automatización absoluta, realmente evaluando sus capacidades.  

La opción más efectiva es un lanzamiento semanal del producto, aproximadamente el 37% de los encuestados lo eligió. En segundo lugar está el ciclo de desarrollo mensual (28%). El tercer lugar lo ocupa el lanzamiento trimestral del producto (12%). 


Los encuestados lograron la mayoría de los objetivos que establecieron en 2017

El gráfico anterior le permite comparar las expectativas de los encuestados del año pasado con respecto a la frecuencia de las publicaciones y la realidad. Los objetivos de publicación semanal y mensual no solo se alcanzaron, sino que incluso superaron las expectativas. Pero todos los días, o publicar varias veces al día no funcionó para muchos, las expectativas eran exageradas. 

Tendencias en el horizonte durante dos años.

Los encuestados trataron de predecir las direcciones que ganarán popularidad en el campo de las pruebas en los próximos dos años. De las respuestas que se mencionaron más de 10 veces, recopilamos una nube de etiquetas simplificadas.  

Según las previsiones, las áreas más populares serán la automatización, la inteligencia artificial y el aprendizaje automático. 

lo principal 

La frecuencia de lanzamiento continúa creciendo a medida que más y más empresas se están moviendo de la metodología Waterfall a una combinación de metodologías Agile y DevOps.

Las pruebas están dominadas por aplicaciones web y API.  

Hay muchas herramientas de prueba diferentes en uso, entre las cuales se encuentran las pruebas manuales. 

La tarea más difícil para las pruebas automatizadas es sincronizar los scripts de prueba con la versión actual de la aplicación. 

Las secuencias de comandos son el enfoque más común para la automatización de pruebas, y Selenium es la herramienta de secuencias de comandos más popular. 

Según los planes de los encuestados, para 2021 quieren automatizar el 69% de las pruebas. 

Los encuestados todavía ven la necesidad de probar en diferentes navegadores y versiones de navegador, pero el número de versiones de navegador es insignificante, pero disminuyó. 

Una cuarta parte de los evaluadores utilizan navegadores sin cabeza, mientras que un poco más de una cuarta parte no está seguro de si sus organizaciones usan esta tecnología. 

En los próximos dos años, las áreas más populares en la industria de las pruebas serán la automatización, la inteligencia artificial y el aprendizaje automático.

De los editores de Netology.

Lo invitamos a familiarizarse con la profesión de un probador en la lección abierta " Probador: quién es y cómo convertirse en el principal en términos de calidad en TI ": el próximo se llevará a cabo el 23 de abril a las 19:00.

Y para aquellos que ya desean obtener esta profesión de TI, sugerimos estudiar el programa " Software Tester ".