¿Qué es Test Repository de Xray?

El Test Repository de Xray for Jira permite organizar las pruebas de software de forma jerárquica dentro de los proyectos de Jira, lo que facilita la gestión eficiente de pruebas manuales y automatizadas.

El equipo de QA puede crear carpetas y subcarpetas para organizar sus Tests, alineándolos con la arquitectura funcional del software o con la estrategia de pruebas definida por el equipo. Esta estructura es muy intuitiva, ya que se asemeja a la organización de archivos en cualquier sistema operativo.

¿Qué nos aporta Test Repository?

Existen varias razones por las que en WATA Factory nos resulta interesante trabajar con Test Repository para mejorar la organización y calidad de nuestros tests.

• Estructuración jerárquica de pruebas: Permite organizar las pruebas en una estructura de carpetas y subcarpetas, facilitando la navegación y localización de pruebas específicas. Por ejemplo, podemos segmentar los casos de prueba por módulos, funcionalidades, versiones o tipos de prueba.

• Mayor visibilidad y control: La organización jerárquica proporciona una visión clara del estado y ubicación de cada prueba dentro del proyecto, mejorando el control y seguimiento del estado del testing, así como la trazabilidad entre requisitos, casos de prueba y ejecuciones.

• Compatibilidad con metodologías ágiles e Integración Continua: Se adapta a prácticas ágiles y de integración continua, permitiendo una gestión de pruebas alineada con ciclos de desarrollo rápidos y entregas continuas.

• Mejora del trabajo colaborativo: Equipos funcionales y técnicos pueden trabajar en paralelo, localizando fácilmente los tests correspondientes a su ámbito.

• Escalabilidad: Ideal para proyectos grandes con cientos o miles de casos de prueba.

Para optimizar el uso de Test Repository, conviene tener en cuenta algunos consejos:

• Diseñar bien la jerarquía: Es importante planificar la estructura de carpetas considerando que una prueba solo puede estar en una carpeta.

• Complementarlo con Test Sets: Aunque el Test Repository ofrece una estructura jerárquica, los Test Sets de Xray pueden utilizarse como complemento del Test Repository para agrupar pruebas de manera transversal según criterios específicos, proporcionando flexibilidad adicional en la gestión de pruebas.

Test Repository como puente hacia la automatización

La organización de nuestro conjunto de test con Test Repository también actúa como puente entre el testing manual y el automático.

El equipo de testing puede comenzar definiendo los casos de prueba manualmente en las carpetas del Test Repository, basando la organización de los mismos, por ejemplo, en los requisitos o ACs definidos en los tickets de Jira.

A medida que los QA ejecutan pruebas manuales desde las Test Executions, se identifican los tests idóneos para automatizar, como pueden ser las pruebas repetitivas, de regresión o de alto riesgo.

En este punto, una vez que el equipo tenga detectados los tests a automatizar, XRAY permite asociar resultados automatizados a los Tests existentes mediante su integración con frameworks como Cucumber, Junit o TestNG.

Una vez automatizada una prueba, el mismo Test manual se puede reutilizar para almacenar la evidencia del test automatizado, pudiendo reflejar que ahora se trata de un test automático a través del Test Type, y conservando así el vínculo con el mismo Test Issue en Jira, manteniendo la trazabilidad.

Test Repository en WATA Factory

En WATA Factory consideramos que una herramienta como el Test Repository de Xray for Jira es esencial para que nuestros equipos de QA mejoren la gestión del testing en nuestros proyectos de software, no sólo para proporcionar orden y claridad, también para hacer más escalables nuestros conjuntos de pruebas y facilitar el paso hacia la automatización.

The post Organización de pruebas con Test Repository. Un poco de orden antes de la automatización. appeared first on WATA Factory.

A la hora de definir las bases de calidad de software y testing de un proyecto, sobre todo cuando se trata de aplicaciones web, decidir cuáles serán las tecnologías a usar para automatizar nuestras pruebas se convierte en un verdadero desafío. Más si cabe cuando tenemos que elegir una tecnología para testear nuestro frontend.

Si nos centramos en los tests E2E (end-to-end), con los cuales simulamos el comportamiento e interacción de un usuario real por medio de pruebas a la interfaz de usuario de nuestro proyecto, aparecen conocidas tecnologías como Selenium, Protractor o Playwright.

Pero si hay un framework de testing que está ganando popularidad gracias a su facilidad de uso y ventajas sobre los anteriores, ese es Cypress.

¿Qué es Cypress?

Cypress es un framework open source para el testing automático del frontend de aplicaciones web basadas en JavaScript. Su uso no solo se limita a las pruebas E2E, sino que también permite la creación de pruebas de integración o unitarias.

Dado que dispone de sus propias librerías de aserciones, comandos customizados y otras funcionalidades interesantes (como disponer de un dashboard para debugar y ejecutar nuestros tests), Cypress se confirma como un framework versátil adaptado a las características de la web moderna.

Todo ello partiendo de una arquitectura construida desde cero: no se necesita partir de Selenium.

Esto nos permite trabajar con un framework que no requiere la instalación de herramientas y librerías externas para poder empezar a crear nuestros tests.

¿Por qué Cypress?

Debido a la evolución de las aplicaciones web y al surgimiento de frameworks basados en JavaScript más actuales y modernos como Angular, Vue o React, también han evolucionado los frameworks de pruebas E2E. En este punto, dada la versatilidad y facilidad de uso que ofrece Cypress, es de esperar la popularidad que ha ganado desde su creación.

Otra característica interesante de Cypress es que este framework ejecuta la lógica de nuestros tests en el mismo ciclo de ejecución que la aplicación. Por debajo de Cypress se ejecuta un proceso de NodeJS que responde a los eventos de nuestra aplicación en tiempo real, y todo sin la necesidad de usar WebDriver para la ejecución de nuestras pruebas.

Cypress también nos facilita el trabajo a la hora de desarrollar los tests, ya que sólo es necesario tener conocimientos básicos de JavaScript para poder empezar. También se utilizan aserciones de otros frameworks de testing conocidos como Chai y Mocha.

Y por supuesto, otro de los motivos destacados para usar Cypress es poder disponer de su dashboard, que no es más que una interfaz gráfica donde podemos ver el proceso y ejecución de nuestros tests en tiempo real como si estuviéramos en la piel del usuario, de modo que podemos debugar y tener un visionado directo de los errores aparecidos en nuestras pruebas.

Características relevantes de Cypress

Cypress posee muchas características que son ventajosas con respecto a otros frameworks, y que nos puede ayudar a tomar la decisión de usarlo como nuestra herramienta de pruebas E2E en proyectos web.

1. Estado actual del framework y curva de aprendizaje

Cypress es un framework todo-en-uno actual y moderno, que dispone de buena documentación, una comunidad activa y continuas actualizaciones.

Ofrece una rápida puesta a punto del framework en nuestro proyecto, gracias a que la instalación es rápida y apenas requiere configuración. Las pruebas se escriben en JavaScript y la librería de Cypress dispone de comandos descriptivos y concisos.

Todo esto contribuye a una curva de aprendizaje llana, tanto para el equipo de desarrollo como para el equipo de QA.

2. Integración (o no) con otras tecnologías

Cypress no requiere de la integración de Selenium, ya que dispone de una arquitectura que parte de cero. En general tampoco necesita integrarse con otras librerías y frameworks externos, pero podemos hacerlo si queremos extender la funcionalidad del framework con tecnologías conocidas como Mocha, Chai o jQuery.

También funciona con cualquier librería o framework basado en JavaScript que corra en un navegador.

3. Interacción con los navegadores

Con Cypress no sería necesaria la instalación de un navegador gracias al navegador headless (sin interfaz gráfica), lo cual permite ejecuciones más rápidas y en menor tiempo. Gracias a esto, no sería necesario tener un navegador instalado para correr las pruebas E2E por Integración Contínua.

Por otro lado, no necesitamos ejecutar un WebDriver en Cypress, ya que nuestras pruebas se ejecutan dentro de un navegador a través de un proceso de NodeJS.

4. Esperas automáticas

Al usar Cypress no es necesario añadir esperas arbitrarias entre comandos y aserciones ya que éstas se hacen automáticamente, por lo que no es necesario utilizar wait y async en nuestras pruebas.

5. Dashboard útil y sencillo

Cypress dispone de un dashboard fácil de usar e intuitivo con la que debugar e interactuar entre los pasos de nuestros tests.

El dashboard nos ofrece dinamismo ya que no es necesario relanzar los tests, los cambios se ejecutan automáticamente y se reflejan al instante en cuanto guardamos el los avances de nuestro fichero.

6. Reporting legible y versátil

El resultado de los tests por consola y dashboard en Cypress es muy descriptivo. Además, hay muchas opciones para reportar los resultados de nuestros tests, así como la posibilidad de generar de capturas de pantalla y grabar vídeos de manera sencilla.

Cypress en WATA Factory

En WATA Factory ponemos el foco en asegurar la calidad de nuestro software, por eso consideramos fundamental hacer un buen estudio de las herramientas de testing que empleamos en nuestros proyectos, y consideramos que incorporar Cypress es una actual y óptima elección para testear nuestras aplicaciones web basadas en JavaScript.

The post Automatización de pruebas E2E con Cypress: una solución elegante y accesible appeared first on WATA Factory.

Por tanto, el uso de soluciones y herramientas para la gestión de pruebas es crucial para la creación de planes y estrategias de testing para nuestro software.

En WATA Factory, Xray nos proporciona las herramientas óptimas para estructurar, organizar y reportar la ejecución de pruebas manuales y automáticas en nuestros sistemas.

¿Qué es Xray for Jira?

Xray es un add-on de Jira que nos ayuda a seguir todo el ciclo de vida de testing: planificación, diseño, ejecución y generación de reportes. Todo ello con la generación de gráficos e informes muy detallados como resultado. Gracias a esta solución, los managers y testers pueden mejorar la gestión de los proyectos (o evolución de productos) y su flujo de trabajo al verificar el estado de los requisitos, y el progreso de las ejecuciones de las pruebas.

La integración de Xray con Jira nos permite indexar pruebas en tiempo real y tomar el control de todo el proceso de testing para obtener una cobertura total, detectando problemas rápidamente. Además, Xray es compatible con la metodología BDD y la integración continua (CI) a través de tecnologías como Cucumber y Jenkins.

¿Qué tipos de issues nos proporciona Xray?

Cuando integramos Xray en Jira se nos abre la posibilidad de crear nuevos tipos de issues, con los cuales podemos definir las fases principales del ciclo de vida del testing.

Dependiendo de la fase del plan de pruebas en la que nos encontremos, podemos usar los siguientes tipos de issues para testing:

Test Planning

• Test Plan. Permite tener una mejor gestión de nuestras pruebas y nos proporciona una tabla que muestra todas las pruebas añadidas al test plan.

Test Designing

• Precondition. Ayuda a especificar las condiciones que deben cumplirse para poder ejecutar una prueba.
• Test. Se trata de la issue principal para crear nuestras pruebas como una secuencia de pasos, junto a las condiciones, inputs y resultado esperado de la prueba.
• Test Set. Permite organizar un conjunto de pruebas.

Test Execution and Reporting

• Test execution. Esta issue posibilita la monitorización de una colección de pruebas para verificar si dichas pruebas están funcionando como se espera, en un determinado contexto y entorno. Además, la ejecución de las pruebas a través de esta issue genera los reportes de las mismas para mostrar la cobertura de requisitos de nuestro proyecto.

¿Cómo usar Xray?

Para llevar a cabo el proceso de creación de un entorno de testing para nuestro proyecto con Xray, lo usual es seguir los siguientes pasos:

1. Especificación de las pruebas

Xray nos permite crear tres tipos diferentes de pruebas: Manual, Generic y Cucumber.

Las pruebas de tipo Manual en Xray son aquellas que nos permiten definir manualmente la lista de pasos, escribir una descripción de la prueba, especificar la versión del software y reportar los resultados.

La creación de pruebas automáticas en Xray se puede realizar con pruebas de tipo Generic y Cucumber.

Mientras que las de tipo Generic nos permiten crear pruebas no estructuradas y sin pasos, las pruebas de tipo Cucumber se pueden definir de un modo comprensible tanto para el equipo técnico como para la parte de negocio, basándose en el desarrollo guiado por el comportamiento (BDD) a través del lenguaje Gherkin.

Cabe destacar que las pruebas de tipo Generic también pueden utilizarse para pruebas manuales (como por ejemplo en las pruebas exploratorias).

2. Organización de las pruebas

La organización de las pruebas es un paso importante a la hora de gestionar el entorno de testing de nuestro proyecto, ya que el número de pruebas tiende a crecer considerablemente. Una buena organización nos permitirá encontrar cada prueba de forma eficiente.

Con Xray podemos organizar nuestras pruebas con la issue Test Set y/o el uso de los Test Repository.

La issue Test Set permite crear listas de pruebas agrupadas según una lógica, y que podemos utilizar como base para la creación de Test Executions o Test Plans. Podemos realizar múltiples combinaciones de Test Sets en función de las necesidades del entorno de testing de nuestro proyecto.

El uso del Test Repository de Xray nos ayuda a organizar nuestras pruebas en base a una estructura jerárquica de carpetas y subcarpetas en forma de árbol, proporcionando una mejor visibilidad de nuestras pruebas y sus ejecuciones.

3. Planificación de las pruebas

La fase de planificación de pruebas es crucial para definir una buena estrategia de pruebas en nuestro proyecto en base a ciertos aspectos, tales como los requisitos que queremos validar y cómo validarlos, los tipos de pruebas que se van a desarrollar, las asignaciones de recursos o el plan de ejecución.

Para ello, Xray nos permite utilizar la issue Test Plan, en la que podemos seleccionar todas las pruebas que queremos ubicar en un determinado plan. Esta issue nos proporciona una tabla que muestra las pruebas asociadas al plan y sus ejecuciones.

4. Ejecución de las pruebas

Una vez que tenemos definidas nuestras pruebas y conjuntos de pruebas, podemos llevar a cabo la ejecución de las mismas. La issue Test Execution de Xray monitoriza y verifica si las pruebas que han sido seleccionadas para ser ejecutadas han pasado o no, y de darse el primer caso, se validará la ejecución.

El resultado de la ejecución nos informa del progreso de la misma por cada prueba superada, fallida o en espera de ser ejecutada. Cada prueba tiene sus propios detalles de ejecución, lo que facilita el seguimiento del progreso y los resultados de la ejecución.

En el caso de las pruebas manuales, una vez han sido ejecutadas en el entorno correspondiente, se definirá el estado de la ejecución manualmente en el Test Execution.

Por otro lado, si la ejecución de las pruebas automáticas se realiza por Integración Continua (CI), los Test Executions se generarán automáticamente con los resultados de las pruebas.

5. Análisis de las ejecuciones de las pruebas

Xray nos proporciona un Dashboard intuitivo y descriptivo para analizar y evaluar los resultados de las pruebas. Los Test Executions generan automáticamente estadísticas y diagramas que nos muestran un resumen detallado de las pruebas que han pasado y han fallado en nuestro proyecto.

Esto permite a desarrolladores y testers examinar con precisión la ejecución de nuestras pruebas y monitorizar la cobertura de nuestro entorno de testing.

Por otro lado, el Dashboard de Xray es una forma ideal de presentar el estado del proyecto a nuestros clientes, con el fin de fomentar una comunicación y cooperación transparente y de confianza.

Xray en WATA Factory

En WATA Factory definimos nuestros entornos de testing en torno a las herramientas y soluciones proporcionadas por Xray for Jira, con el fin de ofrecer software de calidad basado en estrategias de testing automatizadas, organizadas y robustas.

The post Xray for Jira: Cómo estructurar y organizar nuestro entorno de testing eficientemente appeared first on WATA Factory.