La version 2022-03 de Squash AUTOM et Squash DEVOPS est disponible.
Squash DEVOPS offre désormais la possibilité d’utiliser l’orchestrateur Squash comme une quality gate dans un pipeline CI/CD : l’échec de n’importe quel test dans la suite de tests automatisés arrêtera le pipeline.
Une fois qu’un DevOps a mis en place la quality gate dans le pipeline, cette fonctionnalité donne le contrôle à l’équipe de test pour définir et maintenir un plan de test automatisé qui sera exécuté chaque fois que le pipeline est déclenché. Cela peut être pour vérifier que toute pull request/merge request n’introduit pas une régression, pour exécuter quelques tests UI de longue durée chaque nuit, pour exécuter un plan complet de tests de non-régression sur une version candidate…
Les versions futures de Squash DEVOPS ajouteront la possibilité de définir les critères de succès/échec (par exemple, ne pas autoriser d’erreurs pour les tests de Web service, mais autoriser 5% d’échec sur les tests UI, cela peut être utile dans le cas de tests dits « flaky »*).
Les détails techniques sont disponibles dans la documentation : https://opentestfactory.org/tools/running-commands.html#quality-gate-commands.
Quelques fonctionnalités mineures ont aussi été ajoutées :
plus d’information sur le fichier de sortie de « opentf-ctl get workflow » et la possibilité de formater ce fichier de sortie en JSON ou YAML
améliorer le reporting pour les tests en Robot Framework
support de la dernière version Agilitest (pour les utilisateurs ayant la licence Premium de Squash AUTOM)
possibilité d’utiliser les navigateurs définis par défaut dans la collection Katalon (cela requiert aussi la licence Premium de Squash AUTOM)
A titre d’information, le code de l’OpenTestFactory, c’est-à-dire les parties coeurs de l’orchestrateur qu’Henix a décidé de proposer en open source, sont maintenant entièrement disponibles sur https://gitlab.com/opentestfactory.
OpenTestFactory peut être utilisée pour orchestrer quelques tests écrits utilisant certaines technologies de test gratuites (JUnit, SoapUI, Cypress…), mais ces tests ne peuvent pas être intégrés à Squash TM. Encore plus important, le code source peut être utilisé comme un exemple par les utilisateurs de Squash AUTOM / DEVOPS qui veulent intégrer leur propre technologie de test propriétaire à la suite Squash. Il est aussi, évidemment, possible de déléguer cette intégration à Henix.
Pour rappel, de nouvelles versions de Squash AUTOM et DEVOPS sont publiées chaque mois (sauf en août). La version 2022-04 sera une version de maintenance avec des améliorations mineures et des corrections de bugs.
Chaque version d'AUTOM/DEVOPS contient plusieurs composants ayant chacun leur propre numéro de version. Vous pouvez les consulter dans nos release notes version par version.
*Un test "flaky" est un test qui présente parfois un résultat en réussite, parfois un résultat en échec, pour le même code testé. Il existe de nombreuses causes racines pour lesquelles les tests peuvent renvoyer des résultats instables, notamment les situations de compétition (multithreading, asynchronisme…), le recours à des comportements non déterministes ou indéfinis, des problèmes d'infrastructure, un code tiers instable …