Avant de se lancer dans un chantier d’automatisation, il est recommandé d’éprouver la faisabilité et l’opportunité du projet afin d’évaluer la pertinence des outils dans le contexte de l’entreprise, le patrimoine de tests à automatiser et les gains du projet. Cette étude passe notamment par ce qu’on appelle une preuve de concept, ou un POC (Proof of concept) d’automatisation.
Cet article reprend les grandes étapes de l’étude préalable à l’automatisation et répond plus particulièrement aux problématiques éprouvées par le POC lors de la mise en place d’un chantier d’automatisation de test : à quelle étape le POC intervient dans le projet d’automatisation, quels en sont les enjeux, le processus et les bonnes pratiques.
1. Définition d'un POC d'automatisation
2. Enjeux d'un POC d'automatisation
3. Restitution des résultats aux décideurs
4. Les bonnes pratiques pour la réussite d'un POC
Définition d’un POC d'automatisation
Le POC d’automatisation des tests est une des étapes préliminaires à la mise en place d'un projet d'automatisation des tests.
Dans le cycle d’achat, le POC permet à l’entreprise de mieux se focaliser sur les sujets importants, de créer les conditions pour une meilleure prise en main des utilisateurs, d’initier le changement, d’implémenter les bonnes pratiques et de poser les bases d’un déploiement réussi.
Il se focalise de manière plus pratique aux problématiques liées au contexte du client, permettant ainsi de mesurer plus efficacement l’opportunité d’un projet d’industrialisation en fonction du contexte organisationnel, technique et applicatif.
Enjeux d’un POC d'automatisation
Le processus de développement des tests automatisés est un chantier fastidieux qui requiert de l’investissement et de la rigueur pour les équipes de développement. Une étude préalable est nécessaire afin de planifier la stratégie à mettre en place.
Le POC permet d’adresser tout ou partie des principales problématiques liées à la mise en place d’un projet d’automatisation :
1) La stratégie d’automatisation
Objectif - Étudier l’éligibilité du patrimoine de test à l'automatisation, planifier la réorganisation des équipes, la montée en compétence, prévoir l’intervention d’experts tiers…
Il est tout d’abord primordial de prendre connaissance du contexte et d’analyser le référentiel de test existant pour vérifier que le patrimoine de tests existant est adéquat aux besoins de l’automatisation (granularité des cas de test, catégorisation des cas de test (TNR, intégration)).
Élaborer une stratégie d’automatisation permettra également d'identifier les pré-requis et les impacts liés à la mise en œuvre de l’automatisation (plan de remédiation sur le patrimoine de tests, définition des compétences nécessaires à l’automatisation, organisation cible, environnement de développement, etc.)
2) L’étude de faisabilité technique
Objectif - Faire les bons choix techniques
Cette étape vérifie que les tests sont éligibles techniquement à l’automatisation (choix des automates compatibles pour interagir avec le SUT, utilisation de proxy, etc.).
Cela consiste à prendre un échantillon représentatif des cas de test repérés et à réaliser les scripts automatiques associés. L’étude permet d’évaluer la complexité technique de mise en œuvre (installation d’un environnement dédié, scripting, préparation des jeux de données, paramétrage, variabilité, orchestration, enjeux de sécurité) et de calculer le retour sur investissement pour l’échantillon de référence.
3) L'étude d’opportunité
Objectif - Calculer le ROI, les gains en termes de qualité et de délai dans le cycle de développement, budgétiser l’investissement en matériel et ressources humaines…
L’étude d’opportunité permet de calculer les différents gains auxquels conduit l’automatisation des tests sur le périmètre choisi en termes de :
Temps - Délai de mise en production
Qualité - Couverture de test, volume d’exécution de test, tests les plus opportuns à automatiser (stabilité fonctionnelle, technique, temps d’exécution manuel vs automatique, etc.)
Financier - ROI
Restitution des résultats aux décideurs
La restitution des résultats d’un POC d’automatisation permet de sensibiliser les décideurs et de soulever certains points de vigilance avant toute prise de décision finale. Les consultants responsables d’un POC d’automatisation ont également pour mission de conseiller le client et de l’accompagner dans sa prise de décision.
La restitution des résultats se fait la plupart du temps lors d'un rendez-vous en présentiel. Elle comprend également la livraison d’un certain nombre de documents, tels que l’étude d’opportunité, la matrice de sélection des tests à automatiser, les scripts automatisés et le bilan de l’étude de faisabilité.
La restitution permet aussi de proposer un plan d’automatisation.
Les bonnes pratiques pour la réussite d’un POC
Fournir au client les pré-requis pour un bon POC (préparation de l’environnement, système sous test dédié à l’automatisation (différent de l’environnement de recette)).
Bien définir le périmètre du POC.
Répondre aux problématiques posées à l’initiation du projet.
S’il est validé, un POC d’automatisation de test est suivi de la mise en place des différentes étapes du projet d’automatisation :
1. Définition de l’architecture de la plateforme d’automatisation
2. Mise en place de l’outillage d’automatisation dans une plateforme dédiée
3. Définition du cycle d’automatisation
4. Adaptation de l’organisation des équipes aux nouveaux processus
5. Formation des utilisateurs et de l’ensemble des acteurs aux outils et nouveaux processus
6. Lancement du projet
Le temps imparti aux différentes étapes d’un POC d’automatisation dépend évidemment de l’organisation des équipes internes, des outils utilisés et du patrimoine existant.
Il existe une estimation pour le POC d’automatisation lorsque l’architecture d’exécution est basée sur l'outil d’industrialisation des tests fonctionnels proposé par Henix pour les chantiers d’automatisation de ses clients.
Compréhension du contexte, des enjeux et des besoins : approximativement 2 jours.
Étude de faisabilité technique : approximativement 6 jours. En moyenne, 5 tests automatisés sont réalisés pendant l’étude de faisabilité. Ce peut être des tests de Batch, des tests de Web services et/ou des tests d'IHM Web.
Étude d’opportunité : approximativement 7 jours.
Un POC Squash TA (Test Automation) est composé des 3 phases décrites précédemment. Il est pris en charge par un consultant Henix et dure approximativement 20 jours.
Architecture d'un POC, illustrant l'interface avec les différentes briques de la suite Squash :
