Distribuer

Guide de test d’application VR : automatisation et performance

Les tests, l’automatisation et les performances sont un ensemble de domaines essentiels pour minimiser le temps d’itération et améliorer l’efficacité des équipes de développement. Chacun de ces concepts se chevauche d’un certain nombre de façons tout au long du cycle de vie du développement. À son tour, le présent guide couvre à la fois des concepts généraux et des domaines spécifiques d’opportunité pour améliorer votre processus de développement VR.

Scénarios de test : introduction

Avant de décrire les recommandations et les considérations pour les tests de performance et leur automatisation, nous devons vérifier que vous possédez les connaissances fondamentales dans le cadre des scénarios suivants :

Tests unitaires : plus petite unité de code. Il peut s’agir d’un objet de jeu isolé, d’une fonction spécifique, d’une méthode, etc. Les tests unitaires se concentrent sur une partie très spécifique de votre base de code. Ils représentent donc souvent le point de départ pour identifier des possibilités d’automatisation, étant donné qu’ils constituent la forme la plus élémentaire d’un script de test.

Tests d’intégration : deux modules ou plus du système combinés et testés (par exemple : tester un environnement complet, une scène, une interaction spécifique, etc.). Ceux-ci doivent être construits et intégrés dans votre moteur, et inclure plusieurs systèmes. Par conséquent, l’automatisation de ces tests nécessitera plus de compétences et de ressources que pour les tests unitaires.

Tests de bout en bout/tests de QA : généralement effectués manuellement, ils font historiquement référence à une lecture complète de votre application, ou à des niveaux/interactions spécifiques de bout en bout. Le QA est généralement pris en charge par une équipe dédiée interne ou tierce et comprend la documentation d’un plan de test complet. Il est possible d’automatiser ces tests, mais gardez à l’esprit que l’automatisation de certaines parties du processus de QA peut nécessiter un haut niveau de compétences et de ressources que vous pourriez vouloir mettre à profit ailleurs.

Accélérer le temps d’itération de l’application Quest avec Link

Pour tester le gameplay et le style visuel Quest, assurez-vous de déployer votre application Quest avec un câble Link USB 3.0 conforme aux spécifications recommandées⁠. Connectez-vous à votre PC pour gagner du temps lorsque vous testez certains éléments de votre application Quest, plutôt que d’utiliser une connexion Wi-Fi locale pour déployer votre version à partir d’un PC.

Tester votre application Quest en mode autonome

Notez toutefois que le mode PC ne reflète pas la véritable expérience autonome. Il est déconseillé de tester les performances ou tout élément de votre application en lien avec le processeur/la carte graphique, car cela peut entraîner des défis majeurs, des bugs cachés et des problèmes de performance importants. Le déploiement et les tests sur votre Quest devraient être effectués régulièrement tout au long du processus de test.

Comment et quand donner la priorité à l’automatisation

L’automatisation du processus de test peut se révéler très utile, surtout à long terme. Toutefois, il y a un certain nombre d’éléments que vous devriez prendre en considération avant de commencer à vous concentrer sur l’automatisation de l’écriture de scripts et les exigences techniques qui vont de pair avec l’automatisation. Vous trouverez ci-dessous quelques facteurs clés à prendre en compte lors de l’élaboration de votre stratégie de test et d’automatisation :

Prenez en considération le temps et les compétences : veillez à effectuer une analyse du rapport coûts-bénéfices de l’écriture d’un script de test en bonne et due forme contrairement à l’utilisation de tests manuels. Plus le test est compliqué, plus l’écriture du script et sa maintenance demanderont du temps et des efforts.

Tout compte fait, l’automatisation est recommandée : ceci étant dit, si vous avez la capacité d’automatiser un test, qu’il s’agisse d’un test aussi petit qu’un test de démarrage, d’une interaction complexe ou d’un environnement complet, faites-le. En effet, l’automatisation accélérera radicalement le temps d’itération et minimisera le nombre de bugs/problèmes qui surviennent dans votre application au fil du temps.

Automatisez des éléments répétés et précis : automatisez les parties de votre application qui sont reproductibles et généralement moins complexes. Vous bénéficierez d’une efficacité optimale et du résultat attendu.

Ciblez les opportunités de cas limites : utilisez l’automatisation dans les cas inhabituels où un test manuel unique ou des flux d’utilisateurs ou d’utilisatrices pouvant être considérés comme « anormaux » nécessiteraient un travail logistique considérable.

Recommandations en matière de test et d’automatisation

Après avoir décidé quel type de tests vous cherchez à automatiser et où concentrer vos ressources, utilisez les recommandations suivantes pour avancer dans votre processus d’automatisation des tests.

S’inspirer des scripts de test pour l’automatisation : comme votre équipe utilise probablement déjà des scripts de test pour piloter votre processus de QA, cela peut être un moyen facile de trouver les parties reproductibles de votre processus de développement qui pourraient être automatisées avec un minimum d’efforts.

Utiliser le contrôle source et l’intégration continue : si vous cherchez à publier une application VR Meta Quest entièrement développée, il est recommandé d’utiliser un système intégrant un contrôle source et une intégration continue. Ces systèmes se présentent sous de nombreuses formes et tailles, et il est recommandé de développer le vôtre en fonction de la taille de votre équipe et du type d’application que vous concevez. Pour les systèmes de contrôle source, nous vous recommandons de jeter un œil à Git et Mercurial, ou encore Perforce si vous avez une application plus complexe. Pour les systèmes d’intégration continue, tournez-vous vers Jenkins, TeamCity ou GitLab.

Une version 2D de votre application recommandée : que vous automatisiez ou non les tests, assurez-vous d’inclure une version de votre application qui peut simplement être exécutée sur un écran 2D. Vous gagnerez beaucoup de temps pour tester certaines fonctionnalités, variables et propriétés, et accélérerez le processus de débogage.

Utiliser la télémétrie lorsque cela est possible : ce type de données peut être extrêmement puissant à long terme pour analyser ce qui a pu causer une erreur spécifique. Lorsque vous planifiez les données de télémétrie à consigner, pensez à l’expérience d’utilisation dans votre application ainsi qu’aux parcours d’utilisation à terminer pour réussir une partie.

Détecter rapidement les erreurs de version : en compilant le code et en exécutant la version des éléments sur votre système d’intégration continue, vous détecterez les erreurs dès qu’une modification est implémentée. Informez votre équipe de ces erreurs de manière proactive pour éviter les conflits et écarter les obstacles potentiels que ces problèmes pourraient engendrer.

Forte recommandation pour les tests de performance : l’automatisation sur l’appareil peut être particulièrement utile pour suivre les performances. De nouvelles modifications peuvent nuire involontairement aux performances, et il sera beaucoup plus facile de corriger un problème identifié au plus tôt et dont la cause est connue. Le suivi des performances au fil du temps permet également de garantir l’efficacité de vos mises à jour visant à optimiser les performances. Lisez ce qui suit pour plus d’informations sur le test de performance de votre application.

Déclencher des évènements sur l’appareil : déclenchez des évènements spécifiques sur le casque VR, par exemple « dire au personnage d’aller dans l’univers X et déplacer le personnage en position Y ». Examinez les caractéristiques de performance via ADB et veillez à effectuer certaines vérifications tout au long de l’évènement.

Test de performance et analyse : outils et considérations

Peu importe le type d’application, l’optimisation des performances est essentielle au succès de toute application ciblant des casques Meta Quest autonomes comme le Meta Quest et le Quest 2. Nous vous indiquons ci-dessous quelques considérations importantes à retenir lors de la planification du processus de développement en tenant compte de l’optimisation des performances.

Budget de performance : alors que vous faites en sorte que votre application VR corresponde à la fréquence d’images requise, il est recommandé d’envisager de documenter les différentes parties de votre système et le budget de performance que vous allez y consacrer. Cela vous aidera à assurer une communication claire et à établir des priorités tout au long du cycle de vie de développement.

KPI de performance : en plus de votre budget, il est également bon de définir des KPI pour les performances de votre application. Cela peut inclure des benchmarks spécifiques pour le lancement, le temps nécessaire pour une interaction spécifique, la réponse UI, la navigation entre les scènes, etc.

Gestion du thread : bien que cela soit considéré comme une décision architecturale, n’oubliez pas de placer les éléments critiques au premier plan, tandis que les éléments moins importants doivent intervenir sans bloquer le thread principal.

Outils de suivi des performances et d’analyse

Nous continuons à développer et à améliorer notre suite d’outils pour les équipes de développement qui vous permettront de surveiller, d’analyser et d’optimiser les performances de votre application. Vous trouverez ci-dessous quelques-uns de ces outils. Pour plus d’informations, vous pouvez également consulter la page Outils d’optimisation mobile.

OVR Metrics Tool : analysez votre application mobile à l’aide d’une superposition graphique en temps réel qui fournit des données sur l’application et l’appareil, telles que la fréquence d’images, la température, les valeurs de limitation du processeur/de la carte graphique, et bien plus encore. Consultez le Guide de définition des statistiques OVR Metrics Tool pour en savoir plus sur chaque statistique présentée dans l’outil.

Récupération des journaux VrApi avec Logcat : récupérez les journaux du système avec cet outil de ligne de commande du SDK Android. Utilisez Logcat pour récupérer les journaux Meta Quest VrApi afin d’examiner les performances de l’application et les paramètres de l’appareil. Consultez le Guide des définitions des statistiques VrApi pour en savoir plus sur chaque statistique présentée dans l’outil.

ovrgpuprofiler : accédez aux indicateurs du pipeline du processeur en temps réel et au traçage des étapes de rendu avec cet outil d’interface de ligne de commande détaillé. ovrgpuprofiler est inclus dans le Runtime de Meta Quest et de Quest 2 et s’exécute sur chaque appareil.

Perfetto est un outil de suivi des performances qui ne dépend pas d’un moteur en particulier. Il présente quelques avantages majeurs par rapport aux profileurs à moteur intégré, tels que l’inclusion d’une vue élargie des processus système et d’indicateurs supplémentaires sur la même chronologie que le profil de performances de l’application. Il cartographie directement les fonctions qui font appel à OVRPlugin et qui communiquent avec le système d’exploitation et obtient des informations sur les différents compteurs et indicateurs GPU, afin de mieux isoler les problèmes de performance. Il peut aussi générer des traces d’étape de rendu GPU.

RenderDoc : outil de débogage graphique prenant en charge plusieurs API graphiques et plusieurs plateformes de développement. C’est une solution idéale pour l’analyse et la fréquence d’images.

RenderDoc pour Oculus : branche de RenderDoc détenue par Meta Quest et destinée à une utilisation avec la plateforme Quest. Outre les capacités habituelles de débogage graphique de RenderDoc, cette version donne accès à un profilage de carte graphique détaillé, en particulier des données de rendu de vignette du Meta Quest.

Profileur Unity : déployez et exécutez cet outil dans votre Meta Quest pour recueillir davantage d’informations de performance directement issues de votre environnement Unity. Consultez la documentation officielle du profileur Unity⁠ pour plus de détails.

Démarrer avec les tests basés sur les appareils

Que vous disposiez de quelques casques pour réaliser des tests automatisés en continu, ou que vous souhaitiez faire preuve de créativité en utilisant un casque de rechange pour effectuer des tests pendant la nuit, la mise en place d’un laboratoire d’appareils, quelle qu’en soit la taille, peut vous aider à identifier des bugs et des problèmes de performance au plus tôt dans le processus de développement. Vous trouverez ci-dessous quelques-unes des considérations et des recommandations relatives à l’utilisation des appareils de rechange pour les tests automatisés :

Tout dépend de vos ressources de développement : bien que vous aurez besoin du matériel pour vous lancer, sachez qu’avant tout, votre capacité à gérer un laboratoire d’appareils, quel qu’il soit, dépendra en fin de compte de votre équipe d’ingénierie et de sa capacité à écrire des scripts de tests automatisés pour gagner du temps et ménager ses efforts à chaque itération.

Plus d’automatisation = plus d’appareils : une fois que vous avez écrit quelques scripts d’automatisation, commencez à les tester sur les appareils disponibles pendant les temps d’arrêt, pendant la nuit, etc. Il s’agit d’un processus itératif. Une fois que vous avez écrit suffisamment de scripts d’automatisation, vous pouvez commencer à justifier l’utilisation de matériel supplémentaire comme unités de test dédiées.

N’oubliez pas de prendre en considération les ressources post-test : lorsque vous commencez à justifier l’usage de matériel dédié aux tests, rappelez-vous que vous aurez besoin des membres de l’équipe pour analyser et documenter ces résultats. Si vous n’avez pas ces ressources à disposition, avoir du matériel dédié n’est peut-être pas utile.

Tests 2D : dans la mesure où vous avez peut-être plus de PC et d’ordinateurs portables disponibles que de casques Meta Quest, vous pouvez toujours commencer par exécuter le script d’automatisation sur des appareils 2D. Ceux-ci sont plus que suffisants pour tester la logique de jeu, l’aspect et la perception (textures initiales), le jeu scénarisé, etc.

Autres ressources pour les tests et l’automatisation

Bien que les ressources utiles pour mener à bien les tests, automatiser, optimiser les performances et développer des outils ne manquent pas pour mener à bien ce qui précède, voici quelques éléments essentiels à prendre en compte pour commencer.

Documentation du Test Runner d’Unity⁠ : l’outil Test Runner d’Unity peut se révéler un véritable atout pour votre boîte à outils de test. Il est particulièrement utile pour gérer et exécuter des tests unitaires sur des éléments qu’il ne serait pas possible de tester autrement lors de l’exécution de l’application.

[Vidéo] Unity + Meta Quest Courseware - Testing Unit⁠ : dans cette unité du tutoriel vidéo gratuit Meta Quest + Unity, l’équipe fournit un certain nombre de statistiques et de recommandations pour les tests d’applications VR.

Guide de test de jeu VR Meta Quest : assurez-vous de relire notre guide abordant les nombreuses facettes pour tester un jeu VR, y compris la planification/recherche, l’écriture de scripts, la facilitation à distance et plus encore.

[Vidéo] Automated Testing at Scale in Sea of Thieves: Unreal Fest Europe 2019⁠ : présentation instructive qui fournit un certain nombre de statistiques fondamentales pour l’automatisation des tests de jeu, ainsi que des techniques d’implémentation.