La qualité audio et vidéo est au cœur de l’expérience des réunions virtuelles. Lorsque l’une ou l’autre est médiocre, voire inexistante, l’expérience utilisateur s’en trouve dégradée, ce qui est source de frustration. Chez Zoom, nous cherchons constamment à savoir comment Zoom Meetings se positionne par rapport aux autres solutions de réunion. Nous avons donc chargé TestDevLab de comparer la qualité audio et vidéo dans diverses conditions et pour différents types d’appels pour les fournisseurs suivants :
Les conclusions présentées dans ce rapport reflètent les résultats des tests effectués par TestDevLab en avril 2024.
TestDevLab (TDL) propose des services de test et d’assurance qualité pour les applications mobiles, Web et de bureau, ainsi que le développement d’outils de test personnalisés. L’entreprise est spécialisée dans les tests logiciels et l’assurance qualité, et développe des solutions personnalisées avancées pour les tests de sécurité, de batterie et d’utilisation des données des applications mobiles. Elle propose également des évaluations de la qualité audio et vidéo pour les applications VoIP ou de communication, des produits pour les API backend automatisées, ainsi que des tests de charge et de performances Web.
L’équipe TestDevLab est composée de plus de 500 ingénieurs hautement expérimentés qui se concentrent sur les tests et le développement logiciel. La majorité de leur personnel est certifié par l’International Software Testing Qualifications Board (ISTQB), ce qui leur confère un haut niveau d’expertise dans les tests logiciels conformément aux normes du secteur et à la qualité de service.
Afin de garantir l’équité des tests pour tous les fournisseurs, tous les tests ont été réalisés à l’aide des équipements et des comptes TestDevLab. De plus, les comptes individuels des fournisseurs ont été conservés dans leur configuration par défaut, à l’exception de l’activation d’une résolution maximale HD (1080p) pour les fournisseurs qui limitent par défaut la résolution vidéo.
Les scénarios de test comprenaient un appareil « récepteur », un appareil « émetteur » et des appareils supplémentaires qui jouaient le rôle de participants supplémentaires. Tous les appareils étaient connectés au même appel vidéo. En fonction du scénario de test, la configuration de l’appel et du réseau a été adaptée afin de reproduire les paramètres de test requis.
Afin d’obtenir une vue d’ensemble de la qualité audio et vidéo dans Meetings, nous avons demandé à TDL de tester les scénarios de réunion les plus courants à l’aide d’équipements couramment utilisés.
Scénarios de réseau variables
Pour ces scénarios, nous avons voulu tester la manière dont les différentes plateformes réagissent dans diverses conditions réseau à l’aide de quelques plateformes informatiques courantes. Pour atteindre cet objectif, TDL a utilisé quatre équipements courants : des ordinateurs MacBook Pro, des ordinateurs Windows, des iPhone et des appareils Android. Nous avons configuré le type de réunion le plus courant avec trois participants, aucun contenu partagé et un paramètre d’affichage du présentateur/intervenant permettant d’optimiser la résolution vidéo.
Les scénarios réseau testés comprenaient :
Chaque appel a duré trois minutes et a été répété cinq fois. TDL a organisé 420 réunions avec tous les fournisseurs, toutes les variantes matérielles et toutes les conditions réseau.
Lorsque des restrictions étaient imposées à un appel, elles se limitaient à l’appareil testé agissant en tant que « récepteur ».
Scénarios de types d’appels variables
Pour ces scénarios, nous avons voulu tester les différents types d’appels et technologies utilisés par la plupart des utilisateurs. Le matériel utilisé se limitait à des ordinateurs MacBook Pro M1 et Windows. Les scénarios comprenaient des réunions de cinq et huit personnes organisées en mode galerie. TDL a testé des réunions avec uniquement des participants, des réunions avec partage de contenu et des réunions où les participants activaient des arrière-plans virtuels.
Dans tous les cas, le réseau est resté propre et sans restriction. Comme précédemment, chaque réunion a duré trois minutes et a été répétée cinq fois. Au total, TDL a organisé 240 réunions supplémentaires dans cette catégorie.
Afin d’obtenir une image complète de la qualité des réunions, nous avons demandé à TDL de recueillir des données dans quatre catégories principales liées à la qualité audio et vidéo, à l’utilisation du réseau et à l’utilisation des ressources. Les données ont été recueillies à chaque seconde de la réunion et enregistrées dans une base de données centralisée.
Qualité audio
Qualité vidéo
Utilisation des ressources
Utilisation du réseau
Certaines mesures ne peuvent pas être capturées sur toutes les plateformes. Par exemple, les mesures d’utilisation des ressources ne peuvent pas toutes être capturées sur les appareils mobiles. TDL optimise la capture des mesures dans chaque scénario d’appel.
Afin de simplifier la présentation de la grande quantité d’informations recueillies par TDL, nous avons noté chacun des indicateurs ci-dessus sur une échelle de 1 à 4, où 1 correspond à la meilleure note et 4 à la moins bonne. Nous avons ensuite additionné les notes obtenues pour les indicateurs dans les quatre catégories. Les totaux les plus bas représentent les meilleures notes de qualité dans chaque catégorie.
Cette section examine les résultats de manière générale, en appliquant différents filtres afin de se concentrer sur différentes catégories d’appels. Plus loin, nous nous intéresserons à des scénarios d’appels individuels et fournirons des informations plus détaillées sur le comportement des différentes plateformes dans ces scénarios. Pour plus d’informations, consultez la section « Résultats détaillés ».
Les résultats ci-dessus incluent les scores des 660 réunions, tous appareils et scénarios réseau confondus :
Le score global ci-dessus représente l’ensemble des tests TDL, mais en réalité, la plupart des utilisateurs habituels ne rencontreront pas la plupart des limitations réseau simulées par TDL. Les résultats ci-dessous filtrent tous les tests qui présentaient des limitations réseau, ne conservant que les tests réseau sans limitation.
En ce qui concerne les réunions sur un réseau propre, Zoom (25) obtient un score encore meilleur, Google Meet (37) arrive en deuxième position, tandis que Microsoft Teams (39) et Cisco Webex (39) occupent les dernières places.
Scénarios utilisant uniquement des appareils de bureau
Bien que de nombreuses personnes utilisent des appareils mobiles pour se connecter aux réunions, environ 66 % des participants Zoom se connectent en moyenne à partir d’ordinateurs de bureau (selon les statistiques internes de Zoom). Lorsque l’on filtre les données pour ne conserver que les ordinateurs de bureau et les réunions sans problèmes de réseau, l’avance de Zoom augmente encore davantage, et l’entreprise arrive en tête pour les quatre indicateurs.
Zoom surpasse les autres services de réunion testés dans toutes les catégories évaluées par TDL dans des conditions idéales et avec les appareils les plus couramment utilisés. Comme les conditions ne sont pas toujours idéales, il est important d’évaluer les situations dans lesquelles les utilisateurs peuvent rencontrer des problèmes de réseau.
Les fournisseurs peuvent s’adapter automatiquement aux conditions changeantes du réseau afin de maintenir une qualité audio et vidéo optimale. Le protocole de chaque fournisseur s’adapte différemment, ce qui peut modifier la résolution vidéo, la qualité de compression, le nombre d’images par seconde et d’autres facteurs. L’expérience utilisateur globale lors d’un appel vidéo dépend de la capacité du fournisseur à optimiser ces paramètres en fonction des fluctuations des conditions du réseau.
TestDevLab a recueilli plusieurs indicateurs afin de mesurer l’expérience utilisateur globale lors d’un appel. Les deux indicateurs les plus significatifs sont le VMAF, qui mesure la qualité perçue de l’image, et le nombre d’images par seconde (FPS), qui indique la fluidité de la vidéo.
Après avoir analysé les résultats combinés de 660 tests, TDL a constaté que Google Meet offre la fréquence d’images moyenne la plus élevée, avec 20 images par seconde (fps). En comparaison, Microsoft Teams et Zoom affichent tous deux une moyenne de 17 fps, tandis que Webex affiche une moyenne de 16 fps.
Cependant, la fréquence d’images plus élevée de Google Meet s’accompagne d’une perte de qualité vidéo. Selon le classement VMAF (Video Multimethod Assessment Fusion), Zoom arrive en tête en termes de qualité avec une note moyenne de 73,2. Microsoft Teams suit avec une note de 63,5, Google Meet obtient 59,5 et Webex affiche une note moyenne de 58,9.
Qualité vidéo en cas de perte de paquets
Le test de perte de paquets réalisé par TestDevLab comprenait trois étapes.
Comme le montrent les graphiques ci-dessous :
Test de récupération du réseau
Dans le test de récupération du réseau, TDL a commencé le test avec un réseau propre.
Ce test a été conçu pour évaluer le comportement des plateformes testées lorsqu’un problème temporaire survient sur le réseau et la capacité de chaque plateforme à se rétablir lorsque le problème n’existe plus.
Les résultats des tests montrent que, bien que Zoom maintienne une vidéo de haute qualité, il lui faut environ 10 secondes pour réajuster ses paramètres de codec aux nouvelles conditions du réseau, ce qui se traduit par un taux de rafraîchissement très faible pendant plusieurs secondes. En termes de temps de récupération, Zoom se situe dans la moyenne, entre Webex, qui affiche un temps de récupération très faible, et Teams et Google, qui offrent une récupération rapide.
Test de réseau encombré
L’objectif du test de réseau encombré était d’évaluer le comportement des plateformes testées sous différentes durées de congestion du réseau et leur capacité à maintenir leurs performances sur des réseaux présentant des pics de trafic intermittents.
Les résultats du test montrent que Zoom maintient la qualité d’image tout au long du test, tout en sacrifiant la fréquence d’images et le décalage vidéo pour s’adapter aux conditions changeantes du réseau. Il est à noter que Webex a complètement abandonné la vidéo à la fin du test.
Test de qualité avec arrière-plan virtuel
Dans nos scénarios de test, nous avons chargé TDL d’évaluer l’expérience utilisateur de la fonctionnalité d’arrière-plan virtuel. Cette fonctionnalité remplace l’arrière-plan réel de l’utilisateur par une image ou une vidéo, ce qui nécessite un traitement important pour générer une image composite de haute qualité.
Selon les résultats de TDL, Zoom offre la meilleure qualité d’image. Certains logiciels de réunion privilégient la qualité vidéo, d’autres la fréquence d’images. Selon le classement VMAF :
Ces résultats concordent avec les tests de qualité des arrière-plans virtuels internes réalisés par Zoom l’année dernière, qui sont présentés dans cette vidéo.
En outre, les tests effectués par TDL ont révélé que Zoom utilise le moins de ressources CPU et mémoire lorsqu’il utilise la fonctionnalité d’arrière-plan virtuel.
Les tests approfondis réalisés par TDL mettent en évidence des différences significatives en termes de performances entre Zoom, Microsoft Teams, Google Meet et Cisco Webex dans diverses conditions réseau et différents scénarios de réunion.
