Éliminer les distractions des cameramen grâce à l’IA pour améliorer les retransmissions de football en direct

Alors que l’industrie du sport améliore sans cesse l’expérience des spectateurs à domicile, certains problèmes restent non résolus. L’un de ces problèmes pour les fans de football est celui des caméramans qui apparaissent accidentellement dans les plans des autres lors des retransmissions en direct. Ces incidents non seulement nuisent aux moments critiques du match, mais peuvent également entraîner des pertes de revenus pour les diffuseurs en raison du mécontentement des téléspectateurs.

Pour résoudre ce problème, les chercheurs de l’Université de technologie de Kaunas (KTU) ont développé un système de bout en bout pour améliorer l’expérience visuelle en éliminant les distractions visuelles causées par le chevauchement des angles de caméra.

« Notre nouvelle invention est un algorithme adapté pour détecter les opérateurs vidéo », explique Rytis Maskeliūnas, professeur à la KTU, l’un des créateurs de l’innovation.

Serhii Postupaiev, un autre membre de l’équipe de recherche, souligne que la présence de cameramen dans le cadre est un problème fréquent dans les retransmissions de football en raison de la nature complexe de la couverture sportive en direct et des nombreuses caméras autour du stade.

« Le nombre de points de caméra dans les tournois prestigieux peut commencer à partir de neuf et de nombreuses vues superposées contribuent aux problèmes de distraction visuelle. Ces problèmes limitent considérablement l’équipe de caméramans, car ils doivent constamment filmer le jeu tout en évitant de se capturer les uns les autres, ce qui peut entraîner une perte de contexte dans certains moments de jeu ou rendre la diffusion moins dynamique et immersive », explique Postupaiev.

Éliminer les distractions visuelles

Pour résoudre ce problème et supprimer les objets indésirables lors d’une diffusion en direct, les scientifiques de KTU ont conçu et mis en œuvre un système de bout en bout.

Pour son fonctionnement, le modèle YOLOv8, un système de détection d’objets de pointe connu pour sa rapidité et sa précision, a été utilisé. YOLOv8, qui signifie « You Only Look Once », peut détecter et classer les objets dans les images en un seul passage, ce qui le rend idéal pour les événements en temps réel tels que les retransmissions de football en direct.

« Il fonctionne en divisant l’image en une grille et en prédisant les cadres de délimitation, les probabilités de classe et les polygones de segmentation pour chaque cellule de la grille. Cela lui permet d’identifier et de segmenter les caméramans », explique Serhii Postupaiev, récemment diplômé de la KTU avec un master en intelligence artificielle en informatique.

Pour former le modèle YOLOv8 à détecter et segmenter avec précision les cameramen pendant les matchs de football, un ensemble de données a dû être créé.

« J’ai créé cet ensemble de données pour inclure une gamme diversifiée de cameramen avec différentes tailles, formes et types d’équipements, capturés dans diverses conditions et à différentes étapes du jeu. Maintenant, YOLOv8 utilise cet ensemble de données pour identifier où se trouvent les cameramen dans les images vidéo », ajoute Postupaiev.

Comme l’explique l’inventeur, ce procédé était nécessaire pour créer les bases nécessaires à la suppression effective des opérateurs. Pour cela, une technologie de peinture vidéo a été utilisée.

« Le terme « inpainting » dans le deep learning désigne le processus de reconstruction des parties perdues ou détériorées des images et des vidéos. Plus précisément, dans ce cas, il est utilisé pour supprimer les caméramans des retransmissions vidéo de football », explique Postupaiev.

L’intelligence artificielle (IA) et la technologie basée sur la vision par ordinateur analysent les images vidéo pour détecter les objets indésirables tels que les caméramans et remplissent les zones supprimées avec des détails d’arrière-plan pertinents. Les images modifiées sont ensuite retransmises aux téléspectateurs, garantissant une diffusion plus immersive et professionnelle.

Maskeliūnas ajoute que sur les serveurs de télévision, cet algorithme pourrait traiter l’image enregistrée avant sa diffusion à l’antenne avec un décalage de quelques secondes par rapport au moment réel capturé, qui est toujours considéré comme une diffusion en direct. Il pense qu’à mesure que l’équipement s’améliore, l’IA comblera parfaitement ce décalage temporel.

Déplacer l’attention de la simple capture de l’action

Grâce à cette nouvelle technologie, regarder des matchs de football à la maison sera considérablement amélioré. L’une d’entre elles est une expérience de visionnage plus fluide.

« La diffusion sera plus soignée et professionnelle, sans interruptions causées par des caméramans qui apparaissent là où ils ne devraient pas. Cette amélioration réduira le nombre de cas où des moments importants du match sont manqués à cause de prises de vue distrayantes », souligne Postupaiev, qui a obtenu son master grâce à ce projet.

Selon Postupaiev, des recherches plus poussées dans ce domaine pourraient ouvrir la voie à une nouvelle ère de diffusion sportive, en déplaçant l’accent de la simple capture de l’action vers la création d’une expérience de visionnage totalement immersive et ininterrompue.

« En mettant en œuvre des caméramans en inpainting, les sociétés de diffusion peuvent explorer des angles de caméra, des perspectives et des effets innovants, donnant vie aux jeux de manière nouvelle et passionnante », dit-il.

De plus, les caméramans peuvent s’étendre au-delà des diffusions en direct pour améliorer les analyses d’avant et d’après match, le traitement des moments forts hors ligne et la restauration des images d’archives.

« Cela pourrait même donner un nouveau souffle à de vieux enregistrements de matchs classiques », ajoute un diplômé de la KTU.

L’invention ne se limite pas au football : elle peut être appliquée à d’autres sports présentant des défis de diffusion similaires. Les sports dynamiques comme le futsal et le basket-ball, qui nécessitent des diffusions immersives, peuvent également bénéficier de cette technologie.

« C’est une nouvelle illustration de ce que les applications d’IA modernes peuvent faire. Nous entendons souvent parler d’applications médicales, mais ici, nous avons une approche orientée vers le consommateur pour éditer des images que nous n’aimons pas. À l’avenir, une telle technologie sera capable, par exemple, de supprimer des publicités ou de les remplacer par d’autres, mettant ainsi constamment à jour le contenu avec un niveau de précision que l’œil humain ne remarquera pas », explique Maskeliūnas, professeur à la faculté d’informatique de la KTU.

L’article « Segmentation des opérateurs de caméra en temps réel avec YOLOv8 dans les diffusions vidéo de football » est publié dans la revue IA.