ESPN a déployé la semaine dernière une version vidéo volumétrique de NBA CourtView pour une diffusion ESPN + d’un match entre les Brooklyn Nets et Dallas Mavericks. L’équipe de production s’est appuyée à presque 100 % sur le système de caméra virtuelle Canon Free Viewpoint qui a été installé au Barclay’s Center. Le résultat a été une expérience de visionnage qui ressemblait à regarder NBA2K sous stéroïdes, avec des vues panoramiques de la caméra sous presque tous les angles et avec seulement trois secondes de retard par rapport aux événements sur le terrain.
Le système Canon Free Viewpoint offre à l’équipe de production une liberté ultime en termes d’angles.
« Nous avons fait tout le jeu comme s’il s’agissait d’une production complète à six caméras », explique Ed Placey, ESPN, producteur principal de coordination. « Nous avions six stations de caméras, dont quatre étaient destinées aux images en direct et deux d’entre elles avaient des opportunités spécialisées avec des rediffusions. Nous avions également d’autres appareils d’enregistrement de relecture traditionnels à Bristol où nous l’avons produit et réalisé et les annonceurs étaient également à Bristol. Nous avions affaire aux trois secondes de latence, donc les annonceurs devaient être en aval de la latence plutôt qu’au bord du terrain.
Le système Canon Free Viewpoint du Barclays Center est composé de plus de 100 caméras et objectifs Canon Cinema EOS qui capturent les informations vidéo, qui sont traitées sur des boîtiers de traitement d’image propriétaires de Canon derrière chaque caméra et transformées en données. Les données de toutes les caméras sont ensuite envoyées à un système de serveur qui crée un modèle 3D en nuage de points des joueurs et d’autres objets sur le terrain. Un système similaire a été utilisé le mois dernier lors du NBA All-Star Game à Cleveland pour créer des temps forts.
« Nous avons vu une technologie comme celle-ci pendant cinq à huit ans sous différentes formes », déclare Placey. « Ce n’est pas que ce n’était pas une excellente technologie et quelque chose à surveiller, mais il n’avait pas les outils nécessaires pour en faire grand-chose du point de vue de la production, ce qui le rend intéressant et engageant à chaque fois. Il faut plus qu’un simple clip deux ou trois fois.
Les images sont construites à l’aide de voxels, qui sont des unités d’informations graphiques qui définissent un point dans un espace tridimensionnel (essentiellement, l’équivalent 3D d’un pixel) combiné avec des valeurs RVB. Un opérateur avec un joystick semblable à un système de caméra câblé fait voler la caméra virtuelle dans l’environnement virtuel et construit les clips dans un processus similaire au rendu d’une animation.
Placey dit qu’il considère Canon Free Viewpoint comme une version virtuelle d’un système de caméra câblé. Un système de caméra physique câblé dans une arène a toujours été difficile à installer et à utiliser car le pilote doit éviter des choses comme des tableaux de bord suspendus, des panneaux arrière, et doit également être utilisé en toute sécurité par rapport aux ventilateurs dans les gradins.
« La longueur avec laquelle les réalisateurs travaillent pour s’assurer que les SkyCams n’apparaissent pas dans leurs autres plans est importante », dit-il. « Et au basket et au hockey, le seul endroit où ils ont pu le faire, c’est en le gardant haut et à l’écart. »
Le système Canon Free Viewpoint est commandé via une manette de commande.
Placey dit qu’ESPN a fait appel à des pilotes de drones pour faire fonctionner le système qui a un joystick similaire aux systèmes de caméras robotiques et câblées.
« Nous avons amené les opérateurs de drones à [Barclays] pendant environ quatre matchs afin qu’ils puissent se familiariser avec le pilotage », dit-il. « Et au cours de ces quatre matchs, ils sont devenus de mieux en mieux. »
Placey dit que l’équipe d’ESPN est restée les yeux grands ouverts en sachant qu’elle a encore des imperfections inhérentes en raison de la quantité de traitement nécessaire.
« C’est impressionnant jusqu’à présent, mais ce n’est vraiment qu’à ses débuts », dit-il. «Mais cela donne aux gens un aperçu du type de choses que vous pouvez faire. Et si vous pouvez le faire avec une qualité et une résolution supérieures, vous pouvez créer de réelles opportunités par opposition à un clip ici ou là dans un jeu. «
Un potentiel ? Pouvoir obtenir le regard ultime sur les fautes et autres événements.
« Nous avons pu voir ce que l’arbitre a vu, regarder par-dessus son épaule et voir la tête du joueur reculer », explique Placey.
Placey dit que l’équipe de production a beaucoup appris du premier jeu complet. Les opérations de relecture peuvent être resserrées pour offrir un point de vue plus optimal et l’ajout de trajectoires de vol prédéfinies qui pourraient être disponibles en appuyant sur un bouton permettrait également au système de faire un autre pas en avant.
Un tableau de bord suspendu au centre virtuel a permis à la vidéo réelle de faire partie de l’expérience volumétrique virtuelle.
Et bien que la majeure partie de l’émission existait dans le monde virtuel, il y avait un moyen d’intégrer une vraie vidéo dans l’émission. Un tableau de bord virtuel suspendu au centre permettait de couvrir des éléments tels que des plans de coupe d’entraîneurs ou de joueurs sur le banc, car ceux-ci n’étaient pas rendus dans l’environnement virtuel.
« Nous avions la possibilité de mettre nos propres caméras de la production principale dans le jumbotron afin que nous puissions toujours obtenir des rediffusions ou des plans de coupe », explique Placey.
