Émissions télévisées de votre enfance en 4K grâce à l’IA

Un exemple de la façon dont l’IA peut transformer les Transformers G1 d’origine de 1984 à 4K

UNEêtes-vous en train de revoir votre série télévisée d’enfance préférée avec vos enfants et de vous demander – ne serait-ce pas génial si je pouvais les regarder en 4K magnifique? C’est une question très légitime, car les anciennes émissions de télévision que vous regardez sont pour la plupart en qualité SD. Cela se traduit par une résolution de 720×576 pixels au mieux, ce qui représente un maigre 5% du nombre de pixels d’un écran 4K. En pratique, cela signifie que votre téléviseur agrandit chaque image 20 fois afin de remplir tout l’écran 4K. Pas étonnant que l’image soit floue.

Beaucoup d’émissions de télévision et de films plus anciens comme Star Trek TOS / TNG, Aladdin ou le Lion King d’origine ont déjà été remasterisés en haute définition et sont disponibles sur les plates-formes de streaming populaires. Cependant, les chances que votre émission télévisée ou film pour enfants préféré soit disponible au moins en Full HD sont plutôt minces. La raison en est que le remasterisation en haute définition est souvent une entreprise fastidieuse et coûteuse. Tout d’abord, vous devez obtenir le film original de 16 mm ou 8 mm et espérer qu’il est toujours en bon état. Le film doit ensuite être numérisé image par image. Une fois le film numérisé, une correction manuelle des couleurs et de l’image est effectuée. Tout cela nécessite beaucoup de temps et d’argent, ce qui peut rarement être justifié d’un point de vue commercial. Vous pouvez en savoir plus sur la restauration de films ici et ici.

L’IA, les réseaux de neurones artificiels et l’apprentissage automatique ont tous été des mots à la mode au cours des deux dernières années. Bien que souvent sur-typées, les avancées que les réseaux de neurones artificiels (RNA) ont apportées à des domaines tels que la reconnaissance vocale et d’image ou la traduction automatique ne peuvent être ignorées. Ce sont en principe de puissants algorithmes de reconnaissance de formes qui peuvent automatiquement apprendre à transformer une entrée en une sortie souhaitée sur la base d’un ensemble de données existant. Par exemple, vous pouvez nourrir un ANN 100 000 photos de chats et un autre 100 000 photos de chiens et il apprendra automatiquement à distinguer ces deux. Écrire un programme traditionnel pour distinguer les chats et les chiens en images prendrait des mois de codage et ne serait probablement pas aussi bon qu’un simple ANN, qui peut être configuré en quelques jours.

Étant donné que les RNA peuvent être formés à diverses tâches, pourquoi ne pas les utiliser pour la remasterisation 4K? Donnez à un ANN suffisamment d’exemples de versions SD et 4K des mêmes images ou vidéos et il apprendra comment remasteriser une entrée SD de faible qualité dans une vidéo 4K détaillée. N’oubliez pas que lors de la conversion d’une image SD en 4K, vous transformez techniquement un pixel en 20. Lorsque vous regardez du contenu SD sur un téléviseur 4K, chaque pixel est agrandi 20 fois et flou pour réduire les bords irréguliers. Un ANN, d’autre part, ajoutera artificiellement des détails réalistes aux 19 pixels nouvellement générés pour chaque pixel de la vidéo originale. Le résultat final 4K devrait être net avec beaucoup de détails qui manquaient tout simplement dans la vidéo SD.

Vous pouvez créer et former votre propre modèle ANN pour la mise à l’échelle 4K, car tous les principaux cadres de réseaux neuronaux sont open-source, mais heureusement, des solutions existent déjà. Un tel outil est Topaz Video Enhance AI par Topaz Labs. Cet outil vous permet de mettre à l’échelle vos vidéos de faible qualité en 4K ou même en 8K en quelques clics en utilisant des ANN pré-entraînés.

Topaz Video Enhance AI a été testé sur la version DVD de la série animée originale Transformers G1 de 1984. Cette série animée n’a jamais été remasterisée en HD, sans parler de 4K, ce qui en fait un sujet de test parfait (à part le fait que c’est un excellent spectacle). Une carte graphique de milieu de gamme Nvidia GTX 1060 a mis environ 14 heures pour passer d’un épisode de 22 minutes de SD à 4K, mais l’attente en valait la peine. Vous trouverez ci-dessous quelques photos comparatives du thème d’introduction de la première saison:

La différence entre la version originale et la version 4K des Transformers est difficile à manquer. L’image est plus nette et plus nette – quelque chose qu’un upscaler ordinaire est incapable de faire. Vous verrez toujours le bruit occasionnel du film et le modèle AI ne peut pas améliorer la fréquence d’images d’animation, mais il donne certainement aux Transformers de 36 ans un polissage bien nécessaire.

Les résultats de la conversion ascendante 4K à l’aide des RNA sont impressionnants. Est-ce aussi bon que le remastering traditionnel? Non, mais étant donné sa simplicité d’utilisation, c’est une réalisation incroyable. Actuellement, la conversion ascendante 4K en utilisant les RNA est principalement utilisée par les amateurs et les amateurs. Le consommateur type ne verra ni n’utilisera de tels outils car ils sont relativement lents. À l’exception du Nvidia Shield 2019, il n’y a tout simplement pas de produit grand public capable de mettre à l’échelle des vidéos en 4K en temps réel à l’aide d’ANN sophistiqués. La question est donc la suivante: quand pouvons-nous nous attendre à voir une telle IA devenir un courant dominant? Il y a deux solutions possibles:

1. Produits de consommation dédiés haut de gamme

Nous pouvons nous attendre à voir des produits de consommation dédiés haut de gamme qui utilisent les RNA pour la mise à l’échelle 4K et 8K en temps réel dans les deux prochaines années. Ceux-ci peuvent prendre la forme de décodeurs ou de consoles et devront être branchés sur le téléviseur. L’un de ces produits déjà existants est le Nvidia Shield 2019. Plus tard, nous pouvons nous attendre à ce que le matériel de mise à l’échelle de l’IA soit intégré directement aux téléviseurs. Cela sera particulièrement utile dans la vente de téléviseurs 8K car cela neutralise pratiquement le manque de contenu 8K disponible.

2. Les plateformes de streaming commencent à utiliser les ANN

L’autre possibilité de conversion à grande échelle de l’ANN devient grand public est que les plateformes de streaming commencent à utiliser cette technologie. Les plates-formes de streaming devraient mettre à niveau leur contenu SD et HD en 4K ou même en 8K en utilisant des ANN de la même manière que pour les outils existants. Une fois terminé, le contenu 4K ou 8K mis à l’échelle serait mis à la disposition de tous pour diffusion. Ce processus nécessitera probablement des clarifications concernant les licences avec les studios de cinéma, mais d’un point de vue technique, rien n’empêche les plates-formes de streaming d’utiliser cette technologie en ce moment.

Lorsque la remasterisation 4K utilisant des ANN sophistiqués devient courante, tout le monde le devine. Mais les résultats de ce qu’une telle technologie peut réaliser nous font espérer une date plus tôt que tard.

Avis de non-responsabilité: TRANSFORMERS et tous ses personnages associés sont des marques commerciales de Hasbro et je ne revendique aucun droit sur eux. Je ne suis pas lié à Topaz Labs ni à aucun de ses employés. Clause de non-responsabilité en matière de droit d’auteur en vertu de l’article 107 de la loi de 1976 sur le droit d’auteur, une «utilisation équitable» est autorisée à des fins telles que la critique, les commentaires, les reportages, l’enseignement, les bourses, l’éducation et la recherche. L’utilisation loyale est une utilisation autorisée par la loi sur le droit d’auteur qui pourrait autrement enfreindre.