Les réseaux de neurones changeront la télévision pour toujours – Jo Burnham

La technologie fonctionne – et elle arrive sur un écran près de chez vous.

En décembre 2018, Peter Jackson (plus connu sous le nom de directeur du le Seigneur des Anneaux trilogie) a sorti un film très différent. Ce n’était pas un autre morceau de Terre du Milieu les médias, ou un nouveau grand spectacle comme sa photo de 2005 King Kong. À première vue, cela semblait assez banal: un documentaire sur la Première Guerre mondiale.

Vous pourriez être pardonné si les premiers rapports donnaient l’impression plus d’un exercice technique sérieux qu’un film passionnant. J’ai travaillé comme programmeur pour un cinéma indépendant une fois, et en parlant d’instinct, la phrase images d’archives ne me fait pas exactement imaginer un public animé et une réception enthousiaste.

Ce qui s’est passé n’était rien de moins qu’étonnant. Il s’est avéré qu’il ne s’agissait pas seulement de séquences «remasterisées» bricolées avec des journaux intimes et des enregistrements inédits. Ils ne vieilliront pas créé à acclamation universelle, et représentait un changement immédiat dans ce que nous pensions être possible lorsque nous travaillions avec un vieux film. Le public a vu des images qui ont été stabilisées, améliorées, colorisées, avec du son et reformatées pour créer la sensation surréaliste de regarder ces hommes vivre leur vie dans quelque chose qui ressemble à la haute définition.

Ils ont créé par inadvertance un preuve de concept pour montrer où la technologie moderne nous mène.

Le travail de l’équipe de production a été minutieux, bien documenté et lent. Ils ont nécessité des dizaines et des dizaines de personnes et d’innombrables heures d’expertise humaine et de consultation. Ils n’a pas utilisé de réseaux de neurones – mais au lieu de cela, ils ont créé par inadvertance un preuve de concept pour montrer où la technologie moderne et la puissance de l’automatisation nous mènent.

Bien qu’impressionnant, le projet de Peter Jackson n’est pas une approche durable pour travailler avec des images anciennes – il ne peut pas non plus être étendu rapidement pour répondre à la demande potentielle. Et bien qu’il représente une énorme amélioration par rapport au matériau d’origine, il ne peut évidemment pas correspondre à un film moderne haute définition.

Ce dont nous avons besoin, c’est d’un moyen moins cher et plus rapide de produire des résultats similaires – idéalement, une méthode qui produit progressivement des versions supérieures à mesure qu’elle apprend des tentatives précédentes. C’est là que les réseaux de neurones entrent en jeu, et nous ne sommes que maintenant commencer à découvrir de quoi ils seront capables dans ce domaine.

Nous voyons déjà émerger des individus qui obtiennent des résultats spectaculaires rapidement et avec relativement peu de puissance de calcul. Jetez un œil à cet exemple récent de Denis Shiryaev, basé en Pologne, qui est sorti il ​​y a quelques semaines (au moment de la rédaction):

Prenons un instant pour reconnaître la sensation dans le creux de notre estomac que nous ressentons lorsque nous regardons cela, tout en nous rappelant qu’elle n’a été créée que par un seul individu.

De toute évidence, de nombreux éléments distincts sont à l’œuvre ici. Sans entrer dans la catacombe de détails techniques que la plupart des discussions sur les réseaux de neurones présentent, les principaux ajustements de l’image peuvent être classés dans les catégories suivantes: augmenter le nombre d’images (en en créant de nouveaux), augmentation de la résolution d’image, coloriser l’image, et augmenter la netteté globale. Nous oublierons pour l’instant la stabilisation du son et de l’image; Bien que ceux-ci soient pertinents pour la restauration d’archives, ils sont un peu moins importants lorsque l’on considère les applications les plus probables pour cette technologie.

Pendant que vous lisez ceci, les réseaux de neurones et les algorithmes d’apprentissage automatique sont formés pour accomplir les quatre catégories décrites ci-dessus avec une compétence et une efficacité qui augmentent rapidement.

Pour démontrer, voici une ventilation d’un effort récent (avec le titre accrocheur DeepRemaster: réseaux d’attention temporelle à référence de source pour une amélioration vidéo complète) tel que discuté par le Dr Károly Zsolnai-Fehér, qui produit l’excellente série YouTube Documents de deux minutes:

Juste il y a trois ans il était impossible d’obtenir des résultats n’importe où près de cela, et il ne faut pas beaucoup d’imagination pour voir où la technologie se dirige.

Nous sommes sur le point de voir le passé comme jamais auparavant – et beaucoup de gens sont sur le point de devenir très riches dans le processus

Il est important de noter que ces outils ne se contentent pas de «nettoyer» les images: ils utilisent leur algorithme sophistiqué pour créer de manière proactive Nouveau cadres et détails (parfois appelés remplissage) dans l’image elle-même. C’est ainsi que nous pouvons voir des résultats aussi impressionnants – nous ne découvrons souvent pas d’informations existe déjà dans les images, mais en superposant en fait une «meilleure estimation» fictive sur la façon dont la scène pourrait raisonnablement être supposée ressembler si il avait été filmé en plus haute résolution.

La formation et l’amélioration de ces algorithmes sont également beaucoup plus faciles que pour d’autres réseaux de neurones. En effet, les chercheurs peuvent simplement prendre un morceau de film moderne, en créer une copie, réduire sa qualité et sa résolution et entraîner la machine à remarquer en quoi les deux versions sont différentes et quels types de réglages peuvent être effectués pour transformer une version. en quelque chose de proche de l’autre. Ce processus lui-même peut être automatisé – vous n’avez besoin que d’un logiciel qui peut réduire la qualité des séquences vidéo, et vous pouvez créer un ensemble de formation pratiquement sans fin pour l’algorithme pour apprendre.

Dans quelques années à peine, ces outils seront presque certainement suffisamment puissants et intelligents pour restaurer d’énormes pans de séquences anciennes à une définition colorée et limpide – et sans avoir besoin du type d’expertise technique qui est entré dans le projet de Peter Jackson.

Qu’est-ce que cela signifie? En bref: nous sommes sur le point de voir le passé comme jamais auparavant – et beaucoup de gens sont sur le point de devenir très riches dans le processus. Bien sûr, cette technologie peut être utilisée pour restaurer de vieux longs métrages et leur donner une réédition, mais ce n’est pas vraiment nécessaire. Lorsqu’il existe une incitation, les films peuvent déjà être extraordinairement bien restauré avec l’expertise et la main-d’œuvre actuelles (et compte tenu des budgets et des risques potentiels impliqués, je ne prévois pas un scénario où cela serait entièrement laissé à l’automatisation).

Là où les choses deviennent beaucoup plus intéressantes, c’est quand on pense à la télévision. De par sa nature même, il n’y a que plus la télévision qu’il n’y a de film, et en raison des budgets de production, beaucoup d’entre eux survivent dans une bien meilleure qualité et résolution que le travail cinématographique sorti à la même époque.

Ce n’est pas un Et qu’est-ce qui se passerait si scénario: à partir de sa trajectoire actuelle, il est inévitable que la technologie nous y amène.

La télévision est mûre pour une restauration automatisée. Si vous pensez que cela ne se produira pas, réfléchissez à la rentabilité financière de la sortie des 180 épisodes de J’aime lucy dans pleine couleur, avec une qualité et une résolution si élevées qu’il est impossible de les distinguer des images enregistrées sur un plateau moderne.

Ou pensez à des événements sportifs. Souvent filmées avec une résolution encore pire et dans des conditions météorologiques variables, les occasions emblématiques (qui ont la capacité de rassembler des pays entiers dans la célébration et la nostalgie) ne peuvent actuellement être regardées que dans leur forme originale et granuleuse. Je ne suis pas fan de football, mais ayant vécu au Royaume-Uni presque toute ma vie, je pense que même je serait heureux de regarder la Coupe du monde 1966 s’il a été entièrement stabilisé et restauré selon une définition de qualité ultra-précise et moderne.

Ou, mon préféré: imaginez pouvoir regarder l’intégralité de l’œuvre de David Attenborough dans une résolution qui rivalise avec tout ce qui pourrait être publié aujourd’hui.

Ce n’est pas un Et qu’est-ce qui se passerait si scénario: à partir de sa trajectoire actuelle, il est inévitable que la technologie nous y amène. Et cela ne nécessitera pas d’experts ou d’une équipe d’artistes restaurateurs – tout ce que vous avez à faire est de numériser les images et de les exécuter via le logiciel.

C’est une merveilleuse évolution. Vous pensez combien de personnes découvriront des programmes télévisés et des documentaires qui auraient autrement semblé trop datés pour être abordés? Ou comment certains aspects du passé apparaîtront plus vivants et pertinents que jamais, et inciteront les nouvelles générations à s’intéresser à des sujets qu’ils n’avaient jamais envisagés auparavant.

Quand j’ai regardé le film de Peter Jackson Ils ne vieilliront pas, Je n’appréciais pas seulement les images au niveau technique; Je me sentais complètement transporté dans le temps et plus connecté émotionnellement que je n’aurais pu l’imaginer. Voir le passé en haute définition parfaite n’est pas seulement un argument de vente au dos d’un DVD; c’est une fenêtre sur notre culture commune – sur notre histoire – et c’est extrêmement passionnant.

J’espère que les sociétés de médias suivent déjà ces développements de très près. Si je travaillais pour l’un d’entre eux, je dirais à tous ceux qui voudraient l’écouter que nous devons commencer à acheter les droits sur autant de télévision d’archives que possible. Il y a une ruée vers l’or sur le chemin.