📧 🧗🏻 🌟 Quand j'entends les mots "restauré le réseau neuronal", je grimpe pour vérifier les sauvegardes 🕴🏻 🎁 👎🏿

En plus d'être un spécialiste informatique, je suis également un historien de la technologie, et c'est ce qui détermine ma réaction aux informations sur les dernières réalisations dans le domaine des technologies numériques. Il y a un mois, j'ai décidé de commencer à écrire un livre pour les gens qui sont loin de l'informatique et qui sont proches de la recherche historique et des sources (« Digital source study - specific problems » est écrit sur les sites des projets de livres), dans lequel je vais leur dire ce que le développement des technologies numériques a tourné pour eux .

Quelques jours après cela, la nouvelle est apparue sur Internet: "L'arrivée du train" a été améliorée à l'aide de réseaux de neurones - le film de 1896 peut maintenant être regardé en 4K et 60 images par seconde ", et c'est une bonne raison de parler de la même chose aux informaticiens.

Je n'ai pas le film original "L'arrivée du train", j'ai donc utilisé des photographies modernes (réduites ou décolorées) + des photos des années 1930 (vraisemblablement) comme échantillons de test

Quand j'entends les mots "restauré le réseau neuronal", je grimpe pour vérifier les sauvegardes

0. Quel est le problème?

Le problème qui sera discuté se pose en raison du fonctionnement exact des historiens réels et des réseaux de neurones.

Selon le profane, l'historien idéal siège exclusivement dans les archives et travaille avec des documents officiels et bien conservés. En réalité, les historiens travaillent avec les sources dont ils disposent et sous la forme sous laquelle ils sont venus à eux.

En réalité, en plus des documents officiels dans les archives de l'État, des photos personnelles, des lettres, des mémoires, etc. peuvent servir de sources. Malheureusement, les historiens travaillent très souvent non pas avec des documents sources, mais avec diverses copies.

Avez-vous déjà entendu la phrase selon laquelle diverses icônes et textes «nous sont parvenus sur les listes»? Dans ce cas, le mot «liste» ne signifie pas un catalogue dans lequel certains travaux sont mentionnés, mais une copie de ce travail lui-même. Ce terme vient du mot "radier".

De nombreux textes, photographies et films nous sont parvenus sous forme de copies, et rien ne garantit que la seule copie du film «Dix-sept moments du printemps» qui a atteint les historiens de l'avenir ne sera pas seulement une version peinte et recadrée. Car les chemins de la source historique sont insondables.

D'un autre côté, il y a beaucoup de nouvelles que le réseau neuronal a restauré ou amélioré quelque chose. Cela ressemble à une sorte de magie et beaucoup ont le sentiment qu'une sorte d'intelligence artificielle peut vraiment restaurer quelque chose.

En fait, toute restauration de couleur ou de détails dans de petites images ne parle pas et ne peut pas aller. Le programme ajoute simplement des éléments à la photo ou à la vidéo que ses algorithmes déterminent selon les besoins.

Malheureusement, en réalité, il est impossible de restaurer l'image perdue, car l'opération de blanchiment est irréversible, et si une photographie n'a pas de partie de l'image, elle ne peut pas être restaurée uniquement sur la base de la même photographie.

Par conséquent, les réseaux de neurones font exactement la même chose que les gens dans de tels cas - ils fantasment en fonction de leur expérience.

Et maintenant je vais montrer ce qui est obtenu à la suite de ces fantasmes.

1. Comparaison des différents services de colorisation

Bien que la coloration des photos et des films ne soit pas un phénomène complètement nouveau, elle est désormais accessible à tous ceux qui ont accès à Internet, et de nombreuses personnes profitent de cette nouvelle opportunité.

Nous vivons déjà dans un monde où il y a de nombreuses photographies peintes de soldats de la Grande Guerre patriotique, des intérieurs du Titanic, de la famille royale et bien d'autres.

Il peut sembler à une personne non initiée qu'il s'agit de restaurer la couleur d'origine, et qu'une photographie colorisée nous montre à quoi ressemblaient réellement les personnes et les objets d'il y a cent ans. Sur la base de ces photos, quelqu'un peut commencer à tirer des conclusions sur la vie des gens dans le passé, à analyser divers événements et situations.
Et bien que je comprenne l'impossibilité de restaurer la vraie couleur d'une photographie en noir et blanc, en tant que chercheur, je dois vérifier et m'assurer d'avoir raison.

Pour tester cette idée, j'ai pris deux photographies couleur modernes, les ai blanchies dans un éditeur graphique et les ai conduites à travers des services de colorisation en ligne.

1.1 Colorisation de la voiture Ford A Phaeton

Dans ce cas, j'ai utilisé une photo que j'ai prise fin janvier 2020 à l'aéroport de Moscou Domodedovo. Je ne sais pas comment la coloration de ces voitures correspond à leur couleur d'origine, mais cela n'a pas d'importance. Dans cette expérience, nous vérifions la précision avec laquelle la couleur de la photo blanchie sera restaurée.

Colorisation de la voiture Ford A Phaeton

J'ai mené cette expérience sur des photographies de différentes voitures et le résultat est inchangé: tous les services peignent de vraies voitures différemment, mais personne ne peint correctement.

En même temps, je préfère personnellement pas la version originale, mais le résultat de la coloration de deepai.org - une couleur de corps calme avec des côtés de toit bleus. (Mais dans cette versionla couleur d'origine est indiquée dans les rayures numérotées 2 et 7, mais j'aime la bande 5 colorée par algorithmia.com , où une partie est colorée en jaune et une partie est rouge).

Le problème de la coloration des voitures est expliqué très simplement - des données intégrées dans chaque réseau de neurones. Et de la même manière qu'avec la coloration manuelle, la coloration automatique indique exactement en fonction de l'expérience de la coloration.

Autrement dit, il n'est pas question de toute restauration de la couleur d'origine du discours et ne peut pas aller.

Bien sûr, il y a des gens qui disent que vous devez télécharger encore plus de photos sur le réseau neuronal et alors tout ira bien, mais cela contredit le principe même des réseaux neuronaux - ils font simplement la moyenne des données qui y sont chargées et ne sont pas en mesure d'aller au-delà de `` l'expérience '' obtenue de cette manière.

1.2

L'expérience suivante a été avec une photographie montrant l'architecture et de nombreuses personnes en vêtements colorés. La photo originale a été recadrée, décolorée et téléchargée sur les services de colorisation.

Colorisation de la fontaine au VDNH

En raison du grand nombre d'objets à peindre, le résultat n'est pas aussi simple que dans le cas de la Ford A Phaeton.

Oui, aucun des services n'a peint les statues de couleur dorée, des tulipes rouges au bas de l'image et des t-shirts vert vif et bleu vif. Cependant, tous les services ont brillamment réussi à peindre un T-shirt blanc d'un homme assis sur le parapet d'une fontaine et un chemisier blanc d'une femme marchant de droite à gauche avec un sac à main sur le côté.

Ainsi, nous avons à nouveau un résultat complètement prévisible - les services de colorisation ne sont pas en mesure de restaurer la couleur réelle.

Mais l'avantage de cet exemple n'est pas de répéter à nouveau le fait évident. Bien sûr, répéter les faits évidents est nécessaire et très correct, mais il y a encore un point.

Bonus de 9may.mail.ru

En plus de la coloration, le service 9may.mail.ru effectue l'opération «dépannage». Si vous comparez juste une photo colorisée et une photo colorisée avec laquelle les défauts ont été supprimés, vous trouverez une fonctionnalité très intéressante.

Bonus de 9may.mail.ru

Cette illustration montre un fragment agrandi du bord droit de la photo avec une fontaine. Comme vous pouvez le voir clairement, lors de «l'élimination des défauts», l'élément sculptural a été supprimé (je n'oserai pas dire son nom :))

Une «élimination des défauts» similaire a également été observée dans d'autres photographies colorisées par 9may.mail.ru, mais là ce ne sont pas des suppressions si importantes.

Ainsi, non seulement la source historique a été mal peinte, mais elle comportait également des «éraflures» qui ont détruit une partie de l'image (ce qui nous ramène à nouveau à la question de «Usure numérique »)

Cet exemple vous permet de passer en douceur à la partie suivante de l'histoire sur l'impact de« l'amélioration »des photographies par les réseaux de neurones sur les sources historiques.

2. Augmentation de la taille des photos

Outre la coloration, l'agrandissement des photographies existait à l'ère pré-numérique.

Le résultat pour les deux cas est le même, on commence à voir l'élément minimum de la photo. En photographie analogique, c'était du «grain», maintenant sa place était prise par le «pixel», mais ils ont une essence - c'est l'élément minimum indivisible (je veux vraiment dire «atomique», mais malgré son nom - l'atome n'est pas indivisible :))

Si nous regardons sur un échiquier dans un appareil optique grossissant (télescope, jumelles, etc.), nous pouvons alors le «zoomer» et distinguer des détails qui n'étaient pas visibles auparavant.

Mais si nous avons photographié un échiquier pour qu'il tienne dans un grain / pixel, il n'y a aucun moyen de «zoomer» et de distinguer chaque cellule individuellement. Lors de l'agrandissement d'une telle image, nous verrons un grand point monochrome où devrait être l'échiquier.

Exactement la même situation se produira si nous modifions la taille en pixels d'une photographie numérique d'un échiquier - les informations sur les cellules de l'échiquier seront perdues, et il n'y a aucun moyen de les restaurer uniquement sur la base de la même photographie.

En général, je me sens gêné de dire cette idée banale, mais, comme le montre la pratique, l'idée de l'irréversibilité de réduire la photographie numérique n'est pas évidente pour tout le monde.

De temps en temps, des nouvelles apparaissent que certains réseaux de neurones ont augmenté et amélioré l'ancienne photo, alors maintenant nous pouvons voir les détails que nous ne pouvions pas voir auparavant.

Tout comme dans le cas de la coloration, j'ai essayé d'appliquer des services en ligne à de vraies photos.

2.1 Moulin inconnu des années 1930

Une fois, samedi soir, un collègue m'a envoyé un lien vers une photo sur la page des archives de l'État de Perm à Vkontakte . 1024 x 705 pixels qui ont subi plusieurs fois la compression JPEG, avec des étiquettes mal lisibles.

Moulin inconnu des années 1930

Nous avons passé un bon moment, résolu cette énigme et lundi, il a confirmé nos conclusions en allant aux archives et en étudiant la photo originale.

Cela m'a permis de mener une expérience et de voir de quels réseaux neuronaux sont capables.

Moulin inconnu des années 1930 - comparaison

Moulin inconnu des années 1930 - comparaison

En conséquence, l'option la plus lisible était «simple augmentation» (en général, je lis cette inscription simplement en l'agrandissant sur l'écran du smartphone).

biz.mail.ru a rendu l'étiquette illisible à grande échelle, mais la ligne "Acme Road Mach Co" reste partiellement lisible à une certaine échelle.

Les autres candidats ont fait tellement de bruit que l'inscription a cessé d'être lue. Bien qu'il soit resté partiellement reconnaissable.

Autrement dit, les services pour "améliorer les photos" ont fait exactement le contraire - ils ont aggravé la vraie photo.

Et si vous dites que l'amélioration des inscriptions sur les anciennes photographies n'est pas une tâche pour de tels services, alors je serai d'accord, car c'est précisément le problème. Le fait est que ces services existent, ils se positionnent comme des services de «restauration» et de «restauration», sans expliquer aux utilisateurs les risques et conséquences liés à la technologie utilisée. Les personnes qui étudient l'histoire de leur famille ou de leur localité peuvent «améliorer» leurs photographies numériques.

Et j'ai de gros doutes qu'ils stockent tous soigneusement la photo originale non améliorée.

J'ai un autre exemple lié aux archives Perm et à l'attribution de photographies, mais ce sera dans la prochaine mise à jour de Digital Source Studies , et maintenant je préfère revenir aux machines que j'ai photographiées à Domodedovo.

2.2 Capot Lorraine-Dietrich B36

Pour vérifier les possibilités d'agrandissement des photos, j'ai pris une de mes photos, j'ai réduit la taille des pixels de 4000 à 3000 à 1024 à 768 et j'ai utilisé les mêmes services que dans le cas de la photo du moulin de l'exemple précédent.

Lorraine-Dietrich B36

Et si un spectateur ordinaire de ces images "améliorées" ne les regarde pas vraiment, alors je m'intéressais aux petits détails.

Capot Lorraine-Dietrich B36

Le résultat était prévisible.

Le logo sur la grille du radiateur est reconnaissable, mais déformé - les lignes sont devenues uniformes.

Les trous d'aération latéraux sont lissés et ne se distinguent pas des reflets sur la hotte.

Comme on pouvait s'y attendre, de nombreux petits détails ont disparu, mais cet exemple n'est pas du tout là pour confirmer une fois de plus l'irréversibilité de perdre des informations d'une photographie numérique tout en réduisant sa taille en pixels.

Si vous avez regardé attentivement les photos, vous avez déjà vu des signes que le réseau neuronal avait fonctionné ici.

Bonus de letsenhance.io

Voici le moment de rappeler comment fonctionnent les réseaux de neurones - sélectionne les options appropriées à partir de leur propre «expérience» obtenue à la suite de la formation.

Et maintenant, je vais montrer comment letsenhance.io a augmenté exactement 4 fois la photo, que j'ai précédemment réduite 4 fois.

À gauche, vous voyez la photo originale avant la réduction, à droite - obtenue après l'agrandissement. (Une photo intermédiaire réduite n'est pas affichée)

Bonus de letsenhance.io

Oui, c'est vrai - c'est le visage du singe.

Et si vous voyez dans ce cas drôle, le problème de la formation d'un réseau de neurones ou son utilisation abusive, alors je vois une chose complètement différente. À savoir, un grand nombre de photos numériques qui ont été et seront "améliorées" par le réseau neuronal et qui seront mises en circulation. Certains d'entre eux remplaceront les originaux en raison de leur perte.

Et si avant de commencer à écrire cet article, j'étais juste conscient des problèmes liés à la mode d'amélioration / de restauration des images à l'aide de réseaux de neurones, maintenant ce problème a trouvé son propre visage.

Mais ce n'est pas la fin de l'histoire.

3. L'augmentation du nombre d'images dans la vidéo

Pour obtenir un film, il ne suffit pas d'avoir une image grande et colorée. Il devrait y avoir beaucoup de ces images et elles devraient se remplacer très rapidement.

Une des façons d'améliorer les films est d'augmenter la vitesse à laquelle ces images se remplacent. Ou, comme il est juste de l'appeler, "augmentation de la fréquence d'images".

Et dans ce cas aussi, il n'y a rien de nouveau. Tout comme dans le cas de la décoloration et de la réduction de la taille des pixels, il n'y a aucun moyen d'obtenir des informations sur ce qui s'est passé entre les images.

On peut supposer comment le sujet s'est déplacé dans le cadre et l'a terminé sur les nouveaux cadres ajoutés, mais, comme dans le cas de la colorisation et de l'agrandissement, ce sera l'achèvement de nouveaux détails, et non la restauration de ce qui s'est réellement passé.

Ceci est mieux illustré par une photo d' une démonstration de réseau de neurones DAIN . (A en juger par la description de la vidéo "Arrivée d'un train" mentionnée plus haut, c'est ce réseau neuronal qui a été utilisé par ses auteurs pour augmenter la fréquence d'images)

Augmenter le nombre d'images dans une vidéo

Augmenter le nombre d'images dans une vidéo

Voici une comparaison de 3 options pour augmenter la fréquence d'images de 12 ips à 24 ips.

Le cadre supérieur gauche est la vidéo originale.
Le coin inférieur droit est le résultat de DAIN.
Les deux autres sont des solutions auxquelles les créateurs DAIN se comparent.

Comme vous pouvez le voir, dans les trois cas d'augmentation de la fréquence d'images, nous essayons de trouver l'état moyen entre deux images. Malgré le fait que l'option DAIN (cadre inférieur droit) semble plus nette que les options SepConv et ToFlow, elle montre toujours comment la chemise sur le dos et la tête est tachée.

Et même lorsque les technologies vont de l'avant et qu'il n'y aura pas de telles taches, cela ne changera pas la situation avec le fait qu'il est impossible de restaurer ce qui s'est passé entre les images, et tout ce qui nous reste à faire est d'établir une sorte d'état moyen.

Conclusion

En tant que spécialiste informatique, je comprends que ces technologies ne sont pas conçues pour préserver correctement les sources numériques. Des réseaux de neurones sont nécessaires pour produire un contenu beau et facilement glissable.

Par conséquent, les films sont colorisés, recadrés et ils augmentent la fréquence d'images.

C'est juste du show business, et les auteurs de technologies ne devraient pas se soucier de la façon dont les utilisateurs utilisent leur développement.

Mais, en tant qu'historien, je vois les résultats de l'utilisation de ces technologies. Une augmentation du nombre de photos et de films «améliorés par les réseaux de neurones» entraînera leur entrée dans des matériaux utilisés comme sources historiques dans diverses études. Des phénomènes concomitants conduiront à éliminer les anciennes versions des fichiers et à transformer les copies «améliorées» en seules disponibles (salut, « Digital Wear »).

Ce processus ne peut pas être arrêté, mais des approches peuvent être développées pour minimiser les dommages. En fait, c'est ce que le livre sur les études de sources numériques traite , et il s'adresse spécifiquement à mes collègues de l'atelier historique, et non aux spécialistes de l'industrie informatique.

Cependant, il existe un moyen accessible à tous, indépendamment de la profession, d'arrêter d'appeler le processus de création de contenu médiatique facilement digestible les mots "restauration" et "restauration", afin de ne pas créer une fausse impression parmi les non-initiés sur l'essence de ce processus et le produit résultant.

Il y a un autre mot pour cela:

— , , . -, , . (, ); , . , , . , ( ) , , . , - - — , (. ). , , , , . Si R. se limitait à corriger uniquement ce désaccord, son rôle aurait dû être reconnu comme hautement souhaitable et utile.

(La sélection en gras est la mienne).

Dictionnaire encyclopédique Brockhaus et Efron: Volume XXVIA, p. 624

Publié dans MILLE HUIT CENT ET NEUF-NEUF.

Comme vous pouvez le constater, ce problème n'est pas connu depuis le premier millénaire et était d'actualité même lors de la sortie du film original «Arrivée du train».

Quand j'entends les mots "restauré le réseau neuronal", je grimpe pour vérifier les sauvegardes