Get best of the week

Wenn ich die Worte "Wiederherstellung des neuronalen Netzwerks" höre, klettere ich, um Backups zu überprüfen

Ich bin nicht nur IT-Spezialist, sondern auch Technologiehistoriker. Dies bestimmt meine Reaktion auf die Nachrichten über die neuesten Errungenschaften auf dem Gebiet der digitalen Technologien. Vor einem Monat habe ich beschlossen, ein Buch für Menschen zu schreiben, die weit von der IT entfernt sind und sich in der Nähe historischer Forschung und Quellen befinden („ Digital Source Study - spezifische Probleme “ steht auf den Entwürfen der Buchseiten), in dem ich ihnen erläutere, wie sich die Entwicklung digitaler Technologien für sie entwickelt hat .

Ein paar Tage später blitzten die Nachrichten über das Internet auf: „Ankunft des Zuges“ wurde mithilfe neuronaler Netze verbessert - der Film von 1896 kann jetzt in 4K und 60 Bildern pro Sekunde angesehen werden. Dies ist ein guter Grund, IT-Mitarbeitern dasselbe zu erzählen.

Ich habe nicht den Originalfilm "Ankunft des Zuges", daher habe ich moderne Fotos (verkleinert oder verfärbt) + Fotos aus den 1930er Jahren (vermutlich) als Testmuster verwendet

Wenn ich die Worte "Wiederherstellung des neuronalen Netzwerks" höre, klettere ich, um Backups zu überprüfen

0. Was ist das Problem?


Das Problem, das diskutiert wird, ergibt sich aus der genauen Funktionsweise realer Historiker und neuronaler Netze.

Dem Laien zufolge sitzt der ideale Historiker ausschließlich im Archiv und arbeitet mit offiziellen und gut erhaltenen Dokumenten. In Wirklichkeit arbeiten Historiker mit den Quellen, die sie haben, und in der Form, in der sie zu ihnen gekommen sind.

In der Realität können neben offiziellen Dokumenten in Staatsarchiven auch persönliche Fotos, Briefe, Memoiren usw. als Quellen dienen. Leider arbeiten Historiker sehr oft nicht mit Quelldokumenten, sondern mit verschiedenen Kopien.

Haben Sie jemals den Satz gehört, dass verschiedene Symbole und Texte „auf den Listen zu uns gekommen sind“? In diesem Fall bedeutet das Wort „Liste“ nicht einen Katalog, in dem einige Arbeiten erwähnt werden, sondern eine Kopie dieser Arbeit selbst. Dieser Begriff kommt vom Wort "abschreiben".

Viele der Texte, Fotografien und Filme haben uns in Form von Kopien erreicht, und es gibt keine Garantie dafür, dass die einzige Kopie des Films „Siebzehn Momente des Frühlings“, die die Historiker der Zukunft erreicht hat, nicht nur eine gemalte und beschnittene Version sein wird. Denn die Wege der historischen Quelle sind unergründlich.

Auf der anderen Seite gibt es viele Neuigkeiten, dass das neuronale Netzwerk etwas wiederhergestellt oder verbessert hat. Es klingt wie eine Art Magie und viele haben das Gefühl, dass eine Art künstliche Intelligenz wirklich etwas wiederherstellen kann.

In der Tat spricht über jede Wiederherstellung von Farbe oder Details in kleinen Bildern nicht und kann nicht gehen. Das Programm fügt dem Foto oder Video einfach Elemente hinzu, die von den Algorithmen entsprechend festgelegt werden.

Leider ist es in der Realität unmöglich, das verlorene Bild wiederherzustellen, da der Bleichvorgang irreversibel ist und wenn ein Foto keinen Teil des Bildes enthält, kann es nicht nur auf der Grundlage desselben Fotos wiederhergestellt werden.

Daher machen neuronale Netze genau das Gleiche wie Menschen in solchen Fällen - sie phantasieren aufgrund ihrer Erfahrung.

Und jetzt werde ich zeigen, was sich aus diesen Fantasien ergibt.

1. Vergleich verschiedener Kolorierungsdienste


Obwohl das Ausmalen von Fotos und Filmen kein völlig neues Phänomen ist, steht es jetzt jedem zur Verfügung, der über einen Internetzugang verfügt, und viele Menschen nutzen diese neue Möglichkeit.

Wir leben bereits in einer Welt, in der es viele gemalte Fotografien von Soldaten des Großen Vaterländischen Krieges, den Innenräumen der Titanic, der königlichen Familie und vielen anderen gibt.

Für einen Uneingeweihten mag es so aussehen, als ob es darum geht, die ursprüngliche Farbe wiederherzustellen, und dass ein koloriertes Foto uns zeigt, wie Menschen und Gegenstände vor hundert Jahren tatsächlich ausgesehen haben. Anhand dieser Fotos kann jemand anfangen, Schlussfolgerungen über das Leben der Menschen in der Vergangenheit zu ziehen und verschiedene Ereignisse und Situationen zu analysieren.
Und obwohl ich die Unmöglichkeit verstehe, die reale Farbe eines Schwarzweißfotos wiederherzustellen, muss ich als Forscher überprüfen und sicherstellen, dass ich Recht habe.

Um diese Idee zu testen, habe ich zwei moderne Farbfotos aufgenommen, sie in einem grafischen Editor gebleicht und sie durch Online-Kolorierungsdienste geführt.

1.1 Kolorierung des Autos Ford A Phaeton


In diesem Fall habe ich ein Foto verwendet, das ich Ende Januar 2020 am Moskauer Flughafen Domodedowo aufgenommen habe. Ich weiß nicht, wie die Farbe dieser Autos mit ihrer Originalfarbe übereinstimmt, aber das spielt keine Rolle. In diesem Experiment überprüfen wir, wie genau die Farbe des gebleichten Fotos wiederhergestellt wird.

Kolorierung des Autos Ford A Phaeton

Ich habe dieses Experiment an Fotos verschiedener Autos durchgeführt und das Ergebnis ist unverändert: Alle Dienste lackieren echte Autos unterschiedlich, aber niemand malt richtig.

Gleichzeitig bevorzuge ich persönlich nicht die Originalversion, sondern die Farbgebung von deepai.org - eine ruhige Karosseriefarbe mit blauen Dachseiten. (Aber in dieser VersionDie Originalfarbe wird in den Streifen 2 und 7 angezeigt, aber ich mag Streifen 5, der von algorithmia.com gefärbt wird , wobei ein Teil gelb und ein Teil rot ist.

Das Problem mit der Autofarbe wird sehr einfach erklärt - Daten, die in jedes neuronale Netzwerk eingebettet sind. Und genau wie beim manuellen Färben zeigt das automatische Färben genau an, auf welcher Erfahrung das Färben gemacht wurde.

Das heißt, es gibt keine Frage einer Wiederherstellung der ursprünglichen Farbe der Rede und kann nicht gehen.

Natürlich gibt es Leute, die sagen, dass Sie noch mehr Fotos in das neuronale Netzwerk hochladen müssen, und dann wird alles in Ordnung sein, aber dies widerspricht dem Prinzip der neuronalen Netzwerke - sie mitteln einfach die in sie geladenen Daten und können nicht über die auf diese Weise gewonnene „Erfahrung“ hinausgehen.

1.2


Das nächste Experiment war mit einem Foto, das Architektur und viele Menschen in farbigen Kleidern zeigt. Das Originalfoto wurde zugeschnitten, verfärbt und in die Kolorierungsdienste hochgeladen.

Färbung des Brunnens am VDNH

Aufgrund der großen Anzahl zu lackierender Objekte ist das Ergebnis nicht so einfach wie beim Ford A Phaeton.

Ja, keiner der Gottesdienste malte die Statuen in goldener Farbe, roten Tulpen am unteren Bildrand und hellgrünen und hellblauen T-Shirts. Alle Dienste kamen jedoch hervorragend damit zurecht, ein weißes T-Shirt eines Mannes zu malen, der auf der Brüstung eines Brunnens saß, und eine weiße Bluse einer Frau, die mit einer Handtasche auf der Seite von rechts nach links ging.

Somit haben wir wieder ein vollständig vorhersehbares Ergebnis - die Kolorierungsdienste können die echte Farbe nicht wiederherstellen.

Der Vorteil dieses Beispiels besteht jedoch darin, die offensichtliche Tatsache nicht noch einmal zu wiederholen. Natürlich ist es notwendig und sehr korrekt, die offensichtlichen Tatsachen zu wiederholen, aber es gibt noch einen weiteren Punkt.

Bonus von 9may.mail.ru


Zusätzlich zum Färben führt der Dienst 9may.mail.ru den Vorgang „Fehlerbehebung“ aus. Wenn Sie nur ein koloriertes Foto mit einem kolorierten Foto vergleichen, mit dem Fehler entfernt wurden, finden Sie eine sehr interessante Funktion.

Bonus von 9may.mail.ru

Diese Abbildung zeigt ein vergrößertes Fragment des rechten Randes des Fotos mit einem Brunnen. Wie Sie deutlich sehen können, wurde während der „Beseitigung von Fehlern“ das skulpturale Element entfernt (ich werde es nicht wagen, seinen Namen zu nennen :)). Eine

ähnliche „Beseitigung von Fehlern“ wurde auch in anderen von 9may.mail.ru kolorierten Fotografien gesehen, aber dort Dies waren keine so großen Löschungen.

So wurde die historische Quelle nicht nur falsch gemalt, sondern hatte auch „Kratzer“, die einen Teil des Bildes zerstörten (was uns wieder auf die Frage zurückbringt: „Digitaler Verschleiß “) In

diesem Beispiel können Sie reibungslos zum nächsten Teil der Geschichte über die Auswirkungen der„ Verbesserung “von Fotografien durch neuronale Netze auf historische Quellen übergehen.

2. Vergrößerung des Fotos


Neben der Farbgebung gab es im vordigitalen Zeitalter eine Vergrößerung der Fotografien.

Das Ergebnis ist für beide Fälle das gleiche, wir sehen das minimale Element des Fotos. In der analogen Fotografie war es "Korn", jetzt wurde sein Platz durch das "Pixel" eingenommen, aber sie haben eine Essenz - es ist das minimale unteilbare Element (ich möchte wirklich "atomar" sagen, aber trotz seines Namens - das Atom ist nicht unteilbar :))

Wenn wir schauen Auf einem Schachbrett in einem optischen Vergrößerungsgerät (Teleskop, Fernglas usw.) können wir es dann „vergrößern“ und Details erkennen, die zuvor nicht sichtbar waren.

Wenn wir jedoch ein Schachbrett so fotografiert haben, dass es in eine Körnung / ein Pixel passt, gibt es keine Möglichkeit, jede Zelle einzeln zu „zoomen“ und zu erkennen. Wenn wir ein solches Bild vergrößern, sehen wir einen großen einfarbigen Punkt, an dem sich das Schachbrett befinden sollte.

Genau die gleiche Situation tritt auf, wenn wir die Pixelgröße eines digitalen Fotos eines Schachbretts ändern - Informationen über die Zellen auf dem Schachbrett gehen verloren, und es gibt keine Möglichkeit, sie nur auf der Grundlage desselben Fotos wiederherzustellen.

Im Allgemeinen ist es mir unangenehm, diese banale Idee zu sagen, aber wie die Praxis zeigt, ist die Idee der Irreversibilität der Reduzierung der digitalen Fotografie nicht für alle offensichtlich.

Von Zeit zu Zeit scheint es Nachrichten zu geben, dass ein neuronales Netzwerk das alte Foto vergrößert und verbessert hat, sodass wir jetzt die Details sehen können, die wir vorher nicht sehen konnten.

Genau wie beim Färben habe ich versucht, Online-Dienste auf echte Fotos anzuwenden.

2.1 Unbekannte Mühle aus den 1930er Jahren


Einmal, am Samstagabend, schickte mir ein Kollege einen Link zu einem Foto auf der Seite Perm State Archive in Vkontakte . 1024 x 705 Pixel, die mehrmals einer JPEG-Komprimierung unterzogen wurden, mit schlecht lesbaren Beschriftungen.

Unbekannte Mühle aus den 1930er Jahren

Wir hatten eine tolle Zeit, haben dieses Rätsel gelöst und am Montag bestätigte er unsere Ergebnisse, indem er ins Archiv ging und das Originalfoto studierte.

Auf diese Weise konnte ich ein Experiment durchführen und sehen, wozu neuronale Netze in der Lage sind.

Unbekannte Mühle aus den 1930er Jahren - Vergleich

Daher war die am besten lesbare Option die „einfache Erhöhung“ (im Allgemeinen las ich diese Inschrift, indem ich sie einfach auf dem Smartphone-Bildschirm vergrößerte).

biz.mail.ru hat das Etikett bei hoher Skalierung unlesbar gemacht, aber die Zeile „Acme Road Mach Co“ bleibt in einem bestimmten Maßstab teilweise lesbar.

Die übrigen Antragsteller machten so viel Lärm, dass die Inschrift überhaupt nicht mehr gelesen wurde. Obwohl es teilweise erkennbar blieb.

Das heißt, die Dienste zur "Verbesserung von Fotos" haben genau das Gegenteil bewirkt - sie haben das reale Foto verschlechtert.

Und wenn Sie sagen, dass die Verbesserung der Inschriften auf alten Fotos für solche Dienste keine Aufgabe ist, dann stimme ich zu, denn genau das ist das Problem. Tatsache ist, dass es diese Dienste gibt, die als Dienste für „Wiederherstellung“ und „Wiederherstellung“ positioniert sind, ohne den Benutzern die Risiken und Konsequenzen zu erklären, die mit der verwendeten Technologie verbunden sind. Menschen, die die Geschichte ihrer Familie oder ihres Ortes studieren, können ihre digitalen Fotos „verbessern“.

Und ich habe große Zweifel, dass sie alle das unverbesserte Originalfoto sorgfältig aufbewahren werden.

Ich habe noch ein Beispiel in Bezug auf das Perm-Archiv und die Zuordnung von Fotos, aber es wird im nächsten Update von Digital Source Studies erscheinen , und jetzt ziehe ich es vor, zu den Maschinen zurückzukehren, die ich bei Domodedovo fotografiert habe.

2.2 Haube Lorraine-Dietrich B36


Um die Möglichkeiten zum Vergrößern von Fotos zu überprüfen, habe ich eines meiner Fotos aufgenommen, die Pixelgröße von 4000 auf 3000 auf 1024 auf 768 reduziert und dieselben Dienste wie im Fall des Mühlenfotos aus dem vorherigen Beispiel durchlaufen.

Lorraine-Dietrich B36

Und wenn ein gewöhnlicher Betrachter solcher "verbesserten" Bilder sie nicht wirklich betrachtet, war ich an kleinen Details interessiert.

Haube Lothringen-Dietrich B36

Das Ergebnis war vorhersehbar.

Das Logo auf dem Kühlergrill ist erkennbar, aber verzerrt - die Linien sind gleichmäßig geworden.

Die seitlichen Entlüftungslöcher sind geglättet und nicht von Blendung an der Haube zu unterscheiden.

Es ist zu erwarten, dass viele kleine Details verschwunden sind, aber dieses Beispiel ist überhaupt nicht hier, um die Idee der Irreversibilität des Verlusts von Informationen aus einem digitalen Foto bei gleichzeitiger Reduzierung seiner Pixelgröße zu bestätigen.

Wenn Sie sich die Fotos genau angesehen haben, haben Sie bereits Anzeichen dafür gesehen, dass das neuronale Netzwerk hier funktioniert hat.

Bonus von letsenhance.io


Hier ist die Zeit, sich daran zu erinnern, wie neuronale Netze funktionieren - wählt geeignete Optionen aus ihrer eigenen "Erfahrung" aus, die sie als Ergebnis des Trainings erhalten haben.

Und jetzt werde ich zeigen, wie genau letsenhance.io das Foto um das Vierfache vergrößert hat, das ich zuvor um das Vierfache verkleinert habe.

Links sehen Sie das Originalfoto vor dem Verkleinern, rechts - nach Vergrößerung erhalten. (Ein reduziertes Zwischenfoto wird nicht angezeigt.)

Bonus von letsenhance.io

Ja, das stimmt - das ist das Gesicht des Affen.

Und wenn Sie in diesem Fall einen lustigen Fall sehen, das Problem des Trainings eines neuronalen Netzwerks oder dessen Missbrauch, dann sehe ich eine ganz andere Sache. Eine große Anzahl digitaler Fotos, die durch das neuronale Netz "verbessert" wurden und werden und in Umlauf gebracht werden. Einige von ihnen werden die Originale aufgrund ihres Verlustes ersetzen.

Und wenn ich vor dem Schreiben dieses Artikels nur die Probleme kannte, die mit der Mode zum Verbessern / Wiederherstellen von Bildern mithilfe neuronaler Netze verbunden sind, hat dieses Problem jetzt sein eigenes Gesicht gefunden.

Dies ist jedoch nicht das Ende der Geschichte.

3. Die Erhöhung der Anzahl der Bilder im Video


Um einen Film zu erhalten, reicht es nicht aus, ein großes und farbenfrohes Bild zu haben. Es sollte viele solcher Bilder geben und sie sollten sich sehr schnell ersetzen.

Eine Möglichkeit zur Verbesserung von Filmen besteht darin, die Geschwindigkeit zu erhöhen, mit der sich diese Bilder gegenseitig ersetzen. Oder, wie es richtig heißt, "Framerate erhöhen".

Und auch in diesem Fall gibt es nichts Neues. Genau wie bei Verfärbungen und Verringerungen der Pixelgröße gibt es keine Möglichkeit, Informationen darüber zu erhalten, was zwischen Frames passiert ist.

Es kann davon ausgegangen werden, wie sich das Motiv im Rahmen bewegt und auf den neu hinzugefügten Bildern fertiggestellt hat. Wie bei der Kolorierung und Vergrößerung handelt es sich jedoch um die Vervollständigung neuer Details und nicht um die Wiederherstellung des tatsächlichen Geschehens.

Dies lässt sich am besten anhand einer Aufnahme aus einer DAIN-Demo für neuronale Netze veranschaulichen . (Gemessen an der zuvor erwähnten Beschreibung für das Video „Ankunft eines Zuges“ wurde dieses neuronale Netzwerk von seinen Autoren verwendet, um die Bildrate zu erhöhen.)

Erhöhen Sie die Frames im Video

Hier ein Vergleich von 3 Optionen zum Erhöhen der Bildrate von 12 fps auf 24 fps.

Der obere linke Rahmen ist das Originalvideo.
Unten rechts ist das Ergebnis von DAIN. Bei
den verbleibenden beiden handelt es sich um Lösungen, mit denen sich DAIN-Ersteller vergleichen.

Wie Sie sehen, versuchen wir in allen drei Fällen der Erhöhung der Bildrate, den Durchschnittszustand zwischen zwei Bildern zu ermitteln. Trotz der Tatsache, dass die DAIN-Option (unterer rechter Rahmen) schärfer aussieht als die Optionen SepConv und ToFlow, zeigt sie immer noch, wie das Hemd auf dem Rücken und der Kopf verschmiert sind.

Und selbst wenn sich die Technologien weiterentwickeln und es keine derartigen Verschmierungen gibt, ändert dies nichts an der Situation, dass es unmöglich ist, das wiederherzustellen, was zwischen den Frames passiert ist, und alles, was für uns übrig bleibt, ist, einen gemittelten Zustand zu erstellen.

Fazit


Als IT-Spezialist verstehe ich, dass diese Technologien nicht dafür ausgelegt sind, digitale Quellen korrekt zu erhalten. Neuronale Netze werden benötigt, um schöne und leicht verrutschbare Inhalte zu erzeugen.

Daher werden Filme eingefärbt, beschnitten und erhöhen die Bildrate.

Dies ist nur Showbusiness, und Technologie-Autoren sollten sich nicht darum kümmern, wie Benutzer ihre Entwicklung nutzen.

Aber als Historiker sehe ich die Ergebnisse des Einsatzes dieser Technologien. Eine Zunahme der Anzahl von Fotos und Filmen, die „durch neuronale Netze verbessert“ werden, wird dazu führen, dass sie in Materialien gelangen, die in verschiedenen Studien als historische Quellen verwendet werden. Begleitende Phänomene führen dazu, dass alte Versionen von Dateien ausgewaschen und "verbesserte" Kopien in die einzigen verfügbaren umgewandelt werden (hi, " Digital Wear ").

Dieser Prozess kann nicht gestoppt werden, es können jedoch Ansätze entwickelt werden, um Schäden zu minimieren. Genau darum geht es in dem Buch über digitale Quellenstudien , und es richtet sich speziell an meine Kollegen in der historischen Werkstatt und nicht an Spezialisten der IT-Branche.

Es gibt jedoch eine Möglichkeit für alle Menschen, unabhängig vom Beruf, den Prozess der Erstellung leicht verdaulicher Medieninhalte nicht mehr als „Wiederherstellung“ und „Wiederherstellung“ zu bezeichnen, um bei den Uneingeweihten keinen falschen Eindruck über das Wesen dieses Prozesses und das daraus resultierende Produkt zu erwecken.

Dafür gibt es ein anderes Wort:
— , , . -, , . (, ); , . , , . , ( ) , , . , - - — , (. ). , , , , . Wenn R. sich darauf beschränkt hätte, nur diese Disharmonie zu korrigieren, hätte ihre Rolle als äußerst wünschenswert und nützlich anerkannt werden müssen.

(Mutige Auswahl gehört mir).

Enzyklopädisches Wörterbuch von Brockhaus und Efron: Band XXVIA, ​​S. 624

Erschienen in TAUSEND ACHTHUNDERT UND NEUN NEUN.

Wie Sie sehen, ist dieses Problem für das erste Jahrtausend nicht bekannt und war bereits zum Zeitpunkt des Erscheinens des Originalfilms „Ankunft des Zuges“ relevant.

More articles:


All Articles