当我听到“恢复神经网络”一词时,我爬上去检查备份

除了担任IT专家外,我还是一名技术史学家,这决定了我对有关数字技术领域最新成就的新闻的反应。一个月前,我决定开始为远离IT领域并且接近历史研究和资料来源的人们写书(“ 数字资源研究-特定问题 ”写在草稿的网站上),在其中我将告诉他们数字技术的发展对他们有何影响。

几天后,这则新闻在互联网上闪过:“火车到达”在神经网络的帮助下得到了改进-现在可以以4K和每秒60帧的速度观看1896电影 ”,这是向IT人员介绍同一件事的一个很好的理由。

我没有原始电影《火车的到来》,所以我使用了现代照片(缩小或褪色)+ 1930年代的照片(大概是)作为测试样本

当我听到“恢复神经网络”一词时,我爬上去检查备份

0.什么问题?


由于实际的历史学家和神经网络是如何工作的,因此将出现将要讨论的问题。

根据外行人的说法,理想的历史学家仅位于档案中,并处理正式且保存完好的文件。实际上,历史学家会使用他们所拥有的资源以及他们来到的形式。

实际上,除了国家档案馆中的正式文件之外,个人照片,信件,回忆录等都可以用作来源,但不幸的是,历史学家通常不使用原始文件,而是使用各种副本。

您是否曾经听过这样的短语,即各种图标和文字“已经出现在列表中”?在这种情况下,“列表”一词不是指其中提及某些作品的目录,而是该作品本身的副本。该术语来自“注销”一词。

许多文字,照片和电影都以副本的形式到达我们,并且不能保证电影《春天的十七瞬间》唯一到达未来历史学家的副本将不仅仅是绘画和裁剪的版本。对于历史渊源的路径是难以理解的。

另一方面,有很多新闻表明神经网络已经恢复或改善了某些东西。这听起来像是一种魔术,许多人都觉得某种人工智能可以真正还原某些东西。

实际上,关于小图片中的颜色或细节的任何恢复都不是在说话,也不能走。该程序只是在其算法适当确定的照片或视频中添加元素。

不幸的是,实际上不可能恢复丢失的图像,因为漂白操作是不可逆的,并且如果一张照片没有图像的一部分,那么就不能仅基于同一张照片来恢复它。

因此,神经网络做的事情与人们在这种情况下做的完全一样-他们根据自己的经验幻想。

现在,我将展示这些幻想的结果。

1.不同着色服务的比较


尽管给照片和胶片着色不是一种全新的现象,但是现在,每个可以访问Internet的人都可以使用它,并且许多人都可以利用这一新机会。

我们已经生活在这个世界上,那里有许多绘有伟大卫国战争士兵,泰坦尼克号内部,王室内部和许多其他人的照片。

刚开始的人似乎是恢复原始颜色的问题,而彩色照片向我们展示了一百年前的人和物体实际的外观。根据这些照片,某人可以开始得出有关人们过去生活的结论,可以分析各种事件和情况。
尽管我了解从黑白照片恢复真实色彩的可能性,但作为研究人员,我必须检查并确保我是对的。

为了验证这一想法,我拍摄了两张现代彩色照片,并在图形编辑器中对其进行了漂白,然后将其驱动到在线着色服务中。

1.1汽车福特辉腾的着色


在这种情况下,我使用了我于2020年1月底在莫斯科多莫杰多沃机场拍摄的照片。我不知道这些汽车的颜色如何与其原始颜色匹配,但这没关系。在此实验中,我们检查了还原后的照片色彩的准确性。

汽车福特辉腾的着色

我在不同汽车的照片上进行了此实验,结果没有改变:所有服务对真实汽车的涂漆都不同,但是没有人正确涂漆。

同时,我个人更喜欢原始版本,而不是deepai.org的着色结果-一种带有蓝色屋顶侧面的沉稳车身颜色。 (但在此版本中原始颜色显示在编号2和7的条纹中,但是我喜欢由algorithmia.com上色的第5条,其中部分颜色为黄色,部分颜色为红色)。

汽车着色问题非常简单地解释-数据嵌入每个神经网络中。并且与手动着色相同,自动着色会根据进行着色的经验准确地进行指示。

即,毫无疑问,语音的原始颜色没有任何恢复并且不能进行。

当然,有些人说您需要向神经网络上传更多照片,然后一切都会好起来的,但这与神经网络的原理背道而驰-他们只是对加载到其中的数据进行平均,无法超越以这种方式获得的``经验''。

1.2


下一个实验是用一张照片显示建筑和许多穿着彩色衣服的人的照片。原始照片被裁剪,变色并上传到着色服务。

VDNH喷泉的着色

由于要绘制的对象数量众多,结果并不像福特A Phaeton那样简单。

是的,没有一项服务将雕像涂成金色,在图片的底部涂上红色的郁金香,并亮绿色和亮蓝色的T恤。但是,所有服务都巧妙地应对了一个男人坐在喷泉栏杆上的白色T恤和一个女人从右到左走着的白色上衣的手袋。

因此,我们再次获得了完全可预测的结果-着色服务无法还原真实颜色。

但是此示例的好处是不会再次重复显而易见的事实。当然,重复显而易见的事实是必要且非常正确的,但还有一点。

来自9may.mail.ru的奖金


除着色外,服务9may.mail.ru还执行“疑难解答”操作。如果仅比较彩色照片和已去除缺陷的彩色照片,您会发现一个非常有趣的功能。

来自9may.mail.ru的奖金

此图显示了带有喷泉的照片右边缘的放大片段。正如您可以清楚地看到的那样,在“消除缺陷”期间,删除了雕刻元素(我不敢说它的名称:)。

在其他由9may.mail.ru着色的照片中也看到了类似的“消除缺陷”,但是这些并不是很大的删除。

因此,历史来源不仅被错误地绘制,而且还具有“磨损”,从而破坏了图像的一部分(这又使我们回到了“数字磨损 ”)

这个例子使您可以平稳地转到有关神经网络照片“改善”对历史来源的影响的故事的下一部分。

2.增加照片尺寸


除了色彩之外,在数码前时代还存在照片放大的问题。

两种情况的结果都是相同的,我们开始看到照片的最小元素。在模拟摄影是“粮”,现在它的位置是采取的“像素”,但他们有一个本质-它是最小的不可分割的元件(我真正想说的“原子”,但尽管它的名字-原子是不可分隔的:))

如果我们看一下在带有放大光学设备(望远镜,双筒望远镜等)的棋盘上,我们可以“放大”它并找出以前不可见的细节。

但是,如果我们拍摄一个棋盘以使其适合一个颗粒/像素,则无法“放大”并单独辨认出每个单元。放大此类图片时,我们会在棋盘上看到一个大的单色斑点。

如果我们更改棋盘数字照片的像素大小,将会发生完全相同的情况-棋盘上的单元格信息将丢失,并且无法仅基于同一张照片恢复它。

总的来说,我在说这个平凡的想法时感到很尴尬,但是,正如实践所示,减少数码摄影的不可逆转的想法并不是每个人都显而易见。

有时会出现一些新闻,说某些神经网络已经增加并改进了旧照片,因此现在我们可以看到以前无法看到的细节。

就像上色一样,我尝试将在线服务应用于真实照片。

2.1 1930年代的未知工厂


一次,星期六晚上,一位同事给我发送了指向Vkontakte彼尔姆州档案馆页面上照片的链接。 1024 x 705像素,经过几次JPEG压缩,且标签可读性差。

1930年代的未知磨坊

我们度过了愉快的时光,解决了这个难题,星期一,他去了档案馆并研究了原始照片,从而证实了我们的发现。

这使我可以进行实验并查看神经网络的功能,

1930年代的未知磨坊-比较

因此,最易读的选项是“简单增加”(通常,我只是通过在智能手机屏幕上放大来阅读此题词)。

biz.mail.ru使该标签在高比例下无法读取,但“ Acme Road Mach Co”行在一定比例下仍可部分读取。

其余的申请者大声疾呼,以致于题字完全停止阅读。尽管仍然可以部分识别。

也就是说,“改善照片”服务的作用恰恰相反-它们使真实照片恶化。

而且,如果您说改善旧照片的铭文不是此类服务的任务,那么我会同意,因为这正是问题所在。事实是这些服务存在,它们被定位为“恢复”和“恢复”服务,而没有向用户说明与所使用技术相关的风险和后果。研究家庭历史或所在地的人可以“改善”他们的数码照片。

而且我非常怀疑他们是否都会仔细存储未经改进的原始照片。

我还有一个与彼尔姆档案和照片归因有关的示例,但是它将在Digital Source Studies的下一个更新中,现在我更喜欢回到在Domodedovo拍摄的机器。

2.2引擎盖洛林-迪特里希B36


为了检查放大照片的可能性,我拍摄了一张照片,将像素大小从4000减少到3000到1024减少到768,并通过了与上一个示例中的磨房照片相同的服务。

洛林-迪特里希B36

而且,如果普通观众看不到这些“经过改进”的图片,那么我会对小细节感兴趣。

引擎盖洛林-迪特里希B36

结果是可预测的。

散热器格栅上的徽标可以识别,但会变形-线条变得平整。

侧面通风孔已打磨平整,无法与引擎盖上的眩光区分开。

完全可以预期的是,许多小细节消失了,但是这个例子在这里根本不能再次证实在减小数字像素尺寸的同时从数字照片中丢失信息的不可逆性的想法。

如果仔细看照片,您已经看到了神经网络在这里起作用的迹象。

letsenhance.io的奖金


现在是时候回顾一下神经网络是如何工作的-从训练中获得的“经验”中选择合适的选项。

现在,我将演示letenhance.io将照片放大 4倍,而我之前将照片缩小4倍。

左边是缩小前的原始照片,右边是放大后得到的照片。 (未显示中间的缩小照片)

letsenhance.io的奖金

是的,没错-这是猴子的脸。

如果您在这种有趣的情况下看到了训练神经网络或其滥用的问题,那么我会看到完全不同的事情。即,已经并且将被神经网络“改善”的大量数码照片将进入流通。其中一些会因丢失而替换原件。

如果在开始撰写本文之前,我只是意识到与使用神经网络来改善/恢复图像的方式相关的问题,那么现在这个问题已经找到了自己的特色。

但这还不是故事的结局。

3.视频中的帧数增加


为了拍摄电影,仅拥有一张大而彩色的照片是不够的。应该有很多这样的图片,并且它们应该很快彼此替换。

改进胶片的一种方法是提高这些图片彼此替换的速度。或者,正确的称呼为“帧速率增加”。

在这种情况下,也没有新内容。就像在变色和像素尺寸减小的情况下一样,无法获取有关帧之间发生的情况的信息。

可以假设对象是如何在帧中移动并在新添加的帧上完成的,但是,如在彩色化和放大的情况下,这将是新细节的完成,而不是恢复实际发生的事情。

DAIN神经网络演示 的镜头很好地说明了这一点。 (从前面提到的视频“火车到达”的描述来看,正是这个神经网络被其作者用来提高帧频)。

增加视频中的帧

下面是三种将帧频从12 fps提高到24 fps的选项的比较。

左上方的帧是原始视频。
右下角是DAIN的结果,
其余两个是DAIN创作者比较的解决方案,

如您所见,在三种增加帧频的情况下,我们都试图找到两个帧之间的平均状态。尽管DAIN选项(右下框架)看起来比SepConv和ToFlow选项更清晰,但它仍显示出背部和头部的衬衫是如何涂抹的。

即使当技术进步并且不会出现此类拖尾现象时,这也不会改变这种情况,因为不可能恢复帧之间发生的事情,而剩下的就是绘制某种平均状态。

结论


作为一名IT专家,我了解这些技术并非旨在正确保留数字资源。需要神经网络以产生美观且易于滑动的内容。

因此,胶片会被着色,裁剪并提高帧频。

这只是演艺事业,技术作者不应该在乎用户如何使用其开发内容。

但是,作为历史学家,我看到了使用这些技术的结果。 “通过神经网络改进”的照片和电影数量的增加将导致它们进入各种研究中用作历史来源的材料。伴随的现象将导致淘汰旧版本的文件,并将“经过改进”的副本变成唯一可用的副本(嗨,“ Digital Wear ”)。

此过程无法停止,但是可以开发出一些方法来最大程度地减少损坏。实际上,这就是有关数字源研究,它专门针对历史研讨会上的同事,而不是IT行业专家。

尽管有一种方法可以使所有人(无论专业人士)停止将创建易于消化的媒体内容的过程称为``恢复''和``恢复'',以免在对此过程的本质和由此而来的产品的初学者中造成错误的印象。

有另一个说法:
, , . -, , . (, ); , . , , . , ( ) , , . , - - — , (. ). , , , , . 如果R.仅限于纠正这种不和谐,那么她的角色应该被认为是非常理想和有用的。

(大胆的选择是我的)。

《布罗克豪斯和埃夫隆百科全书》:第XXVIA卷,第624页,

出版于《千八百零九》

如您所见,这个问题在第一个千年就不为人所知,甚至在原始电影“火车到站”上映时也很重要。

All Articles