448亿像素，荷兰国宝级名画高清重生，AI两个月扫描拼合，裂缝笔触清晰到令人发指
编者按：本文来自微信公众号“大数据文摘”（ID:BigDataDigest），作者：牛婉杨、朱科锦，36氪经授权发布。
疫情期间，“云”逛博物馆成为了艺术界新风潮。从故宫博物院到纽约的大都会博物馆，都推出了360度在家看展功能。
但是，要想在屏幕前体会到亲眼看到画作的震撼仍然不容易。多数画作扫描没有办法复原到作品的细节，画家的笔触和材料的质感，并不能满足艺术品鉴师们的高要求。
阿姆斯特丹国立博物馆决定打破这个魔咒，为全球艺术爱好者们送上一份大礼——一份有史以来最高清的电子版《夜巡》画作！
这幅扫描版的画作一经上线立刻引起了轰动，网友们纷纷表示：真的太清晰了，有种拿着放大镜看实物的过瘾感。
这幅扫描版的画作清晰度高达448亿像素(44,804,687,600像素)，扫描耗时近两个月时间，耗资300万欧元，力求最大限度的保留原画的画面，连笔触和裂缝都清晰可见。
所谓10亿像素数字信息图像(Gigapixelimage)是包含10亿以上像素的照片。一般来说，一张10亿像素图像的像素容量，比普通的1百万像素的数码照片的要高1000倍以上。这样的照片一般不是一次曝光形成,而是需要把很多张照片拼接起来。
这项庞大的工程由数据科学家Robert Erdmann领导的国立博物馆团队完成。借助机器学习软件，他们花了两个月时间把这幅高11英尺，宽14英尺的画作以超分辨率(macro-XRF)扫描了下来，又利用神经网络将扫描到的528张照片拼接起来，最终构成了这幅448亿像素(44,804,687,600像素)的高清图像。
2个月的时间扫描+拼合，完成448亿像素的《夜巡》
《夜巡》是伦勃朗最著名的画作之一，这幅布面油画于1642年创作完成，画的是17世纪荷兰一支警备巡逻队的集体照，享誉世界。
1975年，夜巡遭受过一次严重的伤害，一名精神病患者用面包刀在画作上连划12刀，博物馆对夜巡做了紧急修复，从那时到现在的44年里，研究人员一直在监测画作的“健康”状况。
因为时间太久，画面也出现了一些例如褪色的问题，画面右下角的小狗目前已经变成了白色，被人戏称为“幽灵狗”，画布上的油彩和清漆也都有开裂、剥落的迹象。
在伦勃朗逝世350周年之际，对《夜巡》最新的修复工作也随之展开。
要获取这幅画的高清电子版，首先要对画作进行一次全身的深度“扫描”。
由于这幅画过于庞大，而仪器每次可以获取的范围非常有限，机器需要一排一排的对画作进行扫描。在扫描过程中，Robert Erdmann的团队用到了多种成像技术，包括用X射线穿透油漆的各个图层。
机器上有红黄两个灯，黄色灯亮表示已开启X射线发生器但还未产生辐射，红色灯亮则代表机器开始扫描，也就意味着这时候机器正在运行过程中，会伴随着微量的辐射。
因为这项技术会用到X射线，所以团队被问到最多的问题就是，射线会否伤害到画作本身。参与修复项目的一位科学家Annelies Van Loon表示，控制距离和射线量的情况下，这不会威胁到研究人员的人身安全以及这幅画作，他们也会与机器保持2米以上的安全距离。
Annelies Van Loon
那扫描这么一幅3米多高的画作，需要多长时间呢？
别觉得有了机器的帮忙，就可以快速的修复完成，事实上，这个团队花了两个月的时间才扫描完整幅画作。
Annelies称，“每一次扫描的范围只有58cmx78cm，扫描画中的一排就需要花费21.5小时，往往机器一开就是一天。”
但Annelies认为这些付出都是值得的，因为通过扫描可以让我们看到一些原本肉眼看不到的细节。
将高清版《夜巡》放大到5340 dpi，分辨率4.75微米所能看到的细节
扫描完成，才算完成了一部分。接下来，该神经网络出场了。
国立博物馆称，利用神经网络，科学家们将24行的22张图片（共528张）进行数字拼接。
最终组成了这幅448亿像素的《夜巡》，每个像素之间的距离为20微米。
除了高清还原原作，这次的扫描工作还给了艺术研究者们一份“惊喜”。
Annelies表示，“当X射线被反射回来，会给我们一个数据。它可以告诉我们颜料的化学组成，这就是这项技术的特别之处。它还能让我们看到不同维度的细节，包括所用的材料、绘画的条件和绘画技巧。”
不仅如此，通过macro-XRF扫描技术，甚至可以让我们“穿越”到三百年前，亲身感受画作作者伦勃朗的创作历程。
博物馆负责人Pieter Roelofs详细介绍道，“通过识别单个元素，不仅能够识别出颜料，还有助于我们理解这幅画的构成，甚至可以感受到伦勃朗在创作时在某处的反复涂改，似乎很是纠结。”
Pieter还表示，“可以看出伦勃朗很努力地在创作这幅画，目前的评论家倾向于把他说成是天才，但从这次的扫描结果来看，他也非常的勤奋。”
《夜巡》修复项目是该馆有史以来规模最大的研究保护项目
阿姆斯特丹国立博物馆这一修复项目是从去年7月份开始的，项目开始后，这幅《夜巡》就被“封”在了博物馆画廊尽头，一个巨大的玻璃室里。
这也是自1808年这幅画进入博物馆以来，有史以来规模最大，最全面的研究和保护项目。
这个耗资300万欧元的研究和修复项目名为“守夜行动”(Operation Night Watch)，预计将持续数年。由于博物馆无法在这么长时间内将藏品中的瑰宝从参观者眼中夺走，调查和修复工作便只得在公众的众目睽睽之下进行。
国立博物馆的绘画保护负责人Petria Noble称，“在过去的10到15年里，我们取得了巨大的进步。大概从2007年左右开始，这些非侵入性技术已经彻底改变了我们进行研究的方式。”
“从每一种技术中都能得到一些信息。只有当你把所有这些技术放在一起，才能对这幅画的形态结构有一个清晰的了解。目前看来，数据收集过程将给博物馆带来很多好处。”
来一睹高清版《夜巡》的风采吧：
http://hyper-resolution.org/view.html?pointer=0.343,0.002&r=0.0000,0.0920,1.0000,0.6994&i=Rijksmuseum/SK-C-5/SK-C-5_VIS_20-um_2019-12-21
事实上国立博物馆的研究团队去年8月就完成了这幅画的扫描，疫情期间，这份作品也陪伴很多研究者继续进行艺术鉴赏工作。该团队还将扫描过程做成视频发布在了Instagram上，感兴趣的朋友可以自行观看👇
https://www.instagram.com/p/B00YJ7tFbyB/?utm_source=ig_embed&utm_campaign=loading
神经风格迁移，重塑丢失的艺术品
事实上，AI对于艺术界的贡献已经不是第一次了，此前，神经网络还曾让毕加索的一幅隐藏百年的“画中画”重新面世。
去年10月，在神经网络的帮助下，研究人员用神经网络重塑了一幅毕加索在其“蓝色时期”创作并绘制的图像。
这幅《老吉他手》 是毕加索“蓝色时期”最著名的画了。它可以追溯到1903-1904年，当时的毕加索正处于他一生最贫困的时期，因此他在画中用蓝色来表现他当时所经历的痛苦和凄凉。
在一般人看来这就是一幅毕加索的经典之作，然而艺术史学家们可不这么认为，他们觉得“画里有画”。
1998年，这幅画所在的芝加哥艺术研究所的文物保护师用X射线和红外光线拍摄了这幅画，发现涂料下隐约可见一张女人的脸。
当时这一发现就震惊了艺术界，因为一些艺术家在其早期特别贫困的时候，的确会在画布上重复作画。
直到去年，伦敦大学学院的Anthony Bourached和George Cann首次使用一种“神经风格迁移”的计算机视觉技术来揭秘毕加索的“画中画”。
Bourached和Cann拍摄了藏在《老吉他手》图纸下的“坐着的女人”这幅画作的X光图像的手动编辑版本，并通过神经网络进行转换。这个网络已经训练成熟，可以将图像转换成毕加索“蓝色时期”的风格。
咦，这不就意味着以后还可以重塑丢失的艺术品了吗。
是的，研究人员提出，将“神经风格迁移”技术应用于藏在图纸之下的艺术品的X光图像，可以达到重塑丢失艺术品的目的。
他们还使用同样的方法重塑了其他艺术家的画作，并表示这有可能改变艺术史学家的工作方式。
除了上述AI对于艺术界做出的贡献，利用机器学习还可以给线稿上色：
再刺激点，AI还能变成大画家，利用生成对抗网络，“吃掉”大量艺术家的作品，AI也能变成“毕加索”！一幅画值165美元，发家致富再不是梦。
随着近年来AI的不断发展，它已经伸向了各个领域。对于艺术界来说，它不仅能帮助我们重现名画，还能够激发人们的创造力，甚至给我们指出了一个艺术发展的新方向。
当然，这仅是一个开始，未来AI还能够帮助人类实现更多不可能。
相关报道：
https://www.vice.com/en_us/article/jgxxn8/this-448-gigapixel-scan-of-a-rembrandt-contains-staggering-detail
https://www.artnews.com/art-news/news/rembrandt-operation-nightwatch-rijksmuseum-13343/
https://frieze.com/article/operation-night-watch-revealing-rembrandts-secrets-and-you-can-watch-live