光场技术的过去，现在和未来

干货第一时间送达

“

光是人类对物理世界进行观测与感知最重要的载体之一，人类通过人眼接收场景中物体发出的光线(主动或被动发光)进行感知。成像感知系统是人眼的延伸，捕获、记录、分析场景的光信息。然而，现有的成像感知系统大多仅支持二维成像，迫使我们只能通过二维窗口去观察三维世界，从而丢失了三维世界的丰富信息。

”

当前内容创建方法

开发人员使用三种主要方法来创建移动或VR / AR / MR应用程序。每种内容方法通常基于其最终的显示设备或特定的应用程序要求，具有独特的优势。

3D模型–用多边形制作对象的表示形式。

摄影测量法–拍摄物体的许多照片，并使用软件生成此信息的3D模型。

视频–拍摄对象。

如果我们要构建“第一人称射击”游戏，则可能会将整个游戏创建为复杂的3D模型。如果我们想对现实世界进行超现实的表现，可以选择使用摄影测量法。如果我们正在制作360度纪录片，可能会使用视频。许多应用程序将这些技术无缝结合在一起以发挥其独特优势。

什么是光场？

使用Lytro的Immerge相机（2018）产生的光场示例

光场是三维世界中光线集合的完备表示，采集并显示光场就能在视觉上重现真实世界。

在人类的五大感知途径中，视觉占据了70%~80%的信息来源。借助视觉，我们能准确抓取杯子，能在行走中快速躲避障碍物，能自如地驾驶汽车，能完成复杂的装配工作。从日常行为到复杂操作都高度依赖于我们的视觉感知。然而，现有的图像采集和显示丢失了多个维度的视觉信息。这迫使我们只能通过二维“窗口”去观察三维世界。例如医生借助单摄像头内窥镜进行腹腔手术时，因无法判断肿瘤的深度位置，从而需要从多个角度多次观察才能缓慢地下刀切割。从光场成像的角度可以解释为：因为缺乏双目视差，只能依靠移动视差来产生立体视觉。再例如远程机械操作人员通过观看监视器平面图像进行机械遥控操作时，操作的准确性和效率都远远低于现场操作。

可以将光场想像成通向另一个世界的神奇窗口。

该窗口使用户可以从任何角度查看内部，并查看另一侧的内容更改。用户可以像现实生活中那样靠近窗口或移动到一侧，并看到不同的信息。如果用户非常靠近窗户，他们可以完全沉浸在这个其他现实中。当它们到达窗口边缘时，将看不到其他内容。光场的创建者可以根据其特定用途来决定该窗口的大小。

光场体积可创建从定义空间内每个可见位置拍摄的图像。当你的头部移动时，会实时交换正确的图像。如果你使用的是VR，例如上面的示例，那么每只眼睛都会交换单独的图像，以营造深度感。

为什么光场很重要？

早在1908年，加布里埃尔·利普曼(Gabriel Lippman)因他的“Photographie intégrale”(也被称为积分成像)获得了诺贝尔奖。这个发明是由许多微小的透镜组成的透镜的构想。这允许每个镜头捕捉略有不同的视图。Lippman的原始理论（现在称为虫眼透镜或微透镜阵列）只有12个透镜。

尽管获得了诺贝尔奖，李普曼实际上从未造过一台能正常工作的照相机!虽然他的想法是革命性的，但几十年来，这项技术仍然是一个不可思议的边缘概念。在同一时间，以高质量的方式捕捉如此多的图像，超出了早期摄影的新兴技术。最接近的商业用途是立体镜，它虽然非常流行，但只显示固定的立体图像。

Marc Levoy和Pat Hanrahan于1996年发表的SIGGRAPH论文“光场渲染”中的视频

在1990年代，探索光场得到了重生。个人计算机的兴起和实用计算机图形的创建使第一批真正的捕捉得以实现。像SIGGRAPH这样的创新中心让这些曾经的小众想法有了一个论坛。就像几十年前一样，这项技术在当时处于领先地位。

光场的好处是什么？

这种内容创建方法具有视频的优点，因为它是被捕获的内容的100%表示，是高分辨率的，是即时捕获，加上我们可以在立体声中看到，并可以在这个内容内移动，到一个预定义的程度。

斯坦福大学（Stanford）的多相机阵列示例（2002年）

OTOY（2015）通过自动相机捕获光场的示例

真实世界的内容可以通过微镜头阵列捕捉，即一个巨大的相机与一堆镜头。如上图所示，甚至单个或多个镜头也可以在空间中快速操作。

Frooxius（2015）通过Blender渲染的CGI示例，使用光场显示

或内容可以是计算机图形（CGI）。尽管这些可以渲染为3D对象，但是现代设备的计算能力受到限制。光场允许模型，纹理，照明和反射的最高保真度，这是实时无法实现的。

Joan Charmant（2016）使用Oculus Rift Dev Kit 2在VR中进行光场渲染的示例

重要的是要注意，光场实际上是在空间中漂浮的图像，它将正确的图像交换为用户的特定位置。这意味着，如果我们可以快速交换正确的图像，那么几乎无需花费CPU或GPU即可产生非常复杂的视觉效果。这些光场捕获技术上也是全息的。这意味着它们满足定义的预设范围内的所有可能的视图。

王挺春，朱俊彦，尼玛·哈迪米·卡兰塔里，阿列克谢·埃弗罗斯和拉维·拉莫莫蒂（2017）的``使用基于学习的混合成像系统进行光场视频捕获''中的光场视差示例

光场捕获有视差，一种基于头部运动的物体深度重叠。这增加了沉浸感和存在感，而这在360度视频中是无法实现的。我们也能在光场之间动画或捕捉光场序列，就像电影一样。

迪士尼研究院（Disney Research）的“带有压缩动画光场的实时渲染”中的动画光场的示例。由Charalampos Koniaris，Maggie Kosek，David Sinclair和Kenny Mitchell撰写（2017）

    王挺春，朱俊彦，尼玛·哈迪米·卡兰塔里，阿列克谢·埃弗罗斯和拉维·拉莫莫蒂（2017）的``使用基于学习的混合成像系统进行光场视频捕获''中调整相机焦点的示例

相对于拍摄时需要聚焦的视频，也可以根据深度动态调整光场的聚焦或光圈。这是因为光场可以基于所获取的数据来估计深度。

南加州大学创意技术学院混合现实研究主任兼南加州大学电影艺术学院副教授马克·波拉斯（Mark Bolas）举例说明了光场相互作用（2016年）

就像3D模型一样，可以将多个光场捕获合并在一起并进行操作。这种交互性是对静态视频的又一重大改进。完全控制大小，位置，更换光源或完全替换光场捕获，对于创造者而言，可能性是无限的。或者可以将光场与3D模型，胶片或摄影测量法混合使用，以增加对现实的错觉。

图片来自Marc Levoy和Pat Hanrahan的经典SIGGRAPH 1996年论文

但是光场还有另一个优势，那就是细微变化之间的大多数数据不是唯一的。因此，大多数数据都是不需要的，可以删除。通过删除此多余的视觉信息，可以压缩1000张高质量的小动作照片，并将其压缩到此大小的一小部分。

什么是摩尔定律？为什么现在有光场相关？

Fairchild Semiconductor和Intel的创始人Gordon Moore提出，在未来十年中，电路芯片上晶体管的数量每年将增加一倍。50多年后的今天，“摩尔定律”仍然保持着强大的地位，使我们的个人计算机中的魔力以指数级的速度增长。

但是，摩尔定律不仅涉及计算机的功能。其他计算机组件也取得了相同的指数增长。在过去的十年中，我们注意到图形芯片变得越来越小。电池变得更小，使用寿命更长。一切都变得更轻松了。这些中的每一项都使诸如手机，平板电脑和无线VR / AR设备之类的新发明成为可能。

RAM是您的计算机保存可供访问的信息的能力，RAM开始允许我们在移动设备上实现新的技术比如光场。

光场技术的应用展望

从全世界光场技术的发展趋势来看，美国硅谷的科技巨头如谷歌、Facebook、Magic Leap等争相布局和储备光场技术，有些甚至已经出现了Demo应用。目前光场技术在照明工程、光场渲染、重光照、重聚焦摄像、合成孔径成像、3D显示、安防监控等场合有着广泛的应用。

对光场技术的研究主要分为两大方面，包括 光场采集和 光场显示。

光场采集技术相对更成熟，目前在某些To B领域已经基本达到可以落地使用的程度。光场采集主要是提供3D数字内容，对于光场采集系统的硬件成本、体积、功耗有更大的可接受度。相关应用如吃到第一只螃蟹的Lytro光场相机，在工业领域的应用一直稳步上升。

相比之下，光场显示是偏向To C的产品，个体用户在成本、体积、功耗、舒适度等多方面都极度挑剔。光场显示除了能产生传统的2D显示器的所有信息外，还能提供双目视差、移动视差、聚焦模糊三方面的生理视觉信息。在光场显示技术发展过程中，出现了多种光场显示技术，最常见的有：多层液晶张量显示、数字显示、全息显示、集成成像光场显示、多视投影阵列光场显示、体三维显示。目前，光场显示正在通往商业化实用的道路上，最大的挑战在于光场显示设备的小型化和低功耗，这需要材料学、光学、半导体等多个基础学科的共同努力。

本文仅做学术分享，如有侵权，请联系删文。

下载1