Intel® RealSense™ 深度增强摄影

摄影正处于一场激动人心的革命之中。英特尔，这家赋能并驱动数字时代发展的公司，开发了英特尔®实感™深度增强摄影 (DEP)，这是一种通过新的光学和处理技术实现艺术摄影的变革性方法。其结果是用户体验能够以强大的方式将虚拟世界与现实世界融合。简而言之，这是一种创建、呈现和体验视觉艺术的全新且引人入胜的方式。

什么是深度增强摄影 (DEP)?

DEP 通过捕获深度信息作为图像的一部分，将现有的数码相机技术扩展到三维。在图像捕获过程中为每个像素添加深度值，使摄影师能够利用激动人心的新用例，这些用例支持新的编辑和呈现机会，例如能够重新聚焦图像的一部分，或能够在保留背景的同时将滤镜应用于前景中的某个对象。这些图像的初始捕获可以使用例如采用英特尔实感技术的相机来完成，这些相机甚至在移动设备上也能提供。图像的捕获和附加元数据通过一种新的文件格式——可扩展设备元数据 (XDM) 来实现。

可扩展设备元数据 (XDM)

DEP 的核心是 XDM 深度增强文件格式，英特尔与包括其他领先科技公司在内的其他公司共同为该格式做出了贡献，旨在为 DEP 生态系统创建一个开放标准。XDM 规范，1.0 版，是一种在常见的图像容器（如 JPEG）中存储与设备相关的元数据的标准，同时保持与现有图像查看器的兼容性。XDM 增强的文件扩展了捕获和存储的图像信息，包括新的三维 (3D) 深度值。理解新格式的一种方法是考虑典型的 RGB 图像，它为每个像素存储三个颜色值。然后，为每个像素到相机的距离添加一个附加属性。此深度信息作为单独的“深度图”或“点云”添加到文件容器中。添加深度信息可实现与捕获照片的新体验和交互性。XDM 支持的文件还可以包含来自多个摄像机的数据。最低要求是单个具有深度信息的摄像机。第一个摄像机与容器图像（通常为 JPEG 格式）关联，而其他摄像机可以选择性地提供与第一个图像相关的附加图像、点云或深度图。一种场景是，还支持来自略微不同视角的附加全分辨率图像。

除了每个像素的新深度属性外，XDM 支持的文件还允许用户根据需要包含其他元数据，例如相机的方向、位置，甚至是制造商特定的传感器规格。英特尔正与其他技术公司合作支持和标准化这种新的文件格式，目标是创建一个全球标准文件格式，以便文件能够跨越从智能手机到台式计算机的各种平台。标准化图像格式也允许软件开发人员创建能够识别和支持在不同硬件平台上创建的文件的应用程序。

深度增强摄影应用实践

深度信息可用于扩展我们摄影概念的各种功能。英特尔提供了英特尔®实感™ SDK，其中包括针对摄影师图像处理应用程序的强大用例。英特尔还鼓励开发人员创建利用或扩展深度增强数据格式的全新用例。预计将普遍出现的的核心用例示例包括：

• 艺术滤镜/背景处理。通过将图像数据分解为图层，图像编辑软件可以实时应用各种滤镜（蒙版）。用户可以对单个图层应用滤镜，也可以在排除特定图层的情况下应用滤镜。一个简单的例子是为前景图层保留颜色信息，同时将背景图层转换为灰度。由于深度信息允许实时分离元素，因此甚至可以替换背景，正如吉姆·帕森斯 (Jim Parsons) 在一个商业广告中展示的实时虚拟绿屏那样。
• 景深变化效果。景深 (DoF) 是一个摄影概念，最初由相机镜头的光圈和焦距控制。简单来说，景深是场景中最近和最远的物体在最终照片中显得清晰的距离。摄影师使用景深来突出他们希望观众注意的照片中的元素。使用传统相机，即使是现代数字单反相机，用户也必须拍摄多张照片才能选择同一图像的不同景深。深度增强摄影图像允许摄影师在拍摄照片后更改景深。例如，可以一次性拍摄一张大型家庭聚会的照片，并与所需人数共享，最终图像只需轻触照片中每个人的脸部即可使其成为焦点，前提是照片中的每个人都处于焦点之内。这部由《生活大爆炸》中的吉姆·帕森斯 (Jim Parsons) 主演的视频展示了动态景深变化。
• 运动效果。深度数据的创意使用使我们能够创建具有运动错觉的二维 (2D) 图像。包含 XDM 的图像文件可用于创建视差和推拉镜头等运动效果。视差是场景中前景和背景对象之间的轻微位置差异，基于观看者的视线。通过操纵 XDM 文件中的前景和背景深度信息来模拟这种位置差异，可以从单张图像中产生强大的深度错觉。推拉镜头是一种更具电影感的特效，通过放大或缩小前景或背景图像相对于另一方的比例来创建。例如，在保持前景主体大小不变的情况下放大背景，会产生主体向后移动或缩小的错觉。相反，在保持背景大小不变的情况下放大前景主体，会产生主体向前移动或快速增大的错觉。
• 编辑。通过深度识别图层允许用户对文件进行广泛的静态或动态编辑。用户可以根据 XDM 文件中捕获的深度信息轻松地在图像的前景和背景之间插入对象。对象可以被移除并替换为新对象，而无需进行复杂且耗时的逐像素编辑。放置后，新元素可以移动或调整大小，而无需重新定义边界或花费更多时间进行进一步的详细像素编辑。
• 照片内测量。确定物体的大小可能是一项艰巨的任务。我们大多数人都曾需要知道一个盒子或一件家具的大小。图像中的 3D 数据允许用户快速估算物体的大小，而无需使用卷尺。一张房间的照片可以让用户在购买窗帘或新沙发时，通过平板电脑访问测量数据。

这一切意味着什么？

DEP 正在改变图像捕获、处理和查看的基本概念。它将我们对图像的理解扩展到三维，并在图像生命周期的所有阶段提供动态交互性。在许多方面，XDM 文件增强是一种新的图形媒介，与传统数字图像的差异，正如数字图像与基于胶片的化学图像的差异一样。正如数字成像为艺术家创造、处理和展示他们的艺术提供了新的机会一样，英特尔实感为人们提供了在动态、交互式环境中表达自己的新方式。

英特尔实感技术的其他方面更适用于科学和技术。英特尔实感相机提供高度精确的实时 3D 环境渲染，使无人机或机器人能够更有效地穿越复杂地形。这在自动驾驶汽车和卡车的持续开发中具有明显潜力，并且可以大大提高无人机（如火星探测器）的效率。

英特尔®实感™ 的未来发展方向？

英特尔实感技术正在开启一种新的图形表现形式。就像大多数变革性技术一样，无法预测它将如何改变我们与图像互动的所有方式。

许多制造商已经开始在其产品中包含英特尔实感相机。在你阅读本文时，新的应用程序正在使用英特尔实感 SDK 进行构建。显然，一旦 DEP 成为主流，移动设备上的相机将不再一样。

更多信息

• 在 https://software.intel.com/en-us/intel-realsense-sdk/download 下载英特尔实感 SDK。
• 在 https://software.intel.com/en-us/intel-realsense-sdk/details 查找英特尔实感 SDK 的完整功能集。
• 在 https://software.intel.com/en-us/articles/the-extensible-device-metadata-xdm-specification-version-10 详细了解可扩展设备元数据规范 1.0 版。

关于作者

Sean Golden 是一位作家和技术文档撰稿人。他最近的一份公司工作是一家全球金融服务公司的项目总监。他的背景包括管理金融产品开发、在线媒体、互联网和传统出版以及财富 500 强公司的数据中心合并等项目。在此之前，他管理了 15 年的应用和企业软件开发，并担任一套个人计算月刊的出版商。他拥有物理学理学学士学位。