使用 Cyclone® V SoC FPGA 创建实时 HDR 视频

每年，新技术都会带来更大、更好、更快的视频。20 世纪 90 年代末的创新普及了 720p 高清 (HD) 摄像机和显示器，随后很快出现了 1080p 和 4K。尽管取得了这些进步，摄像机在复制人眼的能力方面仍有不足。例如，大多数摄像机对阴影和高光的感知动态范围比人眼小得多。高动态范围 (HDR) 技术解决了这些不足，使摄像机更接近复制人类视觉的目标。然而，实时提供 HDR 仍然很困难。Intel® SoC FPGA 凭借其强大的处理能力，能够应对这些挑战，实现实时 HDR 视频。

HDR 内容的创建涉及在快速连续拍摄两张或多张不同曝光度的图像，然后将它们用于创建单个复合图像。这些操作对于静态摄影效果很好，但在摄像方面会带来挑战，因为拍摄对象会移动。色彩转换和伽马校正等基本任务会带来更多困难，尤其是在实时处理方面。

为了捕捉更宽动态范围的视频，Cyclone® V SoC FPGA 会处理来自两台摄像机的原始视频流，每台摄像机以不同的曝光级别进行流式传输，并将它们组合起来生成单个 HDR 流。使用两台相同的摄像机和 Cyclone V SoC FPGA，可以创建一个解决方案，实时提供 HDR 视频，而不会出现运动模糊和帧率降低等缺点。

解决方案组件

硬件

• Terasic DE10-Nano 套件（Cyclone® V SoC FPGA 和 ARM Cortex*-A9 MPCore 处理器）。
• 两台分辨率为 1280x720 的相同摄像机
• 显示器
• HDMI*
• 主机 PC
• 以太网

软件

• Intel® Quartus® Prime 软件
• Qt Creator* IDE

FPGA 在实现实时 HDR 中的功能

数据流 – FPGA 在接收 HDR 算法处理后的数据以进行显示时，会分别调整每个数据流的曝光级别。它将两个数据流同步到系统时钟。如果数据流中出现任何中断或延迟，频率会自动调整到较快的数据流，以确保两个数据流具有稳定的同步，并准备好进行伽马校正。

伽马校正 – 伽马校正是一种非线性操作，用于在视频或静态图像系统中对亮度（亮度）或三刺激值（RGB）进行编码和解码。带有 ARM Cortex-A9 MPCore 处理器的 Cyclone V SoC FPGA 能够进行浮点 DSP 计算，高效地执行此功能。此外，此解决方案的 GUI 具有一个直方图，实时显示视频流中每个颜色通道的亮度和像素数量。GUI 显示输出流或每台摄像机的流。

色彩转换 – 摄像机将帧作为 RAW 数据流传输到 FPGA。为了输出图像，该解决方案将 RAW 数据转换为标准的 RGB 格式。

彩色滤光片阵列 (CFA) 以网格模式或马赛克图案排列在图像传感器的像素传感器上。CFA 有助于捕获图像的颜色数据。现代数码相机采用称为 Bayer 滤光片的 CFA，其中数百万个独立的照相点收集颜色的亮度值（红色、绿色、蓝色）。

FPGA 使用双线性插值执行去马赛克处理，该过程是从不完整的颜色数据构建彩色图像。该方法通过对同一颜色周围像素的值进行平均来计算像素的 RGB 颜色输出。借助 Cyclone V SoC FPGA 架构，可以将 RAW 到 RGB 的转换过程应用于大规模数据集，并实现并行处理。

帧混合 – 尽管两台摄像机配置得非常靠近，但它们的视场仍然存在轻微的偏移。为了解决两个流之间的视差问题，Intel Soc FPGA 执行密集的 DSP 功能来正确地对齐和裁剪视频。使用更小的摄像机并采取更紧密的配置可以减小视差效应，从而减少裁剪和丢弃像素。

Intel® SoC FPGA 的优势

Intel® SoC FPGA 提供高性能解决方案，可实时提供 HDR 视频。其卓越的特性包括：

适应变化 – HDR 内容创建通常涉及使用单台摄像机进行多次捕获，并在 CPU 上执行数据组合。Intel SoC FPGA 提供了一种高效的替代方案。通过流水线和并行架构，该解决方案可以同时捕获和组合两个数据流，以实现实时 HDR。

I/O 扩展 – 更多的输入可带来更好的图像质量——使用更大的样本集进行更好的视频像素校正。Intel SoC FPGA 的扩展功能支持使用两台、三台甚至十台摄像机进行扩展，同时提供更高质量的 HDR。

性能提升 – 为了创建平衡的图像，原始数据流需要经过资源密集型的 RGB 转换和色彩校正任务。Intel SoC FPGA 可实时将 RAW 流转换为 RGB，从而减少输出延迟并提高最大帧率。

结论

该解决方案展示了实时提供强大 HDR 视频质量的卓越潜力。有关所有可用模块、组件和功能的更深入的细分，请访问竞赛页面 Innovate FPGA。

要开始使用，请参阅 GitHub* 上的源代码。