65.9K
CodeProject 正在变化。 阅读更多。
Home

像终结者T-800一样看世界。Oculus Rift增强现实。

starIconstarIcon
emptyStarIcon
starIcon
emptyStarIconemptyStarIcon

2.60/5 (2投票s)

2015 年 7 月 15 日

CPOL

5分钟阅读

viewsIcon

9016

这款名为“TNG Augmented Rift”的移动增强现实设备拥有全视场增强现实能力,能够实现例如人脸跟踪、人脸识别、情绪检测、心率检测、距离测量等功能。

获取全新的Intel® IoT Developer Kit,这是一个完整的软硬件解决方案,让开发者能够利用Intel® Galileo和Intel® Edison开发板创建激动人心的新解决方案。请访问 Intel® Developer Zone for IoT

挑战

TNG Technology Consulting GmbH的硬件黑客团队于2015年3月公司冬季休假期间开始研发这款能够实现全视场增强现实的设备。

这款名为“TNG Augmented Rift”的移动增强现实设备拥有全视场增强现实能力,能够实现例如人脸跟踪、人脸识别、情绪检测、心率检测、距离测量等功能。同时还实现了语音识别用于命令和控制。

目标

目标是在一个工作日内用现成的硬件构建一个设备。在如此短的时间内,十一位TNG软件顾问成功实现了一个基于Oculus Rift DK2和Intel RealSense F200 3D摄像头的原型。经过几天的努力和一个核心团队(约六名TNG软件开发人员),我们为Augmented Rift添加了一些额外功能。

TNG Augmented Rift由Oculus Rift和Intel RealSense F200 3D摄像头等现成硬件组成。

特性

TNG Augmented Rift具有以下特性

  • 通过Oculus Rift DK2实现增强现实头戴式显示器(与HoloLense不同,它能够增强整个视野)
  • 您可以在Augmented Rift中看到许多实时3D元素

支持以下可见元素

  • 真实环境与增强信息和3D对象的混合
  • 人脸检测元素
  • 人脸跟踪信息
  • 面部地标
  • 情绪
  • 心率(文本显示)
  • (开发中)心率(图表显示)(“心电图模式”)
  • 用于命令和控制的语音识别(“Rift,我是Martin。” - “这是真的Martin吗?” - “是的!” - “从现在开始,我将记住用户100是Martin。”)
  • “终结者模式”(世界被红色半透明纹理增强)

设置

我们需要两个摄像头来捕捉真实世界环境。两个摄像头的视频流被合并成立体(3D)画面。摄像头处理器本身由不同部分组成。我们使用OpenCV库进行远距离测量和识别不在近距离范围内的人脸。

Augmented Rift由两个摄像头组成,用于捕捉真实世界。信息被流式传输到Oculus Rift DK2。Intel RealSense F200用于添加人脸跟踪、人脸识别、脉搏检测等功能。

Intel RealSense检测器使用F200 3D摄像头,可用于实现上述功能(近距离人脸跟踪、人脸识别、面部地标检测和跟踪、情绪检测等)。我们收集到的所有增强现实元素都被添加到我们的立体摄像头捕捉画面中,以增强真实世界环境捕捉并提供有用的信息。

等等,为什么?

当然,这款基于Oculus Rift DK2的设备有些笨重。但想象一下,在未来几年,如果使用的计算机和摄像头变得越来越小,会发生什么?不再需要Oculus Rift DK2来实现此类项目。我们需要的是带有集成式全视场透明显示屏的眼镜,以循序渐进的方式用增强现实元素丰富我们的世界。

如今的设备只增强了用户视野的一小部分(参见Epson BT200或Microsoft Hololens)。你需要专注于某个特定方向才能在显示屏上看到增强现实元素。Augmented Rift没有这个问题,但它很大。如果未来出现带有透明显示屏的眼镜,我们可以将我们的解决方案迁移到这些新设备上。

在Augmented Rift的前部,您可以看到两个摄像头,用于将立体捕捉图像流式传输到Augmented Rift中。如果使用带有内置透明显示屏的普通眼镜和R200摄像头,则不需要这些。

至少可以说,用于3D摄像头在这个应用领域太大了。但我们也可以使用全新的Intel RealSense R200。它非常小巧且功能强大,可以轻松地将其安装在眼镜上。重量几乎可以忽略不计。

我们希望尽快制作一段TNG Augmented Rift的视频。像真正的T-800一样看世界!未来已来!

亮相

Augmented Rift于2015年6月8日至10日在加州圣克拉拉举行的增强现实世界博览会(Augmented World Expo)的Intel展位上展出。6月12日,我们在慕尼黑举办的Big Techday上发表了演讲,有超过100名开发者参加。演讲结束后,数百人排队想要亲身体验具有“终结者模式”的Augmented Rift!此外,Augmented Rift在德国纽伦堡举行的开发者日(Developer Days)上被不同的电视台拍摄下来。

免责声明

TNG Augmented Rift由TNG Technology Consulting GmbH的软件顾问开发。Intel RealSense使用的软件部分由ParrotsOnJava.com开发。

Intel® 物联网开发者中心

立即开始创新!Intel® 物联网开发者计划提供知识、工具、套件以及专家社区,助您快速轻松地将您的创新想法转化为物联网解决方案。

利用Intel® Edison和Intel® Galileo平台的Intel® IoT Developer Kit,尽情畅想,尽情创造。这些套件功能多样、性能优化且完全集成的端到端物联网解决方案,支持多种编程环境、工具、安全、云连接和硬件。

如需更多资源并了解新的 Intel® 物联网开发者套件 v1.0 如何帮助您简化物联网项目

© . All rights reserved.