65.9K
CodeProject 正在变化。 阅读更多。
Home

感知计算:感知 3D 编辑

emptyStarIconemptyStarIconemptyStarIconemptyStarIconemptyStarIcon

0/5 (0投票)

2014年1月17日

CPOL

11分钟阅读

viewsIcon

16819

技术在多大程度上可以用于创建和操作 3D 世界?

1. 引言

如果您熟悉感知计算及其一些应用,您无疑会想知道该技术在多大程度上可以用于创建和操作3D世界。自从第一批3D游戏问世以来,建模和动作捕捉一直是我们的应用程序制作工具包的一部分,各种软件和硬件应运而生,以满足对更沉浸式和逼真创作的需求。

当我们将感知计算视为在该领域提供新解决方案的下一个自然技术时,您可能会倾向于认为我们终于可以扔掉鼠标和键盘,完全依靠我们的真实双手来创建3D内容。当您开始这条道路时,您会发现这既是福也是祸,而本文将通过一位程序员的地图和一些路标帮助您找到方向。

图1. 一个简单的3D场景。问题是,这可以用感知计算创建吗?

读者应该对感知计算的概念有基本的了解,并熟悉控制应用程序所需的硬件和软件机制。不需要编程知识或特定的开发平台知识,只需要对3D内容创建的一种可能演变轨迹感兴趣即可。

2. 为什么这很重要

可以肯定地认为,越来越强大的设备带来的好处之一将是3D作为首选视觉表示方法的普及。真实世界以华丽的3D形式呈现在我们面前,并且仍然是我们首选的交互和观察维度。可以公平地得出结论,对3D内容和创建它们的工具的需求将继续增加,远远超出游戏行业的适度需求,成为全球性的渴望。

目前创建3D内容和场景的方法足以应对当前需求,但当每天有50亿用户想要体验新的3D内容时会发生什么?优秀的3D艺术家价格昂贵且难以找到,而制作优秀的3D内容需要很长时间!如果有一种其他方式可以满足这种需求呢?

3. 3D内容的类型

如果您熟悉3D游戏创作,您会意识到成功游戏中包含的几种3D内容类型。构成场景的地形和结构、扮演角色的角色,以及填充您的世界并使一切更逼真的物体。您还有3D面板和“平视显示器”向玩家提供信息,以及各种3D特效来吸引观察者。如果不用鼠标、键盘、控制器或雕刻硬件,我们将如何完成这些不同类型的创建?感知计算的创作过程会是什么样子?

4. 编辑整个世界

场景中的地形通常覆盖非常大的区域,需要设计团队来构建或使用程序功能来随机化世界。当不需要特定的位置细节时,您可以使用感知计算语音识别在几秒钟内创建您想要的场景。

想象一下,通过说“新场景”来启动您的新的免提3D编辑工具。

图2. 软件立即为您选择一个全新的世界进行编辑

然后您决定想要一些植被,所以您像变魔术一样用“添加树木”这个词将它们召唤出来。

图3. 通过第二个命令,您添加了树木

您希望您的场景设置为午夜,所以您说“将时间设置为午夜”。

图4. 使用夜间设置完全改变场景

最后,为了使您的创作完成,您说“更多山丘”,工具立即响应,在您的场景中随意添加了一些山丘。

图5. 通过一些额外的山丘使地形更有趣。

用户在几秒钟内有效地创建了一个崎岖而黑暗的整个森林世界。您或许可以看到这里生产力提高的可能性,但您也看到我们已经消除了对任何特殊3D技能的需求。现在任何人都可以创建自己的3D景观;他们只需要一个声音和几个常用短语。如果他们随时感到困惑,他们可以点击“帮助”,然后会显示一个完整的命令词选择。

5. 详细编辑3D

世界编辑示例没有什么了不起,也不是感知计算的专属领域,但它暗示了当您跳出框框思考时可以创建的界面类型。真正的挑战在于您想要编辑特定细节时,而这正是感知计算发挥核心作用的地方。

现在想象一下,在一般的世界编辑过程中,您想要创建一些特定的东西,比如说一棵特别扭曲的树,“添加树木”命令会过于笼统和随机。所以,就像您在现实生活中一样,您指向屏幕,然后说“在那里添加树木”。

图6. 当用户指向时,景观会突出显示以指示您指向的位置

不幸的是,引擎假定您希望树木在上下文中,并选择了与之前添加的相同的树木。幸运的是,我们革命性的新工具理解各种上下文,无论是选择上下文还是位置上下文。通过说“将树木改为扭曲”,树木会立即变成更合适的视觉效果。

图7. 我们的场景现在拥有用户想要的确切位置创建的特定内容

随着您增加工具的词汇量,您的用户能够添加、更改和删除越来越多的对象,无论是特定对象还是更普遍的世界属性。您可以想象让事物凭空出现或消失,或者用一个词改变整个世界会带来多么巨大的乐趣。

对于在您的世界中移动,使用完全相同的界面,但有额外的命令。您可以指向山顶或远处的山,然后说“去那里”。相机旋转可以通过手势短语“看那里”来处理,当您想保存您的位置以便以后编辑时,可以使用“记住这个位置”和“返回上一个位置”等命令。

6. 3D编辑的难题

任何文章都不会在不公正分析这种界面缺点及其对您的应用程序的影响的情况下完成。

鼠标相对于感知坐标的一个明显优势是,鼠标指针可以设置并保持一个特定的坐标数秒甚至数分钟而不会抖动。您甚至可以去泡杯茶,并非常确信当您回来时,您的指针仍会在同一个坐标。然而,感知坐标,也许是由指向屏幕的手指提供的,很少能够保持一个固定的坐标哪怕一小部分秒,用户尝试保持固定点的时间越长,他们就会越恼火。

键盘可以在看一眼并按下所需的时间内立即传达256种不同状态中的一种。要在相同的时间内让感知摄像头识别出256种清晰且正确的信号中的一种,充其量也只是雄心勃勃。

鉴于这些比较,应该指出的是,即使您在创建整个世界方面可以将生产力提高十倍,但如果您尝试在墙壁或建筑物侧面涂鸦,相同的生产水平可能会急剧下降。如果您能召唤激光从您的手指射出,或者获得眼睛激光的力量,您会很快发现即使是创建一条直线也多么困难。

这里的教训是,应该完全考虑创作过程的底层机制。我们可以用鼠标、触摸板和笔画直线,因为我们对此很熟练。我们不熟练用手指在半空中画直线。解决方案是提前预创建直线,让手指简单地应用上下文,这样软件就知道将直线放置在哪里。我们不想创建一个“手指指针”。我们想在墙上放置一条直线,所以我们改变了基本机制以适应我们的感知方法,然后它就能很好地工作。

7. 其他类型的3D编辑

同样的原理也可以应用于创建结构、角色、生物、无生命物体,以及您能为您的3D场景想象的几乎所有其他事物。上下文、指向和语音控制的结合可以实现令人难以置信的创意成果。

角色 - 就像您在流行的游戏机或您最喜欢的RPG中设计您的头像一样,为什么不让摄像头扫描您以获得创建角色的起点呢?发色、头部大小、面部特征和肤色都可以立即读取并转换为角色创建过程中的属性。快速识别您想要处理的身体部位,然后滚动选择,这更像是购物而不是创作,并且更有趣。

故事动画 – 与其聘请昂贵的动作捕捉公司,不如在感知摄像头前录制您自己的旁白脚本。它不仅会读取您的声音,还会跟踪您的上半身骨骼,并将这些动作印记到您打算应用语音的角色上。您的角色现在听起来和动画将像最好的AAA作品一样真实!

结构 – 相对少量属性的组合可以产生数百万种建筑设计,所有这些都在几秒钟内完成。以这两个示例和由两组命令创建的建筑为例:“五层。设置为砖块。五个窗户。[指向] 添加门。[指向] 移除窗户”和“一层。[指向] 添加窗户。到背面。添加三扇门。设置为木材。”当然,工具必须构建几何图形并对元素的互联性做出智能决策,但元素的类型并非取之不尽。

8. 技巧和窍门

要做的事

  • 养成习惯,不断将您的感知解决方案与传统方法进行比较。如果它更困难或更不令人满意,它真的应该被使用吗?
  • 定期在新的用户身上测试您的新界面模型。如果您的目标是更易于访问的编辑系统,您应该寻找没有传统创意技能的用户。
  • 请记住,在使用语音识别时,个人口音和母语将在您的最终软件如何被接受方面发挥巨大作用。传统的软件开发不会让您为该领域所需的测试水平做好准备。
  • 尝试使用其他技术来补充免提智能界面的概念。研究虚拟现实、增强现实和其他传感器。

不要做的事

  • 不要创建需要用户长时间伸直手臂的界面。这会让用户感到不适,并且长期使用会非常疲劳。
  • 在开发新的感知解决方案时,不要将键盘、鼠标或控制器排除在考虑之外。您可能会发现鼠标和语音控制适合您的项目,或者键盘和“上下文指向”适合另一个项目。
  • 在深入研究这种实验性开发时,不要假设项目长度可以确定。您将在全新的领域中使用早期技术,因此您的交付物不应一成不变。

9. 最终思考

作为技术爱好者,我们期待着全息甲板和与您的计算机像家人一样聊天的日子。您可能会惊讶地发现我们已经走在这条路上,这些神奇的目的地比您想象的要近得多。语音识别现在可用于日常应用程序;计算机可以检测我们正在看什么以获取上下文,并且我们拥有足够的处理能力来生产足够专业的软件系统,以在需要时填补空白。

我们所需要的只是少数勇敢的开发人员,他们足够固执,拒绝昨天的解决方案,成为寻找新解决方案的先驱。希望我描绘了一幅有吸引力的画面,展示了如何在不需要传统硬件的情况下表达创造力,并强调了现在技术已经存在的事实。这不仅仅是一个更好的工具或更快的流程,而是计算机上表达创造力方式的彻底转变。通过消除所有进入壁垒,并消除对技术熟练程度的需求,感知计算有能力以我们行业前所未有的规模实现创造力的民主化。

启发本文并记录其七周开发过程的应用程序和博客可在此处找到:http://ultimatecoderchallenge.blogspot.co.uk/2013/02/lee-going-perceptual-part-one.html

Lee还在他的博客上记录了他的程序员日常生活,包括屏幕截图和偶尔的视频:http://fpscreloaded.blogspot.co.uk

Intel 和 Intel 标志是 Intel Corporation 在美国和/或其他国家/地区的商标。
版权所有 © 2013 英特尔公司。保留所有权利。
*其他名称和品牌可能被声明为他人的财产。

© . All rights reserved.