大数据文摘出品
作者：Caleb
年轻人，你渴望力量吗？
就是那种能在指尖召唤闪电，随手一扔就能造成大量伤害的力量。
现在，你只需要动动你的手指，就能在指尖形成一股能量，这股能量也能和现实世界产生互动，这个闪电还会消散形成细小的电流，在物体边缘上下流动，留下粉色的光芒。
就像这样：
这款名叫Let's All Be Wizards!的应用已经上线了App Store，售价2.99美元。不过由于需要利用到LiDAR，因此目前也只有iPhone 12 Pro和iPhone 13 Pro用户能够得到这股力量。
没想到吧，如此神奇的力量竟然也隐藏在你的手机中。
相关视频在Reddit和LinkedIn上都引起了十分热烈的讨论和围观，比如有网友就赞叹到，“和房间的联动也太厉害了吧”。
还有人表示，“这肯定是一个很棒的NFT”。
接下来就和文摘菌一起来看看这股力量的源泉吧~
深度传感器+机器学习，LiDAR也是关键之一
首先，除了一台支持LiDAR的苹果手机外，还需要准备到Unity 2020.3LTS和ARFoundation。
既然力量要从手中展现，那就必然要对手部进行捕捉，这就需要60FPS手部检测（60 FPS hand detection）
也正是基于此，LiDAR就显得尤为必要，因为位置允许手上的准确照明（次表面散射）或边缘检测（用于最后返回的火花）以真正将原生世界和虚拟世界融合在一起。如果没有实时深度估计，这些功能都不可能实现。
空间网格上的照明也是通过5个渲染器通道来实现的：
-
每个像素（屏幕空间）的法线和距离
-
背景相机和手部遮挡
-
手部次表面散射照明
-
光晕和游戏空间fx（实际上，每个能量球一次通过）
-
透明和不透明对象
正如项目作者Olivier Goguel总结的那样，“由于深度传感器和基于视觉的机器学习，我们可以实时创建手及其周围环境的数字版本，以生成虚拟和真实物体无缝交互的3D环境”。
该项目也已经在GitHub上开源了，详细过程大家也可以自行前往查看：
项目链接：
混合现实和物体识别打破游戏和数据的束缚
翻开Olivier Goguel的LinkedIn主页，文摘菌也被这满满的履历“闪瞎了眼”。
作为一名电子游戏爱好者，Goguel先后在Argonaut、Lagardere Active、Mimesis Republic、Namco、Microsoft和Asobo Studio等大型电子游戏公司工作了超过25年。也正是这些经历，让他有机会将一些技术和思维应用于许多娱乐项目上，其中就包括AR/VR体验。
目前他在HoloForge Interactive担任CTO一职。
在HoloForge Interactive的官网上，他们就表示，他们要在个人、地点和数据融合的体验中，打破束缚，充分发挥其潜力。
比如在2016年，他们就与Microsoft合作，开发了通过混合现实和物体识别进行体验的游戏Young Conker。
在游戏中，场景都将直接在房间里构建，比如敌人会出现在咖啡桌周围，你的沙发里可能藏着要收集的物品，你需要蹦床去看电视等等。关卡也会随着环境而适应并随之变化。
在这个项目中，开发者们需要攻克以下几点难关：
-
环境识别：游戏检测环境的拓扑结构，然后找出其组成部分。系统需要检测房间中的地板、墙壁和天花板以及各种不同类型的家具，并与游戏中的角色创造独特的互动。
-
交互：玩家可以用目光移动主角，无需操纵杆即可实时精确控制游戏操作。
-
Room Solver AI：游戏使用空间映射工具，并采用人工智能自动生成关卡和角色定位。
-
与角色真正联结：由于游戏知道玩家的位置和正在寻找的位置，因此每个角色都可以以不同且令人惊讶的方式对玩家的存在做出反应。
Local Lenses如何改变对城市的观看方式
说到AR，文摘菌印象最深刻的还要属前年Snapchat推出的一个户外AR项目Local Lenses。
这个AR项目与专注于地图的竞争对手不同，Snap计划让用户使用数字内容来改变社区的外观，用户可以“用彩色油漆装饰附近的建筑物”，效果将对朋友可见。
从官方安利视频上看，Snapchat的这个AR简直是手残党福音了，你能随意对城市进行填涂，操作起来也很简单，只需要在Snapchat上调用摄像头，City Painter就能让你在街道上方喷洒红色和蓝色的“喷泉”，然后用预先设计的涂鸦对墙面砖块进行装饰。
文章评论