AR/VR/MR，Android开发者可以做些什么？

文| 谷歌开发技术专家 (GDE) 杨波 (Alpha)

随着 ASUS 在 CES2017 上宣布了全球第一款同时具有 Tango 和 Daydream 两种能力的 ZenFone AR，终于使得 AR/VR/MR 这些近来全球开发圈内超级热门的词汇可以让我们国内的 Android 开发者直接利用手中的 Android Studio 和方便入手的 Android 设备来进行虚拟开发的探索了!

三种交互

AR

增强现实，人眼接受到的光线包括了现实的光和 AR 设备屏幕发出的光，通过人眼的处理能力进行合成，增强现实感。

Phab 2 Pro 就是一款 AR 设备，可以拍摄可爱的小猫或小狗跟小宝宝一起玩的照片而不用担心安全，因为小动物都是虚拟的。

VR

虚拟现在，使用头盔或 Cardboard 完全遮挡住现实的光线，人眼只接受 VR 设备发出的光，跟现实完全隔离。

Oculus Rift, PlayStation VR, Samsung Gear VR 以及 HTC Vive 都属于此类设备。 

MR

混合现实，MR 设备自身具有三维坐标感知能力，随着人的移动，虚拟物体的显示也随着变化。

Hololens 属于 MR 设备。 

两大技术

Tango (屠龙)

正如 2000 年时 Sumsung 在 SCH-V200 手机上上添加了摄像头，手机开始了睁眼看世界的能力，现在 Tango 摄像头为手机添加了真实三维世界的感知能力。  

简单的讲，Tango 具有以下三大功能：

  • Motion tracking: 我在哪里，空间位置
  • Area learning: 前边有什么，看到什么
  • Depth perception: 前边有多远  

不论是使用 ToF (Time of Flight)，通过传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息。 

还是结构光计算，通过向检测空间内投射经过编码的激光光斑阵列，对空间进行标定并辅助计算三维空间位置。  

所得到的如下图中的 cloud point 数据，可以看到此时共采集到了 12464 个带有 XYZ 三维坐标的点。  

Daydream (倚天)

目的是要让用户得到最好的虚拟体验，通过定义了一组最低的硬件运行效果标准以及为开发者提供易用的 Daydream API，消除了导致用户眩晕的画面延迟，做到最高性价比的虚拟体验。  

硬件

Phab 2 Pro

全球第一款消费级的 Tango 设备，使用骁龙 652，4G 内存和 64G 存储，重要的是国内版本和国外版本都具有完整的 Tango 功能。

Android 感知三维世界的 ”眼睛”– Tango 组件:  

典型的应用场景:  

ZenFone AR

全球第一款消费级的 Tango+Daydream 设备，使用骁龙 821 来保证用户得到 Daydream 体验，第一款 Daydream 手机 Google Pixel 和 Asus Zenphone 3 也使用的是骁龙 821。由于 Daydream Viewer 现在兼容的手机尺寸是 5.0 到 5.7 寸屏，那么 ZenFone AR 搭配 Android 7 (Nougat) 的 5.7 寸屏用起来应当是相当顺手的。

Tango 开发

首先，你需要一款 Tango 设备，因为还没有可以模拟 Tango 相关摄像头硬件的模拟器，上节中 Phab 2 Pro 是很不错的开发机!

现在以 Java API 开发为例来进入 Tango App 的开发，如果你熟悉 Unity 3D 的开发，就直接用 Unity 3D 的 package，因为 80% 的 Tango App 都是用 Unity 3D 开发的，当然最多的就是游戏啦!

环境准备

1. Android Studio 2.2  

2. USB debugging

Phab 2 Pro 开启 Developer option 中的 USB debugging，没有 Developer option，那你肯定是 Android 开发新手，在 Settings->About phone 下连续点击 7 次 Build number 就可以召唤出 Developer option 了。 

获取示例代码



    

  1. git clone https://github.com/googlesamples/tango-examples-java.git    
    2. 





打开 Java Cloud point example 




直接 control + R  




选择 Phab 2 Pro 




如果出现以下错误:




    

  1. Error:Execution failed for task ':app:transformNative_libsWithStripDebugSymbolForDebug'. 
    2. 

  2.  
    3. 

  3. > java.lang.NullPointerException (no error message)  
    4. 



只需要将 compileSdkVersion 和 targetSdkVersion 的版本号跟 buildToolsVersion 保持一致。




安装成功  




在手机上可以看到 Cloud point，实时的总点数和点的平均深度。 




更多


https://github.com/lvonasek/tango


利用C API对采集到的Point cloud进行处理，实现三维重建的APP。


近似的扫描效果: 




Daydream 开发


再来重温下 Daydream 的目的，可以简单看到是 Cardboard 的升级版本，但却定义了一个可以满足用户体验的最低硬件标准并开发了一整套API来让开发者可以方便的开发出高质量体验的应用。


同样的 Daydream App 需要一个 Daydream ready 的手机来运行或可以运行 Cardboard apps 且大于 Android 4.4(kitkat) 的手机，这里同样使用 Phab 2 Pro。


使用 Daydream 主要用来完成以下开发任务:


    

  • Lens distortion correction.
    • 

  • Spatial audio.
    • 

  • Head tracking.
    • 

  • 3D calibration.
    • 

  • Side-by-side rendering.
    • 

  • Stereo geometry configuration.
    • 

  • User input event handling.
    • 



获取代码




    

  1. git clone https://github.com/googlevr/gvr-android-sdk.git    
    2. 





Android Studio


打开 gvr-android-sdk 




运行( control + R)sample-sdk-treasurehunt  




选择 Phab 2 Pro  




在手机上配合 Cardboard 或 Daydream Viewer (当然国内的各种盒子也是可以的，由于 Daydream Viewer 自由没有添加计算能力，只是在操作手柄上加了外置九轴惯性测量单元来辅助精确追踪)  




总结


使用 ZenFone AR 和 Daydream Viewer，预计总价不会超过人民币 5000 元，就可以不用拖长长的连接线，也不用再专门配备一个高性能主机，在家里完全自由的沉浸在Google Street View, YouTube, Netflix, Hulu, HBO 以及诸如 Fantastic Beasts ， Where to Find Them， Need for Speed 和 Gunjack 2 这些 VR 游戏中，不是安静的坐着，而是 360 度的自由视角。


完美 VR 的硬件和 API 已经准备好了，着手自己的开发计划吧!


作者：Alpha Yang


来源：51CTO
				


				
时间： 2024-04-18 14:45:43

		
		


		


	

	
	

		


		
AR/VR/MR，Android开发者可以做些什么？的相关文章


								

		

			

                浅谈VR、AR、MR
			

		

		

									

				要说2016年最火爆的科技技术,那么就要当属VR和AR了,它们使得人们在未来能更像好莱坞电影一样生活.工作,可是,有多少人知道VR和AR到底是什么吗? 下面,小编就给大家科普一下. 什么是VR? VR(Virtual Reality)虚拟现实,是近年来新兴起的一项高科技技术.虚拟现实是利用计算机模拟产生一个三维空间的虚拟世界,提供使用者关于视觉.听觉.触觉等感官的模拟,让使用者如同身历其境一般,可以及时.没有限制地观察三度空间内的事物,是一种多源信息融合的.交互式的三维动态视景和实体行为得计算机			

		

	

				

		

			

                PTC怎么做物联网？让AR/VR成为宣传队、播种机
			

		

		

									

				对于向物联网的转型和进击,PTC毫不掩饰其决心和锋芒:仅在最近两年,PTC先后投资6亿多美元收购物联网平台供应商ThingWorx.设备管理公司AxedaAxeda.机器学习和大数据预测分析公司ColdLight.增强现实技术公司Vuforia.通信数据连接软件开发公司Kepware. 不过物联网行业与PTC所擅长的CAD.PLM等传统业务领域不同之处在于,IoT产业链条太长.细枝末节太多.界定太模糊,这就意味着任何一家公司都可以从任何一个点来切入物联网市场.这将导致PTC的优势会不容易凸显,而			

		

	

				

		

			

                梦想照进现实 - AR/VR 篇 （作者：方如）
			

		

		

									

				在CES 2017大展上,Kino-mo公司的展台前面挤满了人.究竟是什么这么吸引人呢?原来这家公司利用全息裸眼方案 Kino-mo Holo Displays向观众展示了酷炫和惊艳的3D画面,令观众大饱眼福.这款AR产品主要由LED及旋转叶片投影机组成,当较细的叶片旋转后,会有一种透明消失的感觉.之后再将视频画面展示在高速旋转的叶片之上,造成投影在空气中的假象,加上特殊处理的3D视频,效果很逼真.  VR/AR CES展台情况 AR能产生各种惊艳的效果.言归正传,我们来看看CES 2017			

		

	

				

		

			

                备战未来，6款优秀的AR/VR开源库推荐
			

		

		

									

				如果说去年是" VR 元年",那今年则可以称得上是 AR 的爆发年.2017 年,VR 市场趋于平静,技术逐渐沉淀;而 AR 增强现实技术的关注度却在不断升温.前段时间发布的支持 AR 的 iOS11 ,也玩出了各种花样.接下来,推荐几款优秀的 AR/VR 开源库,希望能对大家有所帮助. 1.AR.js AR.js 是一款应用于 Web 的高效增强现实(AR)库,基于 three.js + jsartoolkit5,无需安装.它适用于任何带有 webgl 和 webrtc 的手机,且运			

		

	

				

		

			

                Android开发者指南(16) —— Activity and Task Design
			

		

		

									

				前言 本章内容为开发者指南(Dev Guide)/Best Practices/UI Guidelines/Activity and Task Design,版本为Android3.1 r1,翻译来自:"深夜未眠",欢迎大家访问他的博客:"http://chris1012f.javaeye.com/",再次感谢"深夜未眠" !期待你一起参与翻译Android的相关资料,联系我over140@gmail.com.   声明 欢迎转载,但请保留文章原			

		

	

				

		

			

                Android开发者指南(4) —— Application Fundamentals
			

		

		

									

				前言 本章内容为开发者指南(Dev Guide)/Framework Topics/Application Fundamentals,版本为Android2.3 r1,翻译转载并整理自译言:"biAji",原文地址:"http://article.yeeyan.org/view/37503/34036",再次感谢"bjAji" !期待你一起参与翻译Android的相关资料,联系我over140@gmail.com.    声明 本文档转载并整理自			

		

	

				

		

			

                Android 开发者如何函数式编程 （一）
			

		

		

									

				本文讲的是Android 开发者如何函数式编程 (一), 最近我花了一些时间学习 Elixir -- 一门极好的编程语言,适合初学者入门学习. 我在想,为什么我们不在 Android 开发中使用函数式编程的思想和技术呢? 大多数人当听到函数式编程时,他们会想到 Hacker News 发布的一些关于单子.高阶函数以及抽象数据类型的内容.这好像是一个离平时辛勤编码的程序员很远的神秘领域,它仅仅属于强大的黑客们. 不去管它!我要说你也可以学它,你也可以使用它,你也可以用它打造漂亮的应用 -- 拥有优			

		

	

				

		

			

                我的Android进阶之旅------>对Android开发者有益的40条优化建议
			

		

		

									
				
							
						

				下面是开始Android编程的好方法:  找一些与你想做事情类似的代码  调整它,尝试让它做你像做的事情  经历问题  使用StackOverflow解决问题 对每个你像添加的特征重复上述过程.这种方法能够激励你,因为你在保持不断迭代,不经意中你学到了很多.然而,当你发布应用时你还要做一些更深入的事情. 从一些可正常工作的代码到一个可怕的应用程序是一个巨大的跳跃,相比iOS平台Android更是如此 .当在iOS上发布应用时只是在一个设备上跳跃–你的手机–对很多设备而言都很相似–同样大小的屏幕,			

		

	

				

		

			

                Android 开发者（Android Developer）
			

		

		

									

				Android 开发者(Android Developer) 太阳火神的美丽人生 (http://blog.csdn.net/opengl_es) 本文遵循"署名-非商业用途-保持一致"创作公用协议 转载请保留此句:太阳火神的美丽人生 -  本博客专注于 敏捷开发及移动和物联设备研究:iOS.Android.Html5.Arduino.pcDuino,否则,出自本博客的文章拒绝转载或再转载,谢谢合作.       Android 开发者(Android Developer)官方网站在