一、项目背景

mDream Pictures.Inc 是一个多元化的新兴多媒体文化公司，于 2011 年在加拿大成立。长期从事于专业的电影制作，实时互动媒体视觉效果和手机等高科技产品的研发项目。互动媒体技术在艺术团体演出与舞台特效运用方面，在中国是一个新兴产业。同样在加拿大，也是少有的技术娱乐型产业。mDream Pictures. 的团队是在各领域有着卓越的成绩，主要分为技术团队和管理团队。此外，在开发这些技术点的同时，选定一个实验性的剧目，来配合技术的开发，进行导演构思及创作，并在大学的教学及研究上也结合这一特点，进行改进。

随着计算机硬件技术及软件开发的飞速发展，科技对艺术，文化的影响越来越重要。互动数字媒体技术是以信息科学和数字技术为主导，科技与文化的交叉的一门新兴学科和前沿学术研发方向。它通过人机交互生成的实时的计算机动画，图形，及声音等，包括游戏的制作，互动装置，及在教育，军事，医学领域的应用方面的开发比较广泛。 但是实时动态声像在传统艺术上，特比是舞台应用方面还是一个崭新的领域。如何把科学技术做到真正和艺术相结合，使演员和其声像在演出的三维空间中高度重合，并解决多声道声像追踪等技术， 是一个新课题，有很大的挑战性。

非互动的计算机动画作为背景，及提前制作好的灯光，音乐等舞美元素应用在舞台上，已经较广泛，有些国际的专业演出团也在用这些技术达到“假”互动的效果（给观众的感觉是演员和舞台效果的协调统一性，其实是演员经过无数次排列，配合提前只做好的影音效果），给演员造成了表演的很大负担。开发实时交互技术，解放表演的局限性，给演员更大，更自然的表演空间。

这一课题无论在国内外，都是非常新颖的，国内没有专业团体真正开发出成熟的技术，国外也是在探索及研发阶段。但交互影音在舞台的应用，随着科技的飞快发展，是一个必然趋势。实时动态声像定位系统研究与示范应用，是一个有无限潜力的行业，尤其是专业团体的演出方面。作为中央戏剧学院，上海戏剧学院，非常重要的专业院校，对培养导演，演员，舞美人员，领新的技术及教学方面，都有非常重要的意义，此项目也有着很大的市场价值。

现有的 ISS（Illimitable Space System）系统的系统功能主要是通过实时声像检测技术，人体体感技术，把人机互动的数据进行处理，达到实时的影像，同时能对人的手势和姿势进行分析及运算，包括人体的骨骼及关节信息等。也有语音识别功能，即人可以用声音来控制实时的影像。ISS 也包括互动投影技术，达到了混合现实的效果，即人们在操控虚拟影像的同时也把真实环境融入进了影像，从而增强了视觉及感官性。

三维空间的呈像，全息投影，动态的灯光及声响控制还需要继续开发。另外还需要解决 ISS 系统的一些局限性，如使用多台动作捕捉器，来检测到更大范围的演员在舞台上的表演空间等，多台投影机投影等。

二、技术简介

1.AR交互式纪实

AR 交互纪实同步讲解是新型技术和文化产业领域的跨界合作，通过在博物馆以及移动终端的下载安装，最终的目标是通过该系统在 2017 年-蒙特利尔成立第 375 周年之际，让游客在游览时了解蒙特利尔的历史，并且在门特利尔的各大景区安装网络间的活跃地点、移动应用软件及互动装置。

2.AR Interactive Documentary（混合现实，交互纪录片）

是由 AR 系统衍生出来的一个手机应用软件，通过在博物馆或者移动端下载软件，可以帮助用户更好的了解当地的文化、历史和风土人情。其中使用了 AR 系统，把虚拟的画面和现实画面在手机应用中同时展现出来，同时可以通过扫描特定的建筑、图片、商标和地标展示出更多的信息、视频和图像。在应用中打开手机的镜头，可以拍摄出虚拟世界中的画面与现实世界中的风景的紧密结合，给用户带来崭新的手机应用体验。其中不仅仅只用到了AR 技术，还有很多其他的专业技术。该项目是由 mDreams Pictures 与 Concordia大学著名教授和其他几位高级软件工程师亲历研究开发中，并在 Concordia 大学中进行实物测试。

3.头戴式显示器

头戴式显示器目前分为三个主要的类别：Meta glasses，hololence 和 oculus。其中的原理是一样的，只是针对的人群，产业和实际应用有所不同。这三种头戴式显示器都是佩戴式眼镜类的高科技产品，把虚拟世界和现实世界结合在一起后展示在用户眼前，有一种身临其境的感觉。不单单是视觉上有着与传统佩戴式眼镜类高科技产品的大幅度提高，在听觉，嗅觉都有所改进，甚至在不久的将来触觉也会有所涉及。

Meta glasses 基于 AR 技术实现了现实数据和虚拟数据的叠加，相当于一个方便操作与控制的任意门。和其他的眼镜式设备一样，meta glasses 也是投影成像，造型极其紧凑的投影仪隐藏在镜框内，由 LED 光源将半透式 LCD 上的影像投射到分光镜片上成像，采用半透明分光镜镜片和 ToF 摄像头，从而提供了立体的视觉盛宴。ToF摄像头是 Time of Flight 的缩写，也是光的飞行时间，通过测量光脉冲之间的传输延迟时间，就能得到物体的具体信息。

用途：目前 Meta glasses 主要用于实验室和创作型工作使用，因为其方便操作和价格适中，受到研究所的深爱。

Meta glasses 参数：

双 960×540 像素透过式 TFT LCD 显示， 23°视野

720p RGB 摄像头

320×240 像素红外深度探测摄像头

三轴加速度传感器、三轴陀螺仪、三轴罗盘

Microsoft HoloLens

Microsoft HoloLens 是第一台运行 Windows10 系统的全息计算机，它已经不受任何限制——没有线缆和听筒，并且不需要连接电脑。把一个全息图像呈现到真实物理环境中，提供了一个看世界的崭新的方式。Microsoft HoloLens 的产品特性有透明、全息、高清镜头、立体声，可以看到和听到周围的全息景象。完全运用高级传感器和新

型全息处理单元（HPU）让用户了解周围的全息世界。核心比较突出的技术是实时的三维计算、精准的 SLAM 系统和图像识别技术。

4.无限空间系统 ISS

无限空间系统，又叫做 Illimitable Space System,简称 ISS。是由加拿大 Concordia大学宋淼教授研发出来的技术，并由其专业的技术团队进行不断的完善和提高。ISS是应用 3D 体感摄影机 Kinect，进行即时动态捕捉、影像识别、麦克风输入、语音识别等功能。Kinect 能够发射红外线，从而对整个房间进行立体定位。摄像头则可以借助红外线来识别人体的运动。除此之外，通过高科技的软件，可以对多人进行实时的追踪。现有的 ISS系统的系统功能主要是通过实时声像检测技术，人体体感技术，把人机互动的数据进行处理，达到实时的影像，同时能对人的手势和姿势进行分析及运算，包括人体的骨骼及关节信息等。也有语音识别功能，即人可以用声音来控制实时的影像。ISS 也包括互动投影技术，达到了混合现实的效果，即人们在操控虚拟影像的同时也把真实环境融入进了影像，从而增强了视觉及感官性。目前主要应用于舞台效果和其他娱乐业产业上。ISS 技术在舞台效果的应用上，表现出超出平日舞台的效果的视觉感受，随着舞台背景的即时变幻，舞蹈也更加的生动，给观众带来即时的视觉与听觉的盛宴。

三、市场简介

在舞台效果中，无边时空系统应用 Kinect 的实时动态捕捉等功能，把演员们等表演者们的演出数据收集到电脑中，然后转换成动态的画面，并放到背景当中。这个背景是实时动态的，可以让演员们尽情的发挥，没有了以往的限制与束缚。并且舞台的背景不仅仅只是一个单一的东西，而是真正成为了舞台的一个部分，融入到舞台的表演当中。演员们与舞台的互动，将成为新的发展道路，并且这个系统会不断的更新与拓展，把这一技术做到极致。我们正在研究灵活和可调配的多模态互动无边空间系统平台－ISS,ISSV2,ISSV3 版本，这些系统可以在不同的平台和计算机环境下工作，我们的技术、特效团队针对不同的活动、舞台设备部署、设备安装等情况进行了模块和插件的设计开发。

四、知识产权

五、合作方式

合作开发、技术转让、专利（实施）许可等。