未来媒体访谈×马思伟：沉浸式媒体带你穿越古今
在万物互联的5G时代，媒体智能化已经成为不可阻挡的趋势和发展方向。人工智能技术与媒体如何融合？智能化会带来哪些媒体伦理问题？进入智能时代，媒体如何做好社会的“瞭望者”？新浪新闻、封面新闻联合推出《未来媒体访谈》节目智能媒体专题，探讨与智能媒体相关的问题。
本期嘉宾：马思伟，北京大学计算机学院教授，国家杰出青年科学基金获得者。主要研究方向视频处理与编码。曾获国家技术发明奖一等奖、国家技术发明奖二等奖、国家科学技术进步奖二等奖等奖励。
以下为访谈实录：
主持人： Hello大家好，这里是由新浪新闻和封面新闻共同推出的未来媒体访谈节目。从刚刚的小片我们可以看到视频技术在最近的三四十年可以说是在光速的发展着，从黑白到彩色影像，从都是马赛克的VCD光盘，到现在可以看得清人脸毛孔的高清4K片源，技术的发展可以说是永无止境的，那么现在更尖端的技术来了，那就是沉浸式视频体验技术。今天我们也非常荣幸地邀请到了北京大学计算机学院的马思伟教授来和我们聊一聊沉浸式媒体的技术与应用。
我们刚刚提到的沉浸式媒体，我们第一次想到的应该都是VR视频，VR游戏或者更早期的这个3D电影，那么我以上提到的，这是最早期的沉浸式视频体验了。
马思伟： 首先3D电影它还不是最初的这种沉浸体验，应该说沉浸体验它和我们技术生活水平是密切相关的。
立体眼镜发明时间是很早的，实际上是在18世纪就已经有对这个立体视觉是有发现，发明了这种立体眼镜，可以用这个去观看立体画就可以获得立体感。但是再早的时候，实际上是包括我们说远古时代，在法国拉斯科壁窟里边有那种整个狩猎场景的这种壁画，然后一进到这么一个大的场景之后，也会有很好的这种沉浸感，可以说这是远古时代人的这种沉浸感体验。
当然整个技术发展是很漫长的，实际上是在前期技术比较落后的时候，然后沉浸感一般来讲都是比较简单的，比如像18世纪的时候，人们坐热气球都还是比较奢侈的一种享受，怎么能够给一般的民众提供这种体验感？然后就有一个人发明了造了这么一个场景，类似于建了一栋楼，然后在上面有一些配的这种画，然后通过人去爬楼梯，然后他还可以看到这种各个角度的这个变化，视觉可以感受到不同的内容，我想这也是一种沉浸感体验，类似于像我们今天建各种主题公园也一样，是可以获得我可以不用去巴黎，但是我可以造一个埃菲尔铁塔，你也可以有一个这种对于现场观摩的感受，我想这都是一种沉浸感的形式。
主持人： 从您刚刚的介绍当中，我简单的总结一下，沉浸式媒体发展了近200年的历史，它视觉体验一直都是放在一个首要的位置，我这样理解是对的吗？
马思伟： 确实是视觉是很重要的，因为我们这个人获取的信息，比如说有80%以上是来自于这种视觉的。当然沉浸感并不是由视觉来提供，实际上是我们人呢，有视觉、有听觉、有触觉、有嗅觉，实际上这些都是综合起来才会提供这种全方位的沉浸感。
主持人： 这个人的感知是立体的，但是视觉仍然是第一道，也是最直接的一道刺激。这个沉浸式媒体对于这个视频有什么样的特殊的要求，是不是就是高清的4k就可以了呢？
马思伟： 实际上对于人的这种沉浸感来说，现在的高清的4K还是远远不够的，但是从视频上来讲啊，它一个是这种分辨率的提升，比如说未来还有这种8K、16K甚至32K更高的分辨率；然后还有一个是色彩，我们还是现实世界色彩更要比我们现在目前视频所能呈现这种色彩要丰富的多，所以基本上像视频还有更多这种色彩的呈现，这个也可以进一步提升这种沉浸感。
另外还有像这种视觉上这种帧率的感受，比如像目前我们通常这种视频是30帧每秒，但实际上如果运动比较剧烈的时候，我们可能需要有更高的帧率才能看得更清楚，才能有更好的这种沉浸感。
我想这个说是并不只是一个分辨率的问题，实际上对于这个视频来讲，还有其他的更多的维度去提升。
主持人： 任何行业的良性的发展都离不开它的一个规范，我想沉浸式媒体也不例外，那么沉浸式媒体是不是也有他自己的一套标准。
马思伟： 实际上目前在标准制定这一块是有很多的工作，一方面是国际上包括像 ISO、IEC、ITU国际电信联盟等等这些国际组织，它下边有一些专门的工作组来针对沉浸式媒体来做相应的标准。然后像有一个工作组称为叫MPEG运动图像专家工作组，然后他早先主要是制定很多像我们熟悉的这些视频编码的标准，VCD、DVD，以及蓝光碟等等这样相关的技术标准。
它现在也是正在制定这种面向沉浸式媒体的这种编码标准，然后包括是通常这种视频的表现形式的编码标准，还包括像视频加深度多视点，多路视频编码的标准，以及像包括这种电云形式的这种编码标准，这些都是媒体的一些表现形式。国际上是有很多标准工作在制定中，实际上在我们国内是我们有自己的AVS工作组，它早先工作也是专注于做这种视频压缩的标准，那么现在是针对沉浸式媒体这块，也有针对全景视频的这些拼接处理的压缩传输的这种标准的制定，但当然目前来讲是这些都还是在发展制定过程中，目前也没有说一个统一的标准，针对整个沉浸式媒体，所有的应用都可以支撑的。
主持人： 我们都知道现在奥运的比赛已经采取了8K的直播，但对于我们普通观众来说，其实它也只是比4K更清楚一些而已。您能不能具体的跟我们说一说这个和沉浸式体验有什么关系呢？
马思伟： 8K可以提供更宽的这种视角，本身确实也可以增强这种立体感，即便只是平面的2D的这样子，但实际上是说另外说分辨率提升之后，8K上去之后，它代表着可以传输更多的这种视频信息的能力。
我们通常说可以原来传一路视频可以变成传两路视频传三路视频，通过众多路视频就可以带来这种立体感，通常我们的立体电影立体电视，当分辨率上去之后实际上是这个还可以做其他一种呈现形式，比如像我们奥运会，原来传统的这种电视广播是导播切给你什么镜头，你就看什么内容，但是有了更高的分辨率之后，可以传输更多的内容，可以传全景的视频内容，然后可以留给观众自己选择他感兴趣的这种视角，然后来看到他更感兴趣的这种内容。像这些在这次冬奥会上也有很多的展现，比如谷爱凌，可以看到她360度的整个动作，那么这些东西都是增强沉浸感的一种表现形式。
主持人： 现在观众足不出户就可以有到现场的看足球比赛，看演唱会这样的体验。其实这对于我们疫情以后不能出门提供了一个非常方便的来享受现场体验感的机会。那么我想知道的是除了以上场景，沉浸式体验还可以应用在什么样的地方？
马思伟： 沉浸式媒体的应用有很多，现在我们说的比较多的一种是成为这种沉浸式文旅，可以不如出家门，也可以有这种文化生活的感受，甚至也可以进行旅行。
像我们现在有很多种数字博物馆，把一些博物馆这些宝贝搬到虚拟现实空间里边，你可以在家里边进行观看欣赏，然后有一种更好的这种临场感。还有像巴黎圣母院被烧之后，又开发了这种软件系统，然后VR的系统，甚至可以回到古代，能够感受到当初巴黎圣母院在中世纪建造的这个过程，然后你可以不用到巴黎去了，但是也可以看得到巴黎圣母院，甚至还可以看到没有建成时的这种巴黎圣母院，我想这些都是沉浸式文旅的一些应用，包括沉浸式媒体也在一些商业形式、购物这一块也有很多的应用，比如像现在有一些VR看房，比如说你可以不用到现场去看房了，戴上头盔之后也可以进到一个已经装修好的这种样板房里边，感受到它的这种装饰的风格的这种变化。我想这些都是沉浸式媒体的一些个很好的应用形式。
主持人： 那么在这个专业领域从专业角度来讲，沉浸式媒体又带来什么样的变化？由于沉浸式媒体能够带来很强的这种感受效果，有时候会对它印象很深刻，所以对这种教育培训实际上是非常有帮助的。
马思伟： 我们现在是也有这样的工作，比如做医学院里边做培训手术，当然你实际上让学生去做实际的人体手术一开始还是比较痛苦的过程，比如说如果是做成这种VR那种形式，它可以通过这种比较简单的那种交互形式，可以对某块骨头进行相应的操作，也对这个人的这种生理这种有更深刻的这种认识，还有像现在做体育训练这一块，然后我们知道有很多这种比较好的这种体育训练这种软件的系统可以直接获取运动员的各种参数信息，可以取得更好的成绩，夺得冠军。
主持人： 我们刚刚说了这么多沉浸式媒体的应用和优势和其他媒体相比较，它有什么不足之处？
马思伟： 沉浸式媒体目前面临的问题也还是挺多的，内容制作周期还是比较长，像制作一部短片还好，但是如果大制作投入成本还是很高的，当然它也和软硬件系统成熟度有很大的关系。
主持人： 这个制作周期有多长呢？如果是一个大制作的话。
马思伟： 大制作有可能会要论年的了，可能周期会比较长的。即便是比较简单的一些项目，可能也需要一两个月这样来做呈现。一个说这个是硬件成本比较高，然后还有媒体技术还处在探索期，包括这种技术标准也都不统一，然后有很多的方案，有很各个公司都有各个公司的方案，但是这些方案之间互相不兼容，然后造成一些内容只能在一些特定的设备上来进行播放呈现，所以这些也都是目前沉浸式媒体发展面临的一些问题。
主持人： 随着网络的技术的进步， AR、VR、元宇宙等等的这些沉浸式未来媒体将成为一种新的常态。那么目前各国的一个发展现状是什么呢？
马思伟： 关于沉浸式媒体，特别是像元宇宙这些热词，现在大家都说了很多，我们知道现在美国那边有 Facebook，然后还有很多在VR做很多工作，头盔内容制作等等这块投入很大，其实还包括像微软等等，它早先也有HoloLens戴头盔观看这些设备研发，然后在我们国内沉浸式媒体这方面也有很多的技术积累，然后包括像腾讯、百度等等都有很多的这种VR/AR的这种媒体解决方案，包括这些公司和像刚才讲的跟一些博物馆、一些旅游景点合作。
主持人： 我们说完国际上来聊聊国内，我记得在2016年全国两会就已经通过 VR进行了新闻的发布， 那这么多年过去了，中国在沉浸式媒体现在这个现状是什么样的？
马思伟： 早前2016年曾经被称为中国的 VR元年，然后再经过这6年确实是中国在沉浸媒体技术这块也还是有很多的这种进展的。像今年北京冬奥会上看到了这种全景视频的转播直播，这也是我们国家从视频内容的采集到中间编辑处理，比如说终端呈现各个环节都有很多的这些个提升。
实际上在这几年我们国家也有一批这种重点研发项目，支持了很多这些国内的研究机构以及企业等等啊有很多新的技术进展，总体来看包括一些硬件设备以及系统软件的开发这块都有很多的进步。
主持人： 那么根据您刚刚提到的这些发展脚步，未来中国的相关研究又会有什么样的突破？
马思伟： 我觉得未来的工作主要是有从这样几方面去开展，一方面是这种核心的算法，包括文案内容的处理制作这些技术，需要花大力气去加强的。
然后还包括这种基础设施， VR、AR内容目前数据量还是比较大的，这个5G但是对VR、AR传输也一样，还是颇具挑战性的问题，比如像传8K超高清视频，目前它的带宽是比较高质量的，也要到七八十兆，如果是对VR来讲，甚至这七八十兆还是不够的，所以这种通信技术通讯设施也需要再进一步的发展，所以像6G等等这些对于VR、AR应用来讲是迫切需要的。
然后还有其他的像系统软件，因为说我们国家在一些小的软件上工作还是不错的，但是在很多种大的这种系统基础软件目前还是比较薄弱的，这也是有很多这个需要我们国家去加强这种大的系统软件这种开发。然后还有一个是像核心的这种系统，核心系统的这种集成这一块，也是我们未来工作要做更多的事情。
主持人： 我们可以通过这些突破上的技术享受到什么样的福利？
马思伟： 应该是可以享受更好的这种生活感受了，包括这种文化、教育、医疗，比如像文化生活这一块，我们可能不需要去国家大剧院，但是也可以一样享受到在现场的那种音乐舞蹈这种演出的感受效果。
再比如像医疗这一块，通过这种AR、VR这种技术啊，使得远程医疗能够享受更好的医疗待遇。
再比如像培训教育这一块，当然疫情期间我们的孩子们已经在家上了很长时间的课了，但是大家知道目前这种它是比较简单的交互，也是老师进行这种视频的授课，我想这些都是未来我们可以享受到的更多的这种好的生活。
主持人： 这些会在短期之内实现吗？还是说要有一个比较长的时间？
马思伟： 我想这是有一个估计还是要有一个长期的发展过程，有些技术会比较快的应用到我们实际的生活中，像更多的交互手段，但是长远来看它的效果是慢慢提升的，就像我们从戴3D眼镜，然后戴比较重的头盔，到后来戴比较轻便的3D眼镜，大概也会有一个长期的这种发展过程。
栏目制片人：智惠群
本期嘉宾：马思伟 北京大学计算机学院教授
责任编辑：田甜雨