“新闻”的再定义：元宇宙技术在媒体中的应用

整理｜小资

栏目｜米塔之家.行业前沿

来源｜中银证券

图片来源 ｜虚拟人行业深度研究

摘要：虚拟现实技术作为元宇宙的核心技术，正在驱动一场数字新闻业的变革，在近十年新闻业的颠覆式创新中，它已经产生了重要的作用，催生了沉浸式新闻。沉浸式新闻正在改写新闻的定义——“新闻是新近发生的事实的报道”，在沉浸式新闻中，新闻成了用户对重构的事实的临场感知。与此同时，新闻的特性和功能，也随之发生了改变。沉浸式新闻的作用于用户的机制是怎样的？存在什么样的风险？这些都是需要学术界研究的问题。

关键词  虚拟现实；元宇宙；沉浸式新闻；智能传播

互联网出现以来传播技术日新月异，大数据、智能化、移动化已经具象为各种新型运用。新近的“元宇宙”热潮，已经被互联网产业界视为一次新型革命。元宇宙是具有社交性质的空间，是现实与幻想的融汇。所谓理想的元宇宙，是不停运转的、和现实同步的世界，人们在元宇宙中所拥有的一切都在现实世界中有相对应的映射。澎湃新闻挑选了字节跳动、腾讯、Roblox、Meta、Epic Games、Microsoft 6家中美公司，盘点其在元宇宙方面的投资、收购和开发等行为，从不完全统计中可发现，从2021年开始，各大企业明显提速布局元宇宙。作为“移动互联网的继承者”，它仍是应用程序运行和存在的地方。

在新闻传播领域，不仅元宇宙相关技术的运用逐渐增多，而且元宇宙相关的公司所布局的领域，也已经与新闻业相关。因此，有必要密切关注元宇宙这一新兴技术热潮对新闻传播的影响：元宇宙关涉的技术，如何在改变新闻传播业？与新闻原则之间存在何种张力、它会重新定义新闻吗？其作用于用户的机制是怎样的？存在什么样的风险？这些问题，值得我们现在和将来探讨。

21世纪以来，虚拟世界与新闻业的交叉汇合若隐若现。在美国，2002年Linden实验室上线了一个基于因特网的虚拟世界，即后来风靡数年的“第二人生”（Second Life）。注册过的用户成为那里的“居民”，可以通过虚拟化身互相交流、闲逛，参加个人或集体活动、发生性关系，建立社区、经营企业，制造和相互交易虚拟财产和服务。人们可以自己定义与别人交互、玩耍、交易、交流的独特方式。它被当作虚拟世界潜在社交应用的试金石，它不是通常意义上的游戏，因为它没有设定的叙事。它的唯一目的是创造一个用户可以参与的世界。

“第二人生”这个虚拟世界有着繁荣的新闻业，有3份发行量达到10万份的报纸。2010 年《新闻研究》（Journalism Studies）上刊出了学者对于“第二人生”新闻业的研究论文，指出每份报纸都重视与读者的互动，都重视使用各种新闻策略来教育和告读者。“第二人生”中的新闻业最初的社区成员在匿名、多重身份的世界中尝试从事新闻工作；随着“第二人生”的经济发展，以及宝马、美国职业棒球大联盟和美国服装公司等“现实世界”公司开始在这个虚拟空间内运营，路透社也开设了一个虚拟部并指派两名记者报道有关“第二人生”虚拟货币和运营业务的故事，即现实媒体公司在其中办新闻业。

Linden实验室在开发这个应用时，是受到计算机朋克文学运动的启发，尤其是尼尔·斯蒂芬森(Neal Town Stephenson)的小说《雪崩》（Snow Crash）的影响。Linden实验室说他们的目标是要创造一个像斯蒂芬森描述的“元宇宙”那样的世界。实际上“第二人生”的成长和影响比许多人预期的要更有限，虽然许多人从虚拟经历中获得意义，但那只是作为一种“平行体验”，为人们的“第一”生活的局限性提供一个解放的出口。如今新一代虚拟现实技术尤其是智能3D，拥有的计算能力、屏幕分辨率和刷新率，远远超过一二十年前，人们可以在便宜小巧的便携式设备中使用，如耳机、头盔、手机。新一代虚拟现实技术寻求的虚拟体验的社会影响和对人的生理影响，对新闻业的影响要深远得多。

随着众多科技公司开发可以显著改变人类生活的技术，新闻业也正在开辟一个新的空间。3D、VR等虚拟技术，就是在人工智能之外新闻业目前尝试的主要技术，与“第二人生”中虚拟新闻实验模仿的传统现实世界的报道不同，这些新型虚拟世界中的新闻，需要一套完全不同的技能和方法，并且显示出不同的特性。

（一）虚拟技术的变迁与特性

目标用于新闻业的虚拟技术，主要包括虚拟现实、智能3D、混合现实。这些技术是不断发展的，并且正在与人工智能技术融为一体。这里以3D技术为例，了解一下其变迁的过程、特性及其对新闻传播运用的影响。

3D即三维（3 dimensions），是由长、宽、高三个维度所构成的空间。3D利用人眼左右分别接收不同画面，然后大脑经过对图像信息进行叠加重生，构成一个具有前-后、上-下、左-右、远-近等立体方向效果的影像。人类拥有与生俱来的3D环境感知能力，我们能够用双眼捕捉图像、通过大脑处理形成立体视觉，去辨认物体的形状、他人的动作，感知之间的距离。人类能够自如地跟这个三维世界进行交互。人类也努力为机器赋予3D“感知能力”。20世纪70年代，工业界便开始应用激光雷达、结构光、ToF（飞行时间）等3D感知技术进行测量、扫描物体，从而提高生产效率。经过发展，3D感知硬件从工业界走向大众，尤其是2017年结构光系统首次集成于手机，此后小型化的结构光和ToF运用于越来越多的智能手机，适用于更加多元化的场景、占用空间更小。

但是，硬件只是基础，如同人类双眼只是能捕捉立体图像信息，而真正理解万物和人类之间的各类交互行为，依靠的还是大脑的学习能力。对于机器来说，能学习这些能力的“大脑”，就是人工智能（AI）技术。因此，AI+3D技术正在变革感知技术，有望通过智能手机等小型终端设备，运用于众多的应用场景。智能技术可以帮助解决图像处理的困难：机器依靠摄像头来捕捉现实世界的影像，传统的RGB摄像头仅能捕获场景中的色彩信息，无法感知现实世界的三维结构，对机器来说都是2D平面。3D感知硬件能在RGB的基础上增加深度信息，但受限于图像处理算法的瓶颈，机器的3D感知能力未被充分挖掘。直到2012年，AI在计算机视觉领域取得突破，逐渐驱动3D感知技术的大发展。AI可以通过对大量数据信息的学习，自行总结其中的规律和特征，从而比传统算法模式更快地达到更好结果，这就为机器开创了学习理解3D世界的全新方法，比如更加精细地识别场景中人和物的相互关系，快速重建人脸、人体和物体的三维模型，快速测量各种物体的三维信息，更高效率跟踪人体关键点和动作，等等。在此背景下，越来越多的智能硬件也在逐渐具备3D感知能力。另一方面，自2017年以来，智能手机摄像系统从单摄发展到双摄，再发展到如今多摄搭配ToF的组合，摄像头数量的大幅跃进，其对AI的依赖性也会越来越高。AI+3D可以让智能手机成为一台体感设备，实现精准的表情识别、肢体动作关键点捕捉。

AI+3D开创了人机虚实结合的互动新方式；而移动3D技术-3D空间实现了数字化（相关技术2019年已经有了突破），3D技术使用的机会和效率将会大大提升。如今智能3D软件，可以制作出平面分层、旋转、缩放、立体实拍等非常漂亮的三维图象，操作简单的软件，能够高精度出图、超景深立体制作。但是，在用户的接收终端方面，目前技术还未能使得这种新型的人机互动被普遍运用。比如，3D电视对硬件的需求极高，观众必须安装高清机顶盒才能接收3D频道。此外，电视需要支持3D制式，如果不是裸眼3D，还需要观众佩戴3D眼镜才能观看3D频道。2010年初《阿凡达》在国内热映，第一次带动了中国3D电视技术的普及，伦敦奥运带动下3D逐渐成为平板电视的标配。

3D等虚拟技术的运用与变革，与经济动力密不可分。资本已经成为新技术发展的直接驱动力。我国在2015-2016年资本大量进入虚拟现实领域，资本市场和虚拟现实行业开始出现不理性的情形，虚拟现实瞬间成为了巨大的“摇钱树”。资本的疯狂催生了一大批的虚拟现实企业，一度经历了野蛮生长，成了股市炒作的概念，比如2015年秋虚拟现实在中国股市又一次受到追捧，A股多家虚拟现实概念股涨停，当时有媒体呼吁“虚拟现实的泡沫不可小视”。在全球范围内，2017年前后虚拟现实也出现过泡沫。另一方面，整个行业在快速发展的同时也问题迭出，比如设备昂贵、内容稀缺、易引起用户眩晕等生理不适。我国的媒体尚未在虚拟现实产品的生产方面投入足够的注意力和准备，资金、技术、人才短缺，与欧美等发达国家相比还有较大距离。

矛盾也出现于研发虚拟现实产品的投入和经济产出之间。最近在美国新闻业界发生了一个有趣的讨论：“元宇宙能拯救新闻业吗？”一位领导过360度新闻、VR新闻的美国从业者认为，想要虚拟现实技术真正有益于新闻业发展，需要解决的问题很多，比如，要使得媒体组织有真正的经济动机来投资（进入）这个空间，要使得媒体开发的VR应用程序能够在应用程序商店赚钱。传统的广告和订阅的媒体收益模式，根本不可能支撑此前虚拟现实的产品（沉浸式新闻内容）。在元宇宙中，“宇宙内”交易将会成为重要收益来源，正如在“第二人生”中通过虚拟土地领主出租、出售“土地”给用户那样，但是媒体如何从中获利呢？另外，虚拟现实设备的市场渗透率需要显著提高，才能推动虚拟现实技术的升级换代、成本降低和进一步的大众化。

（二）虚拟和现实糅合的“新闻”

尽管目前的技术成本尚比较高，但是技术是在不断提升的。2018年年底，哈佛大学尼曼实验室（nieman lab）即预测：新闻业将出现3D技术的新曙光，“在 2019 年，我们将看到移动 3D 立体捕捉技术的巨大改进，这项技术可以实现 3D 空间的数字化”。

2019年，移动3D立体捕捉技术得到重大改进，可以实现3D空间的数字化。新手机上的后置摄像头，可以使得3D技术的运用难度和成本均大大降低，这样较小规模的媒体、小型新闻编辑部甚至独立记者都可以使用3D技术。这项新型的手机摄像技术，使得可以增强新闻业的3D模型的创建变得更加容易。配备两个或更多摄像头的新手机有先进的摄像头技术和深度感应能力。移动3D技术的进一步发展和成熟，无疑会为媒体、为新闻业提供新的可能性和便捷性。

这将意味着，3D等虚拟技术将会越来越普及于新闻业。众多乐观人士相信：智能3D能够充分利用深度信息重建真实环境的3D结构，准确还原虚拟物体和真实环境中物体的相对位置，呈现遮挡、碰撞、反弹等效果，让虚拟和现实“糅合”在一起。与此同时，纽约时报社正在开发基于浏览器的虚拟现实的内容分发，努力降低技术门槛，希望所有人都可以用3D技术做报道、讲故事。所以，虚拟现实新闻必须要受到新闻学界足够的重视了。

目前虚拟现实的报道最先进的技术，即纽约时报社联合相关技术公司研发并使用的技术，主要是环境摄影测量法（environmental photogrammetry）。这项技术与几年前该报使用的物体尺度摄影测量法（object-scale photogrammetry）一脉相承。2018年，《纽约时报》推出了虚拟现实的报道《增强现实：四位你从未见过的最佳奥运选手》（“Augmented Reality: Four of the Best Olympians, as You’ve Never Seen Them”），报道使用的就是物体尺度摄影测量法，使得观众可以全息地、360度地看到奥运选手顺畅的运动。此后，技术进一步改进。2019年9月初，飓风多里安（Dorian）袭击巴哈马(Bahamas)的大阿马科岛（GreatAbaco Island），《纽约时报》研发部与图形部门在紧接着的4天后去采集信息、航拍了数百张照片，用3D记录了居住着许多海地移民的棚户区被飓风摧毁后的场景，建构了从未有过的灾难现场。这也是使用移动技术5G创新新闻业的一次尝试。通过环境摄影测量技术，以3D形式记录大型复杂空间，并制作了交互式模型，使得观众有身临其境的体验。

环境摄影测量法可以让观众身临其境、体验整个空间。使用环境摄影测量技术首先要将空间中完整的细节记录并转化为3D，创建3D模型需要捕捉一个空间的多个重叠图像并用软件将它们拼接在一起。摄影测量软件识别每张图像的共享特征，并使用相机的位置来计算深度、拼接它们。来自点云和摄影测量的地理空间数据与地图图块结合在一起，媒体通过创建复合场景，帮助用户在多尺度上了解故事背后的空间。交互式模型使得空间完全以3D形式呈现，观众可以以任何角度去展开、观看、探究特定元素和细节。设计可以通过点击屏幕上的一些问题位置、拖动光标去旋转相机，也可以滚动后继续向下阅读。

如前所述，制作速度，用户接入的便捷性，都是虚拟现实运用于新闻业的难题。惯于使用虚拟技术的影视公司，可能需要花费数周甚至数月去做摄影测量，但是新闻机构时效性非常重要，所以只能改进技术，包括拍摄足够多的照片、光线处理（即使现场很暗，也要能让用户看清）。为了提高效率，纽约时报探索出了一种捷径：预先规划每一张照片的拍摄位置，以最少的拍摄次数来完成建模，这样也有助于提升大规模3D建模的效率。一个场景可能由数十亿个多边形和纹理组成，因此制作出来的虚拟现实报道，需要进行流媒体化的技术处理。为了缩短3D模型载入时间，《纽约时报》采用了一种“动态传输”技术（dynamic delivery）的方案，仅渲染读者观看的区域，这样可以提高传输效率。过去用户需要下载整个视频文件才能观看，如今开发人员探索了在远程服务器上渲染计算复杂的交互式场景，使用微软立体视频生态系统（volumetric video ecosystem）创建了一个管道，允许将高质量 3D 视频逐步流式传输到用户的任何设备。

虚拟现实报道努力用各种方式增加抵达用户的可能，探索如何通过流式将 3D 内容直接传输到浏览器，而无需特殊的硬件或软件要求以提高用户的可访问性。《纽约时报》2018年使用AR技术报道了加州历史上最严重的火灾之一卡尔大火（Carr Fire），这次报道运用两种版本：一种是在网络和旧设备上看的沉浸式报道，另一种是iPhone、iPad和Android手机上看的增强现实的版本。2020年7月，《纽约时报》推出了一种新颖的3D新闻形式，将文字故事与动态3D现实场景相结合，支持多角度浏览，无需辅助设备，只需要通过滑动鼠标即可看到一个空间的所有角落。这种报道形式可以引导用户移动空间的顺序，从而提供了许多种框架和引导故事的可能性。《纽约时报》称这样是为了帮助读者深入理解故事和报道。它还让用户可以选择进一步自己探索一些细节，比如许多物品、空间可以放大查看，这些物品通过精细的3D渲染，看起来非常清晰。

（三）新闻的交互性与沉浸式

虚拟现实的本质是实时交互性，即计算机检测到用户输入、并立即重新配置虚拟世界。而且虚拟系统阻挡外部刺激的能力越大，内部刺激就越有效，用户体验的沉浸程度也越高。按照界定，虚拟现实沉浸(virtual reality immersion)是虚拟环境将用户的感知系统淹没在计算机生成的刺激中的程度——系统越能吸引感官并阻止来自物理世界的刺激，系统就越被认为是身临其境的。沉浸感就是与数字环境的参与、包含和（或）在交互中的感觉。影响沉浸感的基本要素包括：物理环境中的隔离；包含在虚拟环境中的感觉的感知；自然交互和控制感知的状态；在虚拟环境中移动的感知。计算机系统能够同时为用户提供现实的幻觉：包容，广阔，环绕和生动。沉浸感就是体验虚拟现实技术客观提供的替代现实的感觉。

在此背景下，一种被称作沉浸式新闻受到了关注。美国南加州大学的Nonny de la Peña等是沉浸式新闻的学术先驱。2010年，Nonny就界定了沉浸式新闻是“以一种形式制作的新闻，人们可以通过这种形式获得新闻报道中描述的事件或情况的第一人称体验”。基本理念是让参与者（通常以数字化身的形式）真正进入一个代表新闻故事的虚拟再现场景，并从化身的第一人称视角看世界，基本目标之一应该是让参与者越来越身临其境，“体验”新闻，使其能够更大、更广泛的身体、空间和时间参与。大约自2012年以来，一个新的沉浸式虚拟现实技术和实验生态系统已经出现。在这个新兴的生态系统中，新闻业仍然是一个次要的组成部分。尽管如此，《纽约时报》、BBC 或 ABC 新闻等媒体一直在制作虚拟现实新闻故事，沉浸式新闻开始出现。

随着技术的发展，沉浸式新闻与移动设备传播的相结合，在新闻呈现和体验方式方面具有特别的创新性。通过虚拟身体的存在、合理性和挪用的错觉的综合组合，沉浸式新闻积累了引发“身处真实地方，重温真实故事，与真实身体在一起”的感觉的能力。

新闻业的目标之一是在公众和新闻之间建立一种情感关系；因此，将这种关系与不同形式的沉浸式体验联系起来，很早就已经出现，并不是沉浸式新闻才开启的。但是，沉浸式新闻能够以强有力的方式引发情感，有研究已经证明，沉浸式新闻的某些方面满足人们希望见证他人情绪、从而对他们产生同情的要求。比如前述《纽约时报》的虚拟现实作品《流离失所者》，让用户在一种置身荒凉、破败的悲惨环境中，更能激发起对难民儿童的深深同情。

虚拟现实特别重视空间的建构，因此有人称虚拟现实制作的新闻为“空间新闻” （Spatial Journalism），因为将空间、地点和/或地点（物理的、增强的和虚拟的）融入了新闻的过程和实践中。《新闻学研究》《新闻与大众传播》季刊上也有几篇研究“空间新闻”的论文，强调观众可以看到整个场景、就像在现场一样、做出自己的结论，而不是了解记者的观点，认为这样消除了偏见和虚假新闻，观众获得一种不同于视频或文字的空间体验。但是，仅仅强调空间性，其实难以全面概括虚拟现实技术打造的新闻的特征，比如，这种新闻为用户所制造的身临其境的临场感，既包括环境临场感，也包括社交临场感，还包括个人的在场感。

虚拟现实技术可能正在触发数字媒体的革命。虚拟现实技术作为元宇宙的核心技术，正在驱动一场元宇宙时代数字新闻业的变革，在近十年的新闻实践中已经初露锋芒。《纽约时报》、美联社、《赫芬顿邮报》《今日美国》《卫报》和 BBC 等都对虚拟现实新闻进行了大量投入。这种制造沉浸感和临场感的新闻，与元宇宙相似，是现实世界的一种呈现，是现实与虚拟的融汇。此前一些研究将这种新闻称为沉浸式新闻。沉浸式新闻是在用户的亲身体验与互动完成的，甚至有人认为此变革堪与五个世纪前古腾堡创造的“新闻革命”相媲美。沉浸式新闻不只是发生于用户在一个虚拟现实中的临场体验中，它还是出于一个更复杂的背景下：数据驱动的新闻，可视化信息的扩散，基于数据集创建和导向的媒体商业模式，以及新闻的“平台化”特征，以及新技术所驱动的社会结构性变革、人的功能性新需求。所以，我们需要重视对沉浸式新闻的研究了。

沉浸式新闻正在改写新闻的定义。新闻的内核-事实，是不是被淡化了？与通常意义上的新闻有所不同，沉浸式新闻呈现时不是突出“事实”这样一种客观存在，技术上尚不能对事件作出新闻的时效性反应，它突出的是用户的参与、观感和体验，强调的是用户在与发生的事实之间的互动关系中的判断和理解。传统上，新闻是由事实和报道的特性所定义的，比如“新闻是新近发生的事实的报道”；而沉浸式新闻，则是由新闻与其用户之间的关系定义的，新闻成了用户对重构的事实的临场感知。

新闻的特性和功能，也随之发生了改变。新闻的第一原则是真实，而通过虚拟与现实糅和的沉浸式新闻，是更真实了还是更不真实了？传统上用文字或摄影、摄像进行的报道，都是很有限地选择性呈现，而用摄影测量记录的3D场景，能尽可能地还原现场细节，以保证新闻描述的严谨性。称赞者认为让用户身临其境，可以使新闻更加真实。但批评者则认为形象的生动性并没有增强真实性，用户体验的其实是其根本没有体验到的东西，虚拟现实技术的力量是欺骗性，虚拟空间是由人工干预和算法控制融合而成。传统的新闻重视的是告知功能，沉浸式新闻驱动的是共情体验，通常共情是影视作品最重视的手段。虚拟现实技术调动并强化了用户的自我感知、存在感，也可能调动用户的记忆，包括刻板印象。

沉浸式新闻作用于用户的机制是怎样的？其核心是同理心，或称移情（empathy）。同理心可以是情感层面的，即由经历事件或行动引起的情绪反应；也可以是认知层面的，即通过体验某事，人们可以更好地理解它；也可以是行动层面的，即对行为产生影响，即情绪和认知激发起有意识的决定去采取行动。这些作用的前提是：体验过某件事的感觉，会让用户更加关心它。但是也有人质疑虚拟体验是否能够转化成同理心效应。《纽约时报》杂志主编杰克·西尔弗斯坦认为，虚拟现实的力量在于它能在观众与新闻和故事之间建立一种独特的情感关系。但是，在沉浸式新闻中看到环境危机，是否会导致更强烈的情绪反应、对危机的更深理解以及潜在的应对策略和行动？世界上有许多研究项目正在研究虚拟现实触发这三个层面同理心维度的潜力，但是还没有结论。如果虚拟现实能让人们关心、理解和行动，那么营销人员、非政府组织乃至政府就会发挥其说服的功能了。

在虚拟现实技术运用于新闻业中，还有十分重要的社会责任和专业伦理的问题。目前虚拟现实技术高度依赖于几家大的科技公司，美国《纽约时报》和英国《卫报》2015、2016年制作的虚拟现实作品，都有谷歌的技术支持，此外还有一些欧美的技术公司如Facebook（元宇宙）支持了制作。世界科技巨头都想掌控虚拟现实技术，其中包括Facebook、谷歌、苹果、三星、索尼等知名科技企业。这些公司的作为，如同这些公司掌控着的数据，背后不可避免地存在着管理者、平台等主体的控制。与此同时，除了存在新闻报道事实的客观性等被主观情感驱动下的体验挑战等伦理风险外，由于客观事实、人的行动都被算法化制作，还带来了算法运用中的伦理风险。