NYBL是一家具备人工智能和3D底层算法基因的技术团队，基于二者的完美融合，团队已经研发出世界一流效果的元宇宙内容生成技术。nybl致力于降低元宇宙技术触及门槛、减少内容生产成本、增加元宇宙资产的流动性和使用频率，从而推动元宇宙的大规模应用。
2021年可谓是元宇宙元年，大量的元宇宙虚拟内容被创造出来，其中包括虚拟数字人、数字服装以及虚拟空间场景·。不少创意内容获得了社交网络的认可吸引了大量粉丝，也取得了卓越的商业成就。譬如，数字人方小锅，全网粉丝量早已超过千万。在数字服装领域，声望卓著的3D服装设计师、北京服装学院客座教授刘婉婷女士也在数字服装设计领域屡获国内外殊荣，为全球带来了具有未来感的设计视觉盛宴。
图片来源：NYBL在内容和设计的输出带来视觉和体验的震撼之余，NYBL团队观察到元宇宙行业存在着不少技术提升和优化的空间，而这些技术的实现和落地可以极大改善和缓解下述客观存在的行业瓶颈：1）大量的3D数字人在不断涌现，数字人运营和设计团队需要付出大量工作去给数字人设计服装和穿搭，以保持观众的新鲜感。通过手动或者借助昂贵的动作捕捉设备生成动态或者静态的数字人内容，再将这些内容曝光在社交网络平台上供公众欣赏。这就使得数字人项目团队的内容生成较为复杂，运营成本居高不下。2）全球知名品牌和著名设计师也都纷纷发行了大量的设计语言前卫、风格超现实的3D数字服装资产，其中的大部分都具有极高的收藏和鉴赏价值。不过，这类3D数字服装往往以图片和360度旋转的视频呈现在观众和藏家面前。所以相比于现实中的潮流服装来说，数字服装显然缺少了穿搭和动态展示的功能，不禁让人觉得有些遗憾。3）对于普通互联网用户来说，想在社交网络与自己喜欢的元宇宙数字内容产生互动的渠道非常有限，加之元宇宙数字内容创作门槛高，需要创作者具备大量专业软件的使用能力，这就造成了当前元宇宙以PGC内容生成模式为主力，几乎不存在UGC内容创作模式的局面。高使用成本和高技术门槛成为了元宇宙内容能够病毒式传播的两大主要障碍。有鉴于上述行业痛点，NYBL结合团队自身在AI和3D算法的技术积累，开发一套技术合集，赋能元宇宙内容创作。我们的愿景是让普通用户也能制作出高水准的元宇宙内容，让元宇宙从专业的PGC走向大众化的UGC。对于数字人来说，动作的输出最常用的工具就是动作捕捉技术（Motion Capture简称Mo-Cap），动捕是实现数字人动作最直观的编辑形式。动捕通常需要在动捕房内使用专业设备和背景才能实现数字人的动作的连贯和真实性，然后再通过后期制作将数字人与虚拟或者现实的场景进行手工渲染并形成最终的视频效果。上述流程不仅仅是当今虚拟数字人的表达手段，也是电影特效和动画制作的主要手段。nybl希望降低设备和场景的准入门槛，让普通用户也能通过一部手机拍出大片。首先，动捕门类广泛，从是否需要专业设备的角度来分类，就可以简单的分为手机端即可支持的视觉动捕和需要设备的动捕，需要设备的动捕技术包括机械动捕/光学动捕/磁力动捕/惯性动捕。而仅凭手机就能实现的动捕被称为视觉动捕，目前全球范围内此类动捕由于精度较差，呈现效果不如意还没有被投入大规模使用。nybl认为，要通过手机实现普通用户进行元宇宙数字人的内容创作，一定要将动捕门槛降到手机级别，才能让大众零门槛创作元宇宙内容。所以我们进行了大量的技术探索，成功通过人工智能算法让手机用户可以在户外环境下对真实人物的动作进行捕捉并完美用虚拟人物进行还原。让我们假设一个场景去呈现手机用户的元宇宙内容创作过程：用户在一个网红打卡的地方可以拍照或者拍视频发朋友圈，如果想用自己喜欢的数字人形象参与其中，那么这个过程应该分为下面几步：第一/将标的真人的动作录下来，用动捕的技术，将记录的动赋予数字，并让其按照真人的动作行动，用数字人的动作模拟真人的动作，第二：将原来的场景抠除真人并由计算机“脑补”场景内容；第三将数字人替换真人，这时会有人和景物交错的情况，这里需要AI准确识别；第四，还原数字人在真实场景的渲染状态，实现虚实结合而不突兀。导图如下：（1）在动作捕捉阶段，人地姿态估计非常重要，nybl使用卷积神经网络的人工智能算法，将肢体和面部的情况进行精准捕捉在多人2D场景下，姿态估计及人物部分遮挡的情况下的姿态估计（2）在人物有遮挡的情况下，我们开发了半监督视频对象分割技术，将人物遮挡物不会一并去除的视觉感知技术。在这个环节我们使用了一个目前科研领域前沿的算法，可以得到很好的效果（3）视频擦除技术：视频擦除技术对后期虚实结合的视频合成起到至关重要的作用，上面章节我们提到了对原有人物的扣除技术，在人物去除后，原视频会在人物后方留下一片空白区域。目前最为高质量的背景还原人工智能技术是E2FGVI（End-to-End framework for Flow-Guided Video Inpainting）：E2FGVI 提供三个可训练模块，即流程完成、特征传播和内容幻觉模块。这三个模块对应于以前基于流的方法的三个阶段，但可以联合优化，从而实现更高效和有效的修复过程。放入真实环境的数字人物需要和环境融为一体，这里光线的渲染至关重要我们运用算法能够模拟真实环境的光源环境，并投射在数字人身上，使其完美融入部署环境。算法网络的整体框架如下图所示。第一个Geometry网络用于预测单个镜面反射光图，多个镜面反射光图候选作为输入，使用不同的 Phong 指数、反照率进行前景计算。然后将预测的镜面反射光照图与漫反射分量和反照率连接起来并通过一个最终的神经渲染网络来产生重新点亮的前景。我们的框架使用机器学习将主体合成为新的场景，在给定人像和任意高动态范围照明环境的输入，可以在目标照明条件下准确地建模它们的外观。通过估计高质量的 alpha 遮罩、前景元素、反照率地图和表面法线，我们在深度学习框架内提出了一种新颖的单一像素的光照表示。除此以外，目前视觉动捕的功能还局限于平面的2D变换，无法真实还原人们在纵向景深方面的位移捕捉，我们运用了算法将纵深方向的位移也完美进行了还原，下面是运用示例：由视频可见，该平台的机器视觉技术仅能将3维动作还原为平面动作，所以人物的前后位移都转换成为了平面上的位移。而nybl的技术可以实现三维层面的完美还原。效果如下：NYBL通过一系列技术和算法来实现服装设计对角色着装适配的效果。该功能可以逼真地模拟织物的物理特性，并将其显示在给定的3D角色上。我们将在NYBL中介绍整个3D服装设计过程和物理引擎模拟。NYBL给3D角色穿上3D衣服的算法流程如下图所示：缝纫是展示NYBL3d服装效果的重要步骤，需要设计师或使用者在服装解构过程中标记不同裁片的边缘连接为了无缝连接不同的切割片，NYBL背后的算法会重新对两个不同切割片的边缘进行网格划分，网格是计算机用来表示3D物体的形式，约束网格的顶点数为相同。通过合并这些重新划分网格的网格，我们可以将两个部分缝合在一起。重复以上操作，直到所有的裁片都按照预期的设计缝好为止NYBL的 3D 引擎提供逼真的布料模拟。布料模拟是 CG 中最难的方面之一，因为它是一个看似简单的现实世界项目，被认为是理所当然的，但实际上具有非常复杂的内部和环境相互作用。nybl 有一个非常强大的布料模拟器，用于制作衣服等。布料与其他移动物体、风和其他力以及一般空气动力学模型相互作用并受其影响。布料可以是开放式或封闭式网格，并且没有质量，因为所有布料都被认为具有相同的密度或每平方单位的质量。布料通常被建模为基础网格或立方体，NYBL 提供了更好的闭合网格模拟。1.裁片模拟定位完成后，就可以将裁片缝合在3D角色周围，同时对服装和角色进行碰撞检测，达到装扮的效果。布料自碰撞目前是基于物理的动画中最难模拟的现象之一，原因如下：- 布料图元（点或三角形）很小，可以相对于它们的大小快速移动。
- 布料很薄，而且是双面的，所以在没有其他信息的情况下，无法判断一块布料应该在哪一面。
2.在高端（学术和 VFX）工作中，通常会使用某种连续碰撞检测 (CCD) 方案来解决这些问题。该领域仍在开发具有自碰撞功能的高效布料模拟，但通常依赖于：- 变形图元对（点-三角形和边-边）之间的连续碰撞查询。
3.NYBL 的穿衣效果使用了最基本的碰撞检测算法。4.最后，通过上述的的种种技术，我们可以实现虚拟人物的内容制作门槛的降低，以及数字服装与人物之间的高仿真穿搭，这样就可以让数字服装有“用武之地”，让数字人内容创作变得更加容易上手。我们希望以后元宇宙的内容创作不局限于专业团队的能力，而是普通用户也可以简单易用。NYBL相信，内容创作的“高手在民间”，只有降低创作的技术门槛，才能有更多更好玩的内容展现在大家面前。
免责声明：本文不代表米塔之家立场，且不构成投资建议，请谨慎对待。
版权声明：作者保留权利。文章为作者独立观点，不代表米塔之家立场。
了解更多元宇宙知识，结识元宇宙人脉，扫码加入元宇宙行业生态社群。
