NFL赛季的第一个周日总是充满了激动人心的惊喜，但今年尤其让人感到紧张刺激。当卡罗莱纳黑豹队迎战一个主要对手时，一只巨型混合现实（MR）黑豹让美国银行体育场中的7万名球迷惊呆了，它先是跳上大屏幕，扑向纽约喷气机队的旗帜，然后在嘶吼声中跳跃着离开。这幕壮观场景的视频迅速传开，仅在Twitter上就有590万的浏览量。
The Famous Group是这场惊艳表演背后的关键合作伙伴之一，该公司的首席信息官兼联合创始人Greg Harvey说：“现在，混合现实已经能够制造巨大的惊喜。球迷们会在一瞬间产生‘刚才究竟发生了什么’的想法。人们并不真正了解这一切是如何发生的，以及这些数字生物如何与真实世界互动。”
实施良好的混合现实体验会展现出原版《侏罗纪公园》中霸王龙那样的效果，他解释说，这些体验将点亮想象力，模糊与现实之间的界限。黑豹队的球迷很喜欢赛前出现的混合现实黑豹。“他们非常兴奋，当听到豹子的吼声时，他们开始欢呼和尖叫。”Harvey说，“它比大屏幕上的传统内容劲爆多了。”
对Jake Burns来说，球迷的反应甚至比预期的还要好。“我们经常在比赛日为我们的球迷寻找新奇的创新体验，我们强烈地感觉到，混合现实黑豹会大受欢迎，但球迷的反应甚至超出了我们的期望.”卡罗莱纳黑豹队母公司Tepper Sports & Entertainment的首席营收官表示，“它真是太棒了。”
Harvey相信，关于实时技术与实况活动相碰撞时将产生怎样的可能性，我们还只是初探皮毛。“目前正在发生翻天覆地的变革。”他说，“沉浸式体验是实况活动行业的未来，随着时间的推移，我们会看到它将以何种形式展现——是增强现实、虚拟现实、混合现实，还是它们的组合，又或者是某种全新的东西。”
The Famous Group早在2019年就预见到了这场变革。他们的首个虚幻引擎项目是为巴尔的摩乌鸦队制作混合现实实时体验，展示一只乌鸦从空中俯冲下来，落在M&T银行体育场乌鸦队底线区的门柱上。
这帮助该公司吸引到了许多混合现实项目，包括迈阿密硬石体育场第五十四届超级碗，以及他们在NRG体育场（休斯顿德州人队的主场）的首个永久性混合现实装置。
有趣的是，正是获得新赞助收入的预期促使德州人队决定引入全新的混合现实系统。“克罗格超市购物车在布满整个体育场的风火轮赛道上竞速，妙趣横生；德州彩票在球场现场进行彩票游戏；场地中还展示了使用垃圾装运车管理废弃物的混合现实体验。”Harvey解释说。“在更传统的赞助活动中，这些内容本来都只是显示在大屏幕上的，但混合现实让它们栩栩如生地出现在了现实场馆中，在场馆内外创造了更强的影响力，提升了视觉体验的故事沉浸感，使观众更加热情澎湃。”左右滑动查看更多
同样，沉浸式技术也为卡罗莱纳黑豹队施展了吸引眼球的力量。“在商谈中，我们想到：‘能不能用这种技术让体育场外的黑豹雕像活起来，威慑对方球队？这难道不是很酷吗？和之前制作的乌鸦类似，但更高级？’”Harvey回忆说，“混合现实黑豹由此诞生，它在第一场主场比赛中首次亮相，并在互联网上引起轰动！”在体育场上释放混合现实黑豹涉及到将动画合成到视频片段的传统/后期制作概念，但要借助虚幻引擎和物理追踪技术的力量来实时完成这一过程。
为了制作栩栩如生的黑豹，TruePoint Laser Scanning对体育场本身和场外的黑豹雕像进行了全面的3D扫描。这提供了黑豹的比例模型以及将与其互动的所有物理元素。然后，Zoic Studios的动画团队以体育场的3D模型为指导，铺设了黑豹的行动路径，并进行了预演，以指导摄像师在现场捕捉动作。Zoic精心设计了黑豹的每一个动作——从跳到记分牌上，抓住客队的旗帜，把它撕成碎片，到发出凶猛的吼声并离开体育场。“旗帜是一个关键元素，如果使用传统渲染技术，不经过几十次迭代是不可能完成的。”Zoic Real Time Group的CG主管Scott Rosekrans说。“我们在虚幻引擎中开发了一个着色器，使我们，或者说使这个用例中运行XR场景的最终用户能够替换球队的徽标，调整旗帜的形状和大小，并分出三个不同级别的遮罩层，从而制作出逼真的撕裂旗帜动画，然后将地理位置切换到真实的破损旗帜。”在Zoic完成动画制作后，The Famous Group的光照美术师在虚幻引擎中对黑豹身上的光照进行了微调，使黑豹在每次活动时都与体育场内的光照条件相协调，在比赛日的体育场内创造出了外表自然的CG黑豹。同时，黑豹的咆哮声是由Field Day Sound的音效设计团队制作的，他们确保了声音能够在一个有回声的露天体育场内产生效果，并通过公共扩音器发出猛烈的吼声。The Famous Group安装了追踪系统和媒体服务器系统。这些系统将作为现场设备物理整合的一部分，是专为整合到球队的广播控制室中而特意构建的。在这个视频中，你可以在对混合现实的激活控制中感受到刺激性和感染力。Quince Imaging为这些硬件的永久安装提供了咨询和策略，而stYpe提供了包含AR数据输出编码器的摄像装置。这两家公司负责使所有组件在体育场内相互连接和通信。在每个摄像机位置，追踪系统会实时捕捉所有的平移、倾斜、聚焦和变焦数据，并将这些信息发送到媒体服务器。媒体服务器将收集追踪数据，并更新虚拟摄像机，使它的位置与物理摄像机同步。然后，实时摄像机的馈入与追踪的动画叠加在一起，实现黑豹动画的实时合成。Pixotope集成到虚幻引擎中后，可将虚拟体育场调整到与真实体育场完全吻合，这允许团队在黑豹活动过程中对其动作和接触点进行精确定位。体育场内的球迷将通过观看大屏幕参与到混合现实体验中。“目前还没有办法将混合现实整合到现场的移动设备体验中，但这迟早会实现。”Harvey说，“我们正在研究几个概念，将这种体验游戏化。这样一来，体育场内的球迷不仅能看到混合现实，还能实时地在其中玩耍。在活动中，特别是在实况赛事中，每场比赛总是播放相同的内容。但使用虚幻引擎，The Famous Group可以通过各种输入影响每场活动中的内容，使它们各不相同。例如，虚拟黑豹可以在每次主场比赛期间撕毁新球队的旗帜，并在体育场周围沿着各种动画路径奔跑。
“这在传统视效后期制作管线中是无法如此有效地实现的。”Harvey说，“游戏引擎给了我们一个更大的沙盒，可以创造出动态内容，每次都能让球迷看到独一无二的体验。使用游戏引擎也使团队能够通过将游戏逻辑编程到项目中，创造更具沉浸感和互动性的体验。Harvey解释说：“这开辟了全新的互动层次，将线性的被动体验转变成了游戏化的主动体验。”图片由The Famous Group提供
Harvey还认为，数字世界正处在一场巨变的风口上，而游戏引擎技术在这场变革中占据着核心地位。“我们认为，虚幻引擎将被用来创建未来所有形式的元宇宙。”他说，“在我们的行业中，数字孪生和虚拟体验代表着未来。而增强现实、虚拟现实、混合现实和元宇宙都正由或将由游戏引擎提供支持。”在实时技术的推动下，这些体验的互动性必将不断增强。“虚幻引擎正引领着前进的道路。”Harvey说，“我们的愿景是在实况活动上设置一个实时层，在大屏幕与混合现实系统、移动网络AR体验以及基于网络的实时数字孪生之间实现内容资产的迁移。虚幻引擎将使这一切成为可能！”一旦球迷们能够主动控制并实时融入到这些沉浸式现场体验中，将开启一个创意表达的宇宙。“要创造电影《头号玩家》中那样的世界，我们才刚刚起步。”Harvey总结说，“我们的世界将通过各种方式得到增强，超越我们的想象。而虚幻引擎等游戏引擎就是将我们推向全新沉浸式宇宙的助推器。”
MetaHuman Creator抢先体验开启！
扫描下方二维码，关注后点击菜单栏按钮“更多内容”并选择“联系我们”获得更多虚幻引擎的授权合作方式和技术支持。“虚幻引擎”微信公众账号是Epic Games旗下Unreal Engine的中文官方微信频道，在这里我们与大家一起分享关于虚幻引擎的开发经验与最新活动。