AMD TAN加速为Steam Audio带来更逼真空间音频反射声

(2019年10月25日)ambisonics是一种环绕声技术,可以覆盖水平面,以及听者上方和下方的区域。对于沉浸式体验,ambisonics是一种重要的可选音频格式。日前,专注于音频设计的amd的fellow设计工程师carl wakeland撰文介绍了trueaudio next acceleration和steam audio在三阶ambisonics中的应用 。下面是映维网的具体整理:vr设备
在为游戏或体验创建音效时,大多数声音设计师都专注于直达声的精确空间3d渲染。空间化的直达声对实现可信的音景而言十分重要。
通常很少受到关注的一个声音设计方面是声音反射:到达耳朵前的墙壁,天花板,地板,以及房间对象的反射。与直达声的空间化相比,声音反射的精确物理渲染需要大量的计算资源,而可用的工具或许无法胜任这项任务。所以,大多数声音设计者会优先考虑空间化直达声的设计,并用简单的混响来实现声音反射,其中混响量设置为低级别,从而避免清晰度下降。
但如果在游戏或体验中实现逼真的声音反射,你可以提高真实感和可信度。在直达声不足的情况下,空间化的物理生成反射可以实现这个目标,并为用户提供有用的位置提示。ambisonics这种3d音频编码格式能够以可扩展的分辨率渲染空间反射。higher order ambisonics(hoa)在这里特别有效,因为每提高一阶都能以指数方式增加混响声场的空间分辨率,以及避免混乱和歧义。零阶ambisonics属于单向,而三阶ambisonics则可从16个方向解析声音(一阶4声道;二阶9声道;三阶16声道)。
steam audio是一个强大的音频sdk,可允许声音设计师轻松地增加逼真的物理建模声音反射。与传统的cpu渲染相比,利用当前的steam audio 20-beta版本和兼容的amd radeon gpu,amd trueaudio next (tan)加速可以在更多的音频源支持三阶ambisonics音频反射。steam audio sdk包含有关如何启用和利用tan,以及如何为不支持tan的系统轻松配置cpu回退选项的完整说明。
为了展示三阶ambisonics渲染反射之于非空间化(零阶)音频反射的优势,我们利用steam audio unity插件在unity中创建了一个非常简单的场景,其中一个房间装有16个扬声器并同时发声。进入房间之前需要经过一条长长的走廊。
然后,我们在两种情况下捕获了场景的视频(包含在文中的视频里):
使用零阶ambisonics渲染实时声音反射的位置。这总共使用了16个卷积,而这对于现代cpu并不困难。
使用包含tan加速的三阶ambisonics进行渲染。16个声源将使用256个卷积滤波器。
两种情况都使用相同的3d直达声渲染,所以彼此的差异仅来源于对声音反射的处理。steam audio sdk的集成cpu回退功能用于执行渲染改动。当不存在支持tan的gpu时,steam audio会自动回退。按照steam audio sdk的说明,这种场景非常容易创建。
这里是tan开启时的示例(建议用耳机):
在建筑物外面时,你可以十分容易听到反射声的方向。当只能听到反射声时,你无法直接定位声音。场景没有添加声音导向微件,而是利用物理方法自动创建。
在走廊中时,反射的声音听起来更加自然,而且它会引导你通往房间。
在房间内时,即使墙壁和天花板存在大量的混响,你都能够更轻松地判断出各个扬声器,而且在你周围走动时,房间的声音也更加自然。即使发生了大量的事情,声音听起来也更加舒适。对于零级ambisonics反射,声音设计者通常需要调低混响级别,以免令听者混淆。在回退的情况下,你可以使用简单的脚本完成这一操作,但这个示例没有。在回退零阶情况下,逼真度和沉浸感不及hoa反射,但你不必为每种情况重构声音设计。
我们鼓励声音设计师尝试tan加速,并感受具体的异同。steam audio的下载链接请点击这里。