대부분의 게임에서 총소리와 발소리와 같은 주변 소리는 3D 음향 효과를 제공합니다. 그러나 음성 채팅에서는 플레이어들이 팀원의 목소리가 어디에 있든 방향 감각이 없다고 느낄 수 있습니다. 이를 우리는 3D 음성이라고 부릅니다.
3D 음성은 플레이어에게 더 많은 청각 정보를 제공하여 팀원/적의 위치를 음성을 통해 식별하고 물리적 세계처럼 그들의 존재를 느끼게 합니다. 이는 게임 경험을 더 편리하고 재미있게 만듭니다.
많은 게임 개발자들은 다음과 같은 질문을 할 수 있습니다: 3D 음성은 어떻게 작동합니까? 이를 게임에 어떻게 추가합니까? 아래는 3D 음성 기술에 대한 간단한 가이드입니다.
텐센트 RTC가 게임 내 3D 음성 채팅 구축을 도와줍니다
텐센트 RTC의 게임 멀티미디어 엔진은 몰입감 있는 멀티플레이어 게임 경험을 창출하고 플레이어 참여를 증가시키기 위한 원스톱 음성 통신 서비스입니다.
3D 공간 음성 및 근접 음성 기능은 플레이어가 게임 세계에서 다른 플레이어의 위치를 인식하는 데 도움을 주며, 사람들이 물리적 세계에서처럼 자연스럽게 소통할 수 있게 합니다.
음원 위치는 어떻게 결정됩니까?
우리는 주로 소리가 왼쪽과 오른쪽 귀에 다르게 도달하기 때문에 소리의 위치를 결정할 수 있습니다. 구체적으로, 우리는 바이노럴 신호 간의 시간, 소리 수준 및 음색의 차이를 기반으로 수평 위치를 식별합니다. 외이도는 복합 음원 소리의 수직 위치를 식별하는 데 도움이 되는 콤 필터 역할을 합니다. 음원 위치 결정은 음량, 스펙트럼 및 개인 경험과 같은 요소에도 의존합니다.
플레이어의 음성 위치는 어떻게 시뮬레이션됩니까?
이를 위해서는 머리 관련 전달 함수(HRTF)가 필요합니다. 이는 음원이 두 귀로 전달되는 과정에서 포괄적인 필터링 프로세스로 볼 수 있습니다. 이 과정에는 공기 필터링, 환경의 잔향, 인체(몸통, 머리, 외이도)에서의 산란 및 반사가 포함됩니다.
음성의 실시간 3D 가상화 기능 구현은 단순히 HRTF를 호출하는 것만이 아닙니다. 또한 게임의 가상 공간을 실제 환경에 매핑하고 고주파 연산을 수행해야 합니다. 구현 과정은 다음과 같습니다. 게임에서 마이크에 연결된 N명의 플레이어가 있다고 가정합니다. 게임의 실시간 요구 사항을 고려할 때 각 플레이어의 단말기는 부드러운 게임 경험을 보장하기 위해 20ms의 단위 시간 내에 음성 정보와 상대 위치 정보를 포함한 (N-1)개의 패킷을 받아야 합니다. 상대 위치 정보를 기반으로 3D 오디오 알고리즘의 고정밀 HRTF 모델을 사용하여 음성 정보를 처리하고 장애물의 존재, 게임 내 주변 소음(예: 흐르는 물 소리 및 방의 메아리) 등의 정보를 결합합니다. 이렇게 하면 플레이어의 장치에서 현실감 넘치는 실시간 3D 사운드가 렌더링됩니다.
전체 과정은 계산 집약적이며 일부 저사양/중급 장치는 이를 처리할 수 없습니다. 플레이어의 장치에서 자원 사용을 최소화하면서 부드러운 게임 경험을 보장하는 방법은 여전히 산업의 도전 과제가 됩니다. 또한 일부 HRTF 라이브러리는 오디오 신호의 특정 주파수에서 심각한 감쇠를 초래할 수 있으며, 특히 다양한 주파수 성분을 가진 악기 소리에서 그러합니다. 이는 음원 위치 결정의 정확성에 영향을 미칠 뿐만 아니라 출력 주변 소음에서 악기 소리를 둔하게 만들기도 합니다.
게임 멀티미디어 엔진(GME)은 어떻게 작동합니까?
게임 멀티미디어 엔진(GME)은 최고급 오디오 기술 팀인 텐센트 에테리얼 오디오 연구소와 협력하여 3D 음성 기능을 출시했습니다. 고정밀 HRTF 모델과 거리 감쇠 모델을 통해 이 기능은 플레이어에게 가상 세계에서 매우 몰입감 있는 게임 경험을 제공합니다.
최적화된 단말기 렌더링 알고리즘 덕분에 계산 효율성이 거의 50% 증가했으며, 단일 음원에 대한 실시간 공간 렌더링 시간은 약 0.5ms로 대부분의 저사양/중급 장치가 실시간 3D 사운드 렌더링을 유지할 수 있도록 합니다. 렌더링 과정에서 신호 감쇠 문제를 해결하기 위해 GME는 독점 오디오 신호 평형화 기술을 통해 3D 렌더링 효과를 개선하여 주변 소음을 맑게 만들어 줍니다.
이 문서는 3D 사운드 효과를 위한 GME API 통합 방법을 설명합니다.
결론
FPS, 배틀 로얄 또는 VR 게임에서 플레이어는 다른 플레이어의 위치와 방향을 정확하게 식별해야 하며, 이는 팁/전략에 대한 플레이어 간의 소통과 몰입감 있는 게임 경험에 필수적입니다. 음성 SDK와 함께 제공되는 3D 가상화 기술은 효과적인 솔루션을 제공합니다. 플레이어가 음성을 통해 인식하는 위치는 게임 내 캐릭터의 상대 위치에 해당합니다. 캐릭터 간의 상대 거리가 변화함에 따라 음성 강도가 증가하거나 감소하여 실제 대화 시나리오를 잘 시뮬레이션합니다.
더 많은 정보를 원하시면 공식 웹사이트를 방문해 주세요: 텐센트 RTC를 자유롭게 탐색하세요.
질문이 있거나 도움이 필요하시면 지원 팀이 언제든지 도와드릴 준비가 되어 있습니다. 언제든지 문의해 주세요 또는 Discord에 가입하세요.