ボイスチャットルームアプリをClubhouseのように構築する方法 | ソリューションアーキテクチャ

シーンの紹介

音声チャットルームは、純粋な音声形式でのオンラインインタラクティブな社会的交流のための仮想空間です。部屋には通常、いくつかのマイクが設置されています。ホストと接続されたリスナーがマイクを通じて会話し、他のリスナーは部屋に入って聞くことができます。部屋の種類によって異なる数のマイクと最大リスナー数があります。TRTCは、同時に最大50人がマイクで会話できることをサポートしており、上と下のマイクのスムーズな切り替え、300ms未満の音声チャット遅延、音声変換、雰囲気音響効果、リバーブなどの音声効果をサポートし、音声チャット体験をより豊かにしています。TRTC Chatと組み合わせることで、公開チャット、プライベートチャット、グループチャット、いいね、ギフトなどのメッセージインタラクション形式をサポートし、良好なインタラクション体験を提供します。

実装

完全な音声チャットルームシナリオを実現するには、通常、複数の機能モジュールが関与します：ルーム管理、マイク管理、オーディオストリーム管理、録音とレビューなど。各機能モジュールの下にある主要なアクションと機能ポイントは以下の表に示されています：

チャットルームシナリオの全体的なビジネスアーキテクチャは、以下の図に示されています。ルームオーナーがルームを作成し、ユーザーは興味のあるルームを選んで参加できます。ルームに入った後、ユーザーはマイクを使ってホストとインタラクションします。ルーム内の音声コンテンツは、コンプライアンス要件のために録音され、レビューされる必要があります。

ルーム管理

ルーム管理モジュールは、主にルームリストの維持を担当し、主に次の機能を含みます：

● ルーム作成：ユーザーがビジネスシステムにログインした後、ルームを作成できます。ルームを作成した後、ルームリストに追加する必要があります。

● ルーム参加：ユーザーは既存のルームに参加することを選択できます。ルームに参加した後、現在のルームメンバーリストに追加する必要があります。

● ルーム退出：ユーザーは現在のルームを退出することを選択できます。ルームを退出した後、現在のルームメンバーリストから削除する必要があります。

● ルーム破棄：すべてのユーザーがルームを退出した後、ルームを破棄する必要があります。ルームを破棄した後、ルームリストから削除する必要があります。

ソリューションアーキテクチャ

ルーム管理アーキテクチャ全体では、ルーム管理は主に3つのモジュールに関与します：

• ビジネス側のルーム管理：主にルームリストの維持と管理に使用され、ビジネスルームの属性と状態の同期などを行います。機能には、ルームリストのクエリ、ルームの入退室、ルームの作成と破棄が含まれます。
• ルーム管理：主にルームメンバーリスト、信号とメッセージのインタラクションに使用され、マイクの申請の承認/拒否、マイクへの出入りの管理、マイク音のミュート/解除などを行います。また、グループの次元で区別し、グループの作成、参加、退出、破棄を含みます。
• TRTCルーム管理：主にオーディオストリームのインタラクションと伝送に使用され、ホスト/リスナーの音声/音楽の送信と受信を行い、ルームの次元で区別します。

具体的な実装

ルーム管理では、異なるユーザーロールが異なる機能権限と実装プロセスを持ちます。音声チャットルームには主に2つの役割があります：ルームオーナーとリスナー。役割の説明とその違いは以下の表に詳細に示されています：

実装プロセス

ルームオーナー

1. ルームリストを取得します。

2. ビジネスインターフェースを介して対応するルームを作成します。

3. ルームを作成します。

4. ビジネスルーム/RTCルームに入室し、他の人とインタラクションします。

5. RTCルーム/ビジネスルームを退出します。

6.  ルームを破棄します。

オーディエンス

1. ルームリストを取得します。

2. ビジネスルーム/RTCルームに入室し、他の人とインタラクションします。

3.  RTCルーム/ビジネスルームを退出します。

マイク管理

音声チャットルームのマイクは、通常、秩序正しく制限されています。たとえば、リスナーは、順番にマイクに上がる前にルームオーナーの同意を得る必要があります。部屋のマイクの数は通常10を超えません。マイク管理は、ビジネスシナリオに応じて部屋のマイクの数を定義し、現在の部屋内のすべてのマイクの状態管理を担当します。

マイク管理の主な機能には、アクティブマイク、誰かをマイクに保持、アクティブマイクの削除、誰かをマイクからキック、マイクのミュート、マイクのロック、マイクの移動などがあります。

● ユーザーが部屋に入った後、アイドルマイクがある場合にのみ、マイクに上がる申請ができます。

● ルームオーナーがユーザーのマイク使用を承認すると、マイクの状態を非アイドル状態に変更する必要があります。

● ユーザーがストリーミングを停止し、マイクから離れた後、マイクの状態をリセットする必要があります。

● ルームオーナーは、マイクをロックしたり、招待したり、強制的にマイクから外したり、マイクをミュートしたりする権利があります。

ソリューションアーキテクチャ

以下は、マイク管理のためのTRTCのソリューションアーキテクチャの紹介です。ルーム管理構造全体では、ルームオーナーが最高権限を持ち、マイクへの招待、キック、ミュート、解除を行うことができます。リスナーもマイクに上がる申請を行い、他のホストとインタラクションできます。

具体的な実装

マイク管理では、異なるユーザーロールが異なる機能権限と実装プロセスを持ちます。主に2つの役割があります：ホストとオーディエンス。役割の説明とその違いは以下の表に詳細に示されています：

実装プロセス

ルームオーナー

1. ホストはルームロビーに入り、ルームリストを取得します。

2. ホストとしてルームを作成し、ルームに入ります。

3. グループ属性を利用してマイクリストを取得し、積極的にマイクに上がります。

4. リスナーがマイクに上がります。マイクに上がった後、他のユーザーとインタラクションできます。リスナーがマイクに上がるには、リスナーが積極的にマイクに上がる申請をし、ホストが同意する方法と、ホストがリスナーを積極的に招待し、リスナーが同意する方法の2つがあります。

5. リスナーがマイクから離れます。マイクから離れる方法は、リスナーが積極的にマイクから離れるか、ホストがリスナーを強制的にマイクから外すかの2つです。

6. ホストが退出し、ルームを破棄します（ルームが解散し、すべてのユーザーが強制的にマイクから降りて退出します）。

オーディエンス

1. リスナーはルームロビーに入り、ルームリストを取得します。

2. リスナーはルームを選択して入室します。

3. リスナーはグループ属性に基づいてマイクリストを取得します。

4. リスナーがマイクに上がる申請を行います。ホストが同意した後、リスナーは他のユーザーとマイクでインタラクションします。

5. リスナーがマイクから離れ、ルームを退出します。

オーディオストリーム管理

音声チャットインタラクションシナリオでは、通常RTCストリームアクセスソリューションが選択されます。アクセスは簡単で迅速であり、リアルタイムインタラクションの低遅延特性を体験できます。以下の図は、リアルタイムインタラクティブ音声チャットのための比較的一般的なプッシュ-プルストリームアーキテクチャソリューションを示しており、2つの役割：マイク上のユーザーとマイク外のオーディエンスがあります。

ルーム内のリアルタイムストリーミングサブスクリプションについて、TRTCには自動サブスクリプションと手動サブスクリプションの2つのサブスクリプションモードがあります。

● 自動サブスクリプション：ユーザーがルームに入ると、すぐにルーム内の音声および映像ストリームを受信し、音声が自動的に再生され、映像が自動的にデコードされます。

● 手動サブスクリプション：ユーザーがルームに入ると、手動でstartRemoteViewを呼び出して映像ストリームのサブスクリプションとデコードを開始し、手動でmuteRemoteAudioを呼び出して音声再生を開始する必要があります。

ほとんどのシナリオでは、 TRTCはデフォルトで自動サブスクリプションモードを使用します。ルームに入ると、ユーザーはすべてのホストの音声と映像ストリームをサブスクライブし、より良い「セカンドオープニング体験」を得ることができます。手動サブスクリプションモードは柔軟性とカスタマイズ性が高く、ユーザーは音声および映像ストリームを選択的にサブスクライブできます。

録音とレビュー

メディアコンテンツをクラウドに録音・保存する必要がある場合や、オンラインインタラクティブコンテンツのリアルタイムセキュリティレビューを実施する必要がある場合、違法チャットルームを迅速に制御することができ、オンラインソーシャルプラットフォームをより標準化します。

TRTCクラウド録音

TRTCの最新のアップグレードされたクラウド録音は、クラウドライブストリーミングの能力に依存せず、クラウドライブストリーミングを迂回してリツイートする必要がなく、TRTCの内部リアルタイム録音クラスターを使用して音声と映像を録音し、より完全で統一された録音体験を提供します。

● 単一ストリーム録音：TRTCのクラウド録音機能を使用すると、部屋内の各ユーザーの音声ストリームを別々のファイルに録音できます。

● 混合ストリーム録音：同じ部屋の音声メディアストリームを1つのファイルにミックスします。

Tianyuコンテンツセキュリティ監査

TRTCは、T-Sec Tianyuと連携して、リアルタイムの音声および映像コンテンツ識別と警告サービスを提供します。リアルタイム音声および映像サービスを使用する際に、音声および映像コンテンツ識別と警告の戦略を自動的または手動で全世界で開始することをサポートします：

グローバル自動監査

顧客は監査戦略と監査ストリームタイプを指定できます。TRTCクラウドは、アプリケーションのすべての部屋で音声および映像コンテンツの監査を自動的に完了し、違反情報を顧客が指定したコールバックURLに送信します。手動で監査を開始する必要はなく、これは簡単で使いやすく、コードアクセスの作業負担を軽減しますが、柔軟性は低いです。

TRTCとTianyuコンテンツセキュリティ監査プラットフォームの組み合わせの実装原理は、以下の図に示されています。ライブコンテンツセキュリティは、「ダム端末」の形で指定されたTRTCルームに入り、音声および映像ストリームを「オーディエンス」として引き出し、引き出された音声および映像ストリームの内容を監査し、違反情報を顧客が指定したHTTP/HTTPSサービスにコールバックで送信します。

手動カスタム監査

顧客は、Tianyu音声および映像ストリームインターフェースを呼び出して、音声および映像ストリーム内に違法コンテンツがあるかどうかをリアルタイムで検出するだけです。音声および映像セキュリティ監査サービスは、違反情報を顧客が指定したコールバックURLに送信します。この方法はより柔軟でカスタマイズ可能ですが、監査タスクを開始するためにREST APIを呼び出す必要があり、一定のアクセスの複雑さがあります。

ゴーストマイク処理ソリューション

ゴーストマイク、またはフライドマイク、ブラックマイクとも呼ばれ、マイクに乗っていないユーザーが話すことができ、他のユーザーがマイクの下にいるユーザーの声を聞くことができる現象です。ゴーストマイク現象の根本原因は、ビジネスマイクの状態がユーザーの役割状態と一致しないことです。この問題が発生する可能性のある理由はいくつかあります。

● リスナーがマイクを離れ、マイクリストを更新しましたが、マイク情報のコールバックが到達しなかったり、妨害されたりしたため、リスナーはローカルでマイクの役割をオーディエンスに切り替えず、結果としてマイクの下にいる間に話すことができました。

● リスナーがマイクを離れ、マイクリストを更新しました。マイク情報のコールバックを受け取った後、リスナーがローカルでTRTCのオーディエンス役割のインターフェースを呼び出さなかったため、リスナーはマイクの下にいる間に話すことができました。

● アプリが強制的にハッキングされ、ユーザーのUserSigがハッカーによって傍受された結果、ハッカーがホストとしてTRTCルームに侵入し、自由に話すことができました。

私たちはゴーストマイクを検出し、迅速に特定して処理します。以下は、クライアントとサーバーでのゴーストマイクの検出および処理ソリューションの紹介です。

クライアント処理ソリューション

ソリューションの原則：TRTCボリュームコールバックを通じて、現在のアップリンクオーディオユーザーリストとビジネスマイクの状態リストを比較して、マイクに乗っていないが音声アップリンクがあるゴーストマイクを特定します。プロセスは以下の図に示されています。

ゴーストマイクが検出された場合、クライアントはリモートオーディオストリームをローカルでミュートし、ビジネスサーバーに報告します。ビジネスサーバーは、そのユーザーを禁止するか、部屋からキックするかを決定できます。

サーバー側処理ソリューション

ソリューションの原則：音声チャットインタラクションシナリオでは、ユーザーの役割はホストとオーディエンスに分けられます。ローカルオーディオをアップロードできるのはホスト役割のみなので、ビジネスマイクリストとTRTCユーザー役割リストを比較することでゴーストマイクを検出できます。

TRTCは、サーバー側でルームとメディアイベントのコールバックを提供します。ルームに入る、役割を切り替える、ルームを退出するなどのイベントを監視することで、現在のルーム内のリアルタイムホストリストを維持できます。その後、TRTCのリアルタイムホストリストとビジネスの完全なマイクリストを比較することで、ゴーストマイクを容易に検出して特定し、部屋からキックするかミュートするなどの操作を行うことができます。

1. リアルタイム音声および映像TRTCコンソールは、自己設定のコールバック情報をサポートします。設定が完了すると、イベントコールバック通知を受け取ります。

2.  コールバックイベントパッケージを受信して解析し、103/104/105イベントに注意を払い、現在のルーム内のリアルタイムオンラインホストユーザーリストをカウントします。

{
    "EventGroupId": 1, #ルームイベントグループ
    "EventType": 103, #ルーム入室イベント
    "CallbackTs": 1687679847972, #コールバック時間（ミリ秒）
    "EventInfo":     {
        "RoomId": "123456", #ルーム番号
        "EventTs": 1687679847, #イベント発生時間（秒）
        "EventMsTs": 1687679847899, #イベント発生時間（ミリ秒）
        "UserId": "1a99b0a9", #ユーザー名
        "Role": 20, #ユーザー役割 20: ホスト; 21: オーディエンス
        "TerminalType": 2, #端末タイプ
        "UserType": 3, #ユーザータイプ
        "Reason": 1 #特定の理由
    }
}

3.  最後に、特定のタイミング（マイクリストが変更されたときなど）や、各ルームのビジネスマイクリストとTRTCリアルタイムホストリストを定期的にポーリングして比較することで、ゴーストマイクを特定し、禁止またはキックすることができます。

マイクの上下切り替え時の遅延防止ソリューション

問題の説明

モバイルデバイスのシステムメカニズムの違いにより、音声チャットシナリオでのマイクの上下切り替えのパフォーマンスは、AndroidとiOSで一貫していません。iOS側では、マイクの上下切り替え時に短いオーディオのフリーズが発生することがあります。

原因分析

これは、iOSシステムのオーディオメカニズムに関連しています。startLocalAudioおよびstopLocalAudio操作は、マイクデバイスの権限を取得および解放します。SDKのオーディオ再収集によりAVAudioSessionがオーディオドライバーを再起動し、マイクの上下切り替え時に短いオーディオのフリーズが発生します。

ソリューション

従来のTRTCソリューションのマイクの上下切り替えのタイミングは以下の図に示されています。役割を切り替えるとき、ローカルオーディオの収集と解放が開始または停止されます。このソリューションはAndroid側で正常に使用できます。

iOS側では、マイクのダウン操作中にオーディエンス役割に切り替えることでストリーミングを停止し、オーディオ収集を停止してマイクの権限を解放するstopLocalAudioを呼び出さないようにすることで、マイクの上下切り替えの遅延を回避できます。

オーディオ設定のベストプラクティス

オーディオ品質とボリュームタイプは、オーディオ設定において異なる概念です。TRTCでは、ローカルオーディオの取得と配信を開始する際にオーディオ品質を設定できます。ローカルオーディオの取得と配信を開始するか、setAudioQuality(TRTCAudioQuality)を介してオーディオ品質を個別に設定することができます。ボリュームタイプは、ルーム入室シーンやオーディオ品質設定などの要因の組み合わせによって決まります。また、特定のボリュームタイプをsetSystemVolumeType(TRTCSystemVolumeType)を介して強制的に指定できます。

オーディオ品質設定のベストプラクティス

TRTC SDKは、さまざまな垂直シナリオでの音質の異なる追求に応えるために、現在3つの慎重に調整された音質モードを提供しています。

上記の表からわかるように、音質効果は人間の声モードから音楽モードへと増加しますが、伝送される音声データの量も増加します。

● 音声チャットルームシナリオでは、純粋な人間の声のコミュニケーションに対して、人間の声モードを使用することをお勧めします。これにより、弱いネットワーク条件下でより良い流暢さが実現できます。

● 背景音楽を再生する必要がある音声チャットルームでは、良好な音声詳細復元を得るためにデフォルトモードまたは音楽モードを使用することをお勧めします。

● ダウンストリームオーディエンスのネットワーク帯域幅の圧力を考慮して、良好なユーザー体験を確保するために、マイクが10以上のマイクがあるビジネスシナリオでは音楽モードの使用は慎重に考慮することをお勧めします。

ボリュームタイプ設定のベストプラクティス

TRTC SDKは、異なるシナリオにおけるボリュームタイプのニーズに応えるために、現在3つのシステムボリュームタイプ制御モードを提供しています。

● 通話シナリオでは、デフォルトのフルタイム通話音量を使用することを推奨し、この時に音声モジュールを切り替える必要はありません;

● ボイスチャットルームシナリオでは、純粋な人間の声のコミュニケーションのためにデフォルトの自動切り替えモードを使用することを推奨します。つまり、通話のためにはマイクがオンになり、メディアのためにはマイクがオフになります;

● バックグラウンドミュージックを再生する必要があるボイスチャットルームでは、フルタイムメディア音量を設定することを検討してください。そうすることで、マイクがオン/オフの際に遠くの音楽のフリーズや突然の音量変化をユーザーが感じるのを避けることができます。

シングルストリーム音量評価

チャットルームシナリオでは、一部の顧客が帯域幅を削減しコストを節約するためにRTCシングルストリームをプッシュおよびプルすることを選択するかもしれません。オーディエンスは部屋内の混合ストリームをプルします。しかし、チャットルームシナリオでは、通常、UI上でマイク上のユーザーの音量に基づいて対応するプロンプトが必要です。例えば、「音波グラフ」や「音量バー」などです。シングルチャネルオーディオの音量評価フィードバック機能はTRTCルーム内で実装が容易ですが、純粋なオーディオ混合ストリームでは特別な方法が必要です。以下に、2つの解決策の具体的な実装を紹介します。

RTCルーム内のシングルストリーム音量評価

ステップ1：音量プロンプトを有効にする

enableAudioVolumeEvaluationインターフェースを通じて音量コールバックを有効にし、ローカル音声検出機能をオプションで有効にします。この機能を有効にすると、SDKはローカルユーザーとリモートプッシュストリームユーザーの音量、最大音量値、ローカル音声検出結果をonUserVoiceVolumeコールバックでフィードバックします。

ステップ2：音量コールバックをリッスンする

TRTCCloudListener内でonUserVoiceVolumeコールバックをリッスンします。このコールバックは、ローカルユーザーとリモートストリーミングユーザーの音量、およびリモートユーザーの最大音量に関するフィードバックを提供します。音量に基づいて対応する音波をUIに表示できます。

純粋なオーディオ混合ストリームシングルストリーム音量評価

純粋なオーディオ混合ストリームのシングルストリーム音量評価の実装プロセスは上記の図に示されています。マイク上のホストは音量コールバックを監視し、ローカル音量とリモート音量を判断し、ローカル音量値とユーザー情報をSEIメッセージの形式でオーディオストリームに挿入し、混合ストリーム後に透明にオーディエンスに送信します。また、ルームオーナーはマイク上のすべてのホストのコールバック音量値をSEIを介して送信することもできます。以下の図は、全プロセスのタイミング図を示しています：

下の図に示されるように、オーディエンス側で混合ストリームから解析されたSEIメッセージに対応するスピーカーの音量が表示されます。

ボイスチャットルームの最良のユースケース

クラウドベースのリアルタイム音声およびビデオ通話サービスの提供者として、Tencent RTCは、クライアントに革新的なボイスチャット製品を立ち上げることを可能にしました。以下は、世界中で共鳴した人気のあるソーシャルオーディオのユースケースです：

a. ボイスチャットルーム + ミニゲーム

ボイスチャットルームとゲームを組み合わせることで、インタラクティブなゲーム要素を統合し、プラットフォームの社会的属性を強化し、新しい統合プレイをもたらし、アイスブレイキングの課題を解決し、マイク接続時間の延長を促進します。

大規模マルチプレイヤーゲーム（バトルロワイヤルなど）のための音声ツールとしてだけでなく、殺人ミステリーゲーム、真実か挑戦、卓球などのオンラインミニゲームでも一般的に利用されています。ユーザーは音声回転を通じてゲームリレーに参加し、ゲームの楽しさとインタラクティブ性を高めます。

b. ボイスラジオ局

ボイスラジオは人気のあるソーシャルオーディオ機能です。ホストはボイスラジオ局でオーディエンスにライブ音声ストリームを放送し、特定のオーディエンスメンバー（通常は有料ユーザーや仮想ギフトを送った人）を会話に招待できます。ホストは、現在の出来事について議論したり、音楽を流したり、物語を語ったり、インタビューを行ったりするコンテンツを作成し、ライブで放送します。一方向の放送だけでなく、ホストはオーディエンスを招待してリアルタイムの議論に参加させ、プログラムのインタラクティブで魅力的な性質を高めます。

c. カラオケ

基本的なボイスチャットを超えて、ユーザーはオンラインKTVと組み合わせたボイスチャットルームでカラオケスタイルのインタラクションに参加できます。ホストはインタラクティブなボイスチャットのためにバックグラウンドミュージックを流すことができ、音楽ルーム、勉強部屋、聴取ルームなどのシナリオで一般的に使用されます。さらに、ユーザーは曲を選択してプレイリストを作成し、歌手がライブパフォーマンスを行う間、他の人はテキストチャットに参加し、ギフトを送ることができます。

d. ボイスチャットルーム + アバター

音声のみのコミュニケーションが主な伝達手段である従来のボイスチャットルームにアバターを統合することで、ユーザーの画像、表情、ジェスチャーなど、より多くの情報を伝達でき、実際の顔を見せずに対面コミュニケーションの体験を提供します。これにより、アイスブレイクが助けられ、ユーザー同士の関係が深まります。さらに、3Dギフトやバーチャル背景によって豊かさが増します。

結論

ボイスチャットルームの多様性と革新性は、ボイスチャットルームがデジタルコミュニケーションを再定義しています。親密なチャットから活気あるグループディスカッション、ボイスラジオやカラオケまで、革新的なエンターテイメント手法を通じて、グローバルなつながりと豊かなオンライン体験を促進しています。技術の進歩が続く中、ボイスチャットルームのさらなるクリエイティブなユースケースを期待しています。

ご質問やオンラインでのサポートが必要な場合は、私たちのサポートチームがいつでもお手伝いします。お気軽に お問い合わせください または、 Telegram または Discord。技術的な問題については、開発者から直接支援を受けることもできます Stack Overflow。