iOS

機能説明

カメラのopenGLテクスチャを入力すると、Apple ARKitのルールに従って、52種類の顔の表情のBlendShapeデータがリアルタイムで出力されます。詳細については、ARFaceAnchor。これらの表情データを利用して、Unityに渡してモデルを動かすといった、さらに進んだ開発を行うことができます。

iOS統合ガイド

iOSのSDKの統合ガイドについての詳細は、Tencent Effectの独立した統合をご参照ください。

インターフェースの呼び出し

1. 機能スイッチをオンにします。
[self.beautyKit setFeatureEnableDisable:ANIMOJI_52_EXPRESSION enable:YES];
2. 顔の特徴点位置情報データのコールバックを設定します。
//XMagic.h
- (void)registerSDKEventListener:(id<YTSDKEventListener> _Nullable)listener;

@implementation listener
- (void)onYTDataEvent:(id)event
{
NSLog(@"YTData %@", event);
}
@end
onYTDataUpdateはJSON string構造を返します。最大で5つの顔の情報を返します。
{
"face_info":[{
"trace_id":5,
"face_256_point":[
180.0,
112.2,
...
],
"face_256_visible":[
0.85,
...
],
"out_of_screen":true,
"left_eye_high_vis_ratio:1.0,
"right_eye_high_vis_ratio":1.0,
"left_eyebrow_high_vis_ratio":1.0,
"right_eyebrow_high_vis_ratio":1.0,
"mouth_high_vis_ratio":1.0,
"expression_weights":[
0.12,
-0.32
...
]
},
...
]
}

フィールドの意味

trace_id:顔ID。連続ストリーム取得の過程で、IDが同一であれば同じ顔であると認識できます。
expression_weights:リアルタイムの表情blendshapeデータです。配列の長さは52で、各数値の値の範囲は0~1.0です。{&quot;eyeBlinkLeft&quot;,&quot;eyeLookDownLeft&quot;,&quot;eyeLookInLeft&quot;,&quot;eyeLookOutLeft&quot;,&quot;eyeLookUpLeft&quot;,&quot;eyeSquintLeft&quot;,&quot;eyeWideLeft&quot;,&quot;eyeBlinkRight&quot;,&quot;eyeLookDownRight&quot;,&quot;eyeLookInRight&quot;,&quot;eyeLookOutRight&quot;,&quot;eyeLookUpRight&quot;,&quot;eyeSquintRight&quot;,&quot;eyeWideRight&quot;,&quot;jawForward&quot;,&quot;jawLeft&quot;,&quot;jawRight&quot;,&quot;jawOpen&quot;,&quot;mouthClose&quot;,&quot;mouthFunnel&quot;,&quot;mouthPucker&quot;,&quot;mouthRight&quot;,&quot;mouthLeft&quot;,&quot;mouthSmileLeft&quot;,&quot;mouthSmileRight&quot;,&quot;mouthFrownRight&quot;,&quot;mouthFrownLeft&quot;,&quot;mouthDimpleLeft&quot;,&quot;mouthDimpleRight&quot;,&quot;mouthStretchLeft&quot;,&quot;mouthStretchRight&quot;,&quot;mouthRollLower&quot;,&quot;mouthRollUpper&quot;,&quot;mouthShrugLower&quot;,&quot;mouthShrugUpper&quot;,&quot;mouthPressLeft&quot;,&quot;mouthPressRight&quot;,&quot;mouthLowerDownLeft&quot;,&quot;mouthLowerDownRight&quot;,&quot;mouthUpperUpLeft&quot;,&quot;mouthUpperUpRight&quot;,&quot;browDownLeft&quot;,&quot;browDownRight&quot;,&quot;browInnerUp&quot;,&quot;browOuterUpLeft&quot;,&quot;browOuterUpRight&quot;,&quot;cheekPuff&quot;,&quot;cheekSquintLeft&quot;,&quot;cheekSquintRight&quot;,&quot;noseSneerLeft&quot;,&quot;noseSneerRight&quot;,&quot;tongueOut&quot;}
その他のフィールドは、顔情報にあります。関連するLicenseを購入した場合に、それらのフィールドを取得できます。表情データのみを取得したい場合は、それらのフィールドを無視してください。