IRIAMではライバーの顔をUnityアプリ上でリアルタイムに認識し、視聴側でキャラクターを表情付きで再構築することで低遅延のネットワーク配信を実現しています。一方で端末スペックに起因する認識精度の差異が従来からの課題となっており、問題解決にむけDeNAはデータサイエンスとエッジAIの知見を活かした新しい顔認識の開発に取り組みました。
本発表ではその開発過程で得られた知見、具体的には教師データの制約や使途によって異なる機械学習モデルの設計指針、Barracudaなどの推論ランタイムを活かすためのモデル変換ノウハウ、そしてUnityとAIを実機上で効率良く連携するための周辺実装を中心にお伝えします。