短剧换脸出海的技术复杂性

在去年的短剧出海热潮中，我们探索尝试过对短剧中人物进行换脸和换语音，希望实现一次拍摄多地区发行。 理想美好，现实骨感！短剧中场景的复杂度远超我们之前尝试过的数字虚拟人，复杂性主要体现在：

1. 场景画面中人物多，多个人物经常同时出现在画面中；
2. 换脸或换语音的对象并不一直出现在画面中；
3. 换脸的对象不是一直正脸出现；
4. 换语音的对象说话时，人不一定出现在画面中，并且可能出现多个人物说话重叠交叉的情况；
5. 不同语言说同样意思的话，语音时长可能差异较大，画面和语音同步较难。