元宇宙真的要实现了,英伟达正式开源了超强虚拟角色定制模型CALM

元宇宙真的要实现了
近日，英伟达正式开源了超强虚拟角色定制模型CALM。

基于此，开发者可以利用AI，零样本生成复杂逼真的动作，简单而自由地控制角色

8月8日，英伟达CEO黄仁勋，再次登上了世界顶级计算机图形学会议SIGGRAPH的舞台，用一系列重磅更新展示了在AI和元宇宙方向上的野心。

而就在最近，被SIGGRAPH 2023收录的CALM模型的正式开源，也让游戏和动画开发直接飙上了AI加持的快车道。

CALM可以自学「人类的动作」，无需额外训练就能自由合成和控制虚拟角色的动作，效果逼真自然。
也许很快整个游戏、动画工业的格局就要彻底改变，而VR场景中的人物和角色也将从此不再生硬，元宇宙可能真的要加速到来了！

具体来说，英伟达联合以色列理工学院、巴伊兰大学和西蒙菲莎大学，共同提出了一种全新的条件对抗潜模型（Conditional Adversarial Latent Models，CALM）。
通过模仿学习，CALM学习到了一种可以捕捉人类动作复杂性和多样性的动作表征，并能直接控制角色的动作。
该方法可以联合学习控制策略和动作编码器，对给定动作的关键特征进行重建，而不仅仅是复制。

结果表明，CALM可以通过学习语义动作表征，对生成的动作进行控制，并且为更高层的任务训练提供风格调整。
训练完成后，用户就可以利用像电脑游戏一样的界面，非常直观地对角色进行控制了。

CALM以对抗性技能嵌入为基础，并借鉴了其代码。
研究人员利用单张A100 GPU，通过在4096个Isaac Gym环境上进行并行训练，共计50亿步。

为了实现零样本任务解决方案，CALM由3个阶段组成：
（1）动作编码器和底层策略（解码器）联合训练，将动作捕捉序列映射为控制模拟角色的动作。
（2）使用潜空间调节训练高层策略，从而实现对执行动作方向的控制，同时保留所需的风格。
（3）将步骤1和2结合起来，使用简单的有限状态机来解决任务，无需进一步训练，也无需精心设计奖励/终止条件。