商湯科技提出Story-to-Motion：從長文本生成人體運動軌跡

　　人工智能正逐漸滲透到各行各業，其中一項重要的進展是通過長篇文本生成自然人類運動，這在動畫、游戲和電影等領域具有巨大潛力。然而，從文本到運動的轉化一直是一個巨大挑戰，尤其是在處理角色在不同區域移動和執行特定動作時。

　　盡管過去已經付出了大量努力來研究文本到運動和角色控制，但迄今為止尚未找到合適的解決方案。現有的角色控制方法存在許多限制，無法處理文本描述，而當前的文本到運動方法則需要更多的位置約束，導致生成不穩定的運動。

　　為了應對這些挑戰，研究團隊提出了一種獨特的方法，該方法通過三個關鍵組件解決了“故事到運動”的問題。首先是文本驅動的運動調度，它利用現代大型語言模型從長篇文本中提取文本、位置和持續時間對，作為文本驅動的運動調度器，確保生成的運動基于故事并包含有關每個動作的位置和長度的詳細信息。

　　其次是文本驅動的運動檢索系統，通過將運動匹配和對運動軌跡和語義的約束相結合，創建了一個全面的運動檢索系統，確保生成的運動滿足預期的語義和位置屬性以及文本描述。最后是漸進式掩蔽變換器，它專門設計用于處理過渡運動中的常見偽影，如腳滑動和不尋常的姿勢，以提高生成運動的質量，產生更平滑的過渡和更真實的外觀。

　　這一方法經過了在運動混合、時間動作組合和軌跡跟蹤等三個子任務上的測試，結果顯示在每個領域都優于先前的運動合成技術。

　　研究人員總結了他們的主要貢獻，包括引入軌跡和語義以從長篇文本生成全面的運動，提出了一種新方法——基于文本的運動匹配，以提供準確和可定制的運動合成，并在軌跡跟蹤、時間動作組合和運動混合子任務上的實驗證明其優于現有技術。

　　總的來說，這個系統標志著從文本敘述中合成人類運動的一大步前進。它不僅為“故事到運動”任務提供了完整的解決方案，還在動畫、游戲和電影等行業中具有革命性的影響。這項研究的成果為人工智能技術在創意產業中的應用開辟了新的可能性，有望為相關領域帶來巨大的發展。