動畫短片《龍門》劇照。
受訪者供圖
近期，由中國傳媒大學動畫與數字藝術學院DigiLab實驗室制作的動畫短片《龍門》，獲得第三屆巴西Tiete（“鐵特”音譯）國際電影獎實驗短片單元最佳影片提名。該動畫短片使用原創生成式人工智能（AIGC）技術，是國內首部全部以AI技術制作的水墨動畫短片。
目前，AIGC已經在美術、影視、文學、音樂等創作領域產生廣泛影響，動畫領域也不例外。面對人工智能的挑戰與機遇，中國傳媒大學動畫與數字藝術學院院長王雷帶領實驗室師生團隊，從2023年初開始嘗試訓練水墨風格的AI視頻生成模型。團隊通過對開源AIGC技術的二次開發調整，訓練出了擁有自主產權的人工智能模型“墨池”（Inkstone），經過大量反復試錯，開發完善了水墨插畫風格的文生視頻、圖生視頻、視頻風格化等AI流程。《龍門》就是應用這些技術完成的試驗短片。
產生靈動的質感
水墨動畫將中國水墨畫引入到動畫制片，是最具代表性的中國動畫形式，也是動畫創作中非常有難度的一個片種。傳統水墨動畫的制作流程較為繁復，水墨效果也很難以人手控制。因此，想要做出一個連貫流暢的水墨動態效果并不容易，成本也較高。直到現在，除了《小蝌蚪找媽媽》《山水情》《牧笛》等經典作品，以水墨創作的動畫數量并不多。
“2022年下半年，我開始感到AIGC技術將給水墨動畫帶來新的發展契機。因為AI能夠加速水墨動畫的制作過程，一個畫面里多達上百個的筆觸可以用AI來完成。”王雷說。
走進DigiLab實驗室，各式電腦設備擺滿了辦公桌，幾位老師和同學正在細細打磨新的動畫作品。中國傳媒大學動畫與數字藝術學院副教授段雯鍇，也是《龍門》的導演、技術總監，介紹了運用“墨池”制作動畫的工作流程：藝術家需要將創意準確地告訴“墨池”，引導它按照藝術家的想法來生成結果。生成結果有時會存在偏差，因此需要藝術家理解技術原理并不斷地嘗試。“與AI溝通需要以技術或圖形化的方式進行，比如輸入文字、三維圖像，或者提供參數等。”段雯鍇說，目前網絡上大部分AIGC視頻或圖片生成工具的隨機性較大，要想做出有明確主題表達的作品，每個元素都需要非常精準的掌控。因此，在制作《龍門》的時候，DigiLab實驗室師生團隊采用了真人實拍加綠幕摳像的方式，在這個過程中拍攝了很多角色動作，“墨池”會將實拍素材進行打磨，并補充出更多細節，最后形成水墨暈染的效果。
這是一個人機溝通的過程，也是一個從創意到實踐的過程。《龍門》就是DigiLab實驗室師生團隊與“墨池”溝通的產物。“墨池”采用多模態視頻生成方式，攻克了諸多技術難題，在角色面部特征穩定性、較長鏡頭生成中，降低了視頻抖動與局部錯誤，使畫面擁有靈動而充滿意境的水墨質感。
“水墨動畫是中國動畫學派的核心和瑰寶。如果我們用新技術能生成跟以往一樣，甚至更好的效果，對整個中國動畫行業都是有所貢獻的。”王雷說。
呈現新的視覺效果
說起“墨池”模型的研發，王雷想起了一些有趣的故事。AIGC訓練和生成需要算力，開發“墨池”正值夏天，實驗室里所有的電腦都在全力運轉。實驗室變得非常熱，團隊成員來到別的地方辦公，遠程操控電腦。“空無一人的實驗室也能繼續‘熱火朝天’的創作，可見技術讓創作模式發生了多大的改變。”王雷說。
建立“墨池”模型的過程充滿挑戰。AIGC作為新技術，缺乏足夠的現成材料，需要不斷地做測試。王雷告訴筆者：“過程中，我們經歷了大量試錯和遇到問題不知如何解決的時刻，這也是經驗積累的過程。”段雯鍇說，在訓練自主模型的過程中，自己每天都會接觸到新技術，需要不斷更替優化。
段雯鍇結合動畫生產細節舉例說，如果用二維或者三維動畫的方式去創作水墨動畫，會涉及貼圖、燈光渲染等方式，生成的畫面精度較低，AI則可以做到細節的無限添加。“AIGC能夠實現傳統動畫創作模式不敢做或無法實現的效果，開創動畫新的視覺路線。”他說。
“AIGC技術對動畫界的影響，可能相當于手機拍照功能之于攝影界，能夠給創作者帶來新的可能。”王雷表示，AIGC技術一方面降低了創作門檻，讓普通人就可以做出簡單的動畫，并通過在短視頻平臺的分享，讓動畫更貼近日常生活；另一方面，這項技術還能催生更多更加快捷的專業化工具，呈現更加令人驚嘆的視覺效果。“我們從業者還需要進一步思考技術和內容表達的關系，在技術迅速更迭的時代發揮所長，掌握技術的自主性和獨創性，用好技術做更專業的內容。”王雷說。
據悉，中國傳媒大學已經和英特爾公司聯合創辦了AIGC創作實踐中心。強大的硬件能力加持，相信將有助于高校和平臺收獲更多成果。
“墨池”模型目前主要能生成一種風格的水墨動畫。DigiLab實驗室團隊已經策劃了新的項目，將逐步豐富“墨池”的家族譜系，迭代“墨池”，并在未來的動畫制作和教學中加以應用。“前輩們已經將傳統流程做得非常優秀了，往前走則是我們應當做的思考。”王雷說，AIGC時代，如何開拓前沿，在國際舞臺上持續釋放中國動畫與數字藝術行業的巨大潛力，是動畫科研創作者們不斷努力的方向。