DoNews7月26日消息,Sora毫無疑問帶來AI大模型的全新玩法,大模型可基于任意文字生成視頻,這也是這個“大家庭”若干努力(包括Runway的Gen系列、微軟的Nuwa、Meta的Emu、谷歌的Phenaki/VideoPoet、CogVideo等)的一個全新高度。
7月26日,這個大家庭迎來一個新伙伴:清影(Ying)。
智譜AI CEO張鵬在智譜 Open Day上宣布,AI生成視頻模型清影(Ying)正式上線。即日起,清影上線清言App,面向所有用戶開放。
只要有好的創意(幾個字到幾百個字),再加上一點點耐心(30秒),清影(Ying)就能生成1440x960清晰度的高精度視頻。輸入一段文字后(俗稱Prompt),可以選擇自己想要生成的風格,包括卡通3D、黑白、油畫、電影感等,配上清影自帶的音樂,就生成了充滿AI想象力的視頻片段。
(鏈接:)
除了文本生成視頻,也可以到清影上玩圖片生成視頻。
圖生視頻帶來了更多的新玩法,包括表情包梗圖、廣告制作、劇情創作、短視頻創作等。同時,基于清影的「老照片動起來」小程序也會同步上線,只需一步上傳老照片,AI就能讓凝練在舊時光中的照片靈動起來。
清影(Ying)API 也同步上線大模型開放平臺bigmodel.cn,企業和開發者通過調用API的方式,體驗和使用文生視頻以及圖生視頻的模型能力。
新型DiT模型架構,更高效地壓縮視頻信息,以及更充分地融合文本和視頻內容,讓清影在復雜指令遵從能力、內容連貫性、大幅的畫面調度上具有一定獨到之處。
在生成式視頻模型的研發中,Scaling Law 繼續在算法和數據兩方面發揮作用。“我們積極在模型層面探索更高效的scaling方式。”在智譜 Open Day 上,智譜AI CEO 張鵬表示:“隨著算法、數據不斷迭代,相信Scaling Law將繼續發揮強有力作用。”
“本次清影(Ying)底座的視頻生成模型是CogVideoX,它能將文本、時間、空間三個維度融合起來,參考了Sora的算法設計,它也是一個DiT架構,通過優化,CogVideoX 相比前代(CogVideo)推理速度提升了6倍。我們將繼續努力迭代,在后續版本中,陸續推出更高分辨率、更長時長的生成視頻功能。”
值得注意的是,北京市對智譜AI的研發給予了大力支持,海淀區作為智譜AI總部所在地,提供了全方位的支持。清影(Ying)的訓練依托亦莊高性能算力集群,未來將應用于北京亦莊的高精尖產業集群,推動大模型賦能實體經濟的新業態發展。合作伙伴bilibi和華策影視也參與了清影的技術研發過程,共同探索未來的應用場景。