這項由新加坡電商巨頭Shopee公司大語言模型團隊主導的研究發表於2025年10月，主要作者包括張永順、打造範忠毅、億參張永杭等多位研究員。數視商品視頻研究成果以預印本形式在arXiv平臺發布，頻生編號為arXiv:2510.17519v1。成模有興趣深入了解的型讓效讀者可以通過該編號查詢完整論文。這項研究的制作重要意義在於，它首次公開了一套完整的更高大規模視頻生成模型訓練代碼和框架，為整個AI視頻生成領域的團隊發展提供了寶貴的開源資源。 如今，打造當我們刷抖音或看YouTube時，億參很難想象這些視頻背後可能隱藏著AI的數視商品視頻身影。AI視頻生成技術正在悄然改變著我們的頻生視覺世界，就像幾年前AI繪畫突然爆火一樣。成模而在這個快速發展的領域中，訓練一個能夠生成高質量視頻的AI模型，就像培養一位全能的電影製作人一樣複雜。 Shopee團隊麵臨的挑戰就像是要同時教會一個學生學會畫畫、編劇、導演和剪輯。AI需要理解文字描述中的含義，還要掌握視頻中物體的運動規律，更要確保畫麵在時間軸上保持連貫性。這遠比靜態圖片生成複雜得多，因為視頻涉及時間維度，每一幀都要與前後幀保持邏輯關係，就像製作一部動畫片時，每個角色的動作都必須符合物理規律。 研究團隊開發的MUG-V 10B模型擁有100億個參數，這相當於給AI配備了一個超級大腦，能夠處理文本到視頻、圖片到視頻等多種生成任務。更重要的是，這個模型特別擅長生成電商相關的視頻內容，比如商品展示、試穿效果等，這對於Shopee這樣的電商平臺具有直接的商業價值。 這項研究的突破性在於，它不僅提供了一個性能優秀的模型，更重要的是首次完整開源了訓練這樣大規模視頻生成模型的全套代碼和框架。這就像是一位頂級廚師不僅做出了美味佳肴，還毫無保留地公開了完整的食譜、烹飪技巧和廚房設備配置。 一、數據處理：為AI準備優質"食材" 就像做菜需要精選食材一樣，訓練AI視頻生成模型首先需要大量高質量的視頻數據。Shopee團隊麵臨的第一個挑戰就是從海量的原始視頻中篩選出適合訓練的素材，這個過程就像是在圖書館裏為學生挑選最合適的教科書。 研究團隊首先建立了一套可擴展的視頻處理流水線，這個係統就像一個超級智能的視頻編輯師，能夠自動處理大量原始視頻素材。整個處理過程分為幾個重要步驟，每一步都像製作紀錄片時的不同工序。 視頻分割是第一個關鍵步驟，就像將一部長電影切分成不同的場景片段。研究團隊使用了PySceneDetect工具和自主開發的Color-Struct SVM方法相結合的方案。PySceneDetect主要負責識別明顯的鏡頭切換，而CSS方法則專門處理那些漸隱漸現等過渡效果。這種組合就像配備了兩種不同類型的剪刀，一把用於快速裁剪，另一把用於精細修飾。團隊根據不同數據源的特點調整識別閾值，確保能夠準確分割出語義連貫的視頻片段。 接下來是嚴格的視覺質量篩選過程，這就像珠寶鑒定師在挑選鑽石時要檢查多個維度。研究團隊設計了四道質量檢驗關卡。首先是清晰度測試，使用OpenCV的拉普拉斯變分度量來評估圖像邊緣清晰程度，隻有變分值在200到2000之間的視頻幀才能通過，這確保了畫麵足夠清晰但不會過度銳化。 美學評分環節采用了類似LAION的美學預測器，就像藝術品鑒定專家一樣為每個視頻片段打分，隻有得分超過4.5分的內容才能入選。運動幅度檢測則使用RAFT光流估算技術，通過分析視頻開頭、中間和結尾三個均勻分布的幀對來計算平均光流幅度。研究團隊發現，運動幅度小於1的視頻往往過於靜態，而大於20的則過於動態，都不適合訓練，所以隻保留中等動態範圍的內容。 最後一道關卡是多模態大語言模型過濾器，這就像配備了一位經驗豐富的視頻製作專家。研究團隊使用在2.4萬個標注視頻上微調的專有模型來識別那些經過重度後期處理的內容，包括文字覆蓋、大邊框、特效處理、變速播放和攝像頭抖動等問題。這個過濾器就像一位嚴格的質檢員，確保進入訓練集的視頻都是高質量的原始素材。 字幕生成是另一個關鍵環節，因為高質量的文字描述直接影響著AI的學習效果。研究團隊首先在公開數據集和內部標注片段上微調了Qwen2-VL-72B模型，專門優化其描述物體、外觀、運動和背景上下文的能力。隨後，他們將這種能力蒸餾到更小的Qwen2-VL-7B模型中，在保持準確性的同時大幅提升了處理速度，這就像培訓出了一支既專業又高效的字幕創作團隊。 為了控製數據分布偏差和消除重複內容，研究團隊開發了一套智能的數據平衡和去重係統。他們使用大語言模型解析字幕內容，提取關鍵實體信息如主體、動作和場景，構建了一個輕量級的本體分類係統。這個係統有兩個重要作用：一是進行分層采樣，確保那些代表性不足的類別獲得足夠的權重；二是識別近似重複的視頻片段並將其移除。整個過程就像圖書管理員在整理藏書時，既要確保各個學科的書籍數量均衡，又要避免同一本書出現多次。 除了基礎的預訓練數據處理，研究團隊還專門為後期訓練階段準備了人工標注的高質量數據集。這個數據集的準備過程更加精細，就像為高端餐廳挑選食材一樣嚴格。他們首先從完整預訓練集中篩選出排名前10%的高分視頻片段，然後有意提高以人為中心的視頻比例，包括人物動作、複雜身體運動和人物與物體的交互場景。研究團隊發現，雖然剛性物體的動態相對容易學習，但人體關節運動仍然是一個主要瓶頸，而這恰恰是真實用戶查詢中最常見的內容。 人工質量標注過程更是精益求精，標注員需要從三個維度評估每個候選視頻片段：運動連續性要求沒有跳切或變速；內容穩定性要求沒有場景變化、溶解或拚接；視覺保真度要求畫麵清晰且沒有重度後期處理痕跡。任何一個維度不合格的片段都會被丟棄，最終形成的數據集在視覺和時間一致性方麵都達到了極高標準。 為了進一步提升模型性能，研究團隊還收集了針對偏好優化的人工標注數據。這包括兩種類型的標注：成對比較標注讓標注員在兩個生成視頻之間選擇在整體美學、運動平滑度和視覺錯誤嚴重程度方麵更優的那個；絕對正確性標注則獨立檢查每個片段是否與提示語義匹配、主體是否在整個序列中保持一致，以及是否存在物理或渲染錯誤。這種雙重標注機製為後續的偏好學習階段提供了強有力的支持，使模型能夠迭代改進生成質量並係統性地減少物理錯誤。 二、模型設計：構建AI視頻生成的"大腦" 在完成數據準備後，研究團隊需要設計模型的核心架構，這就像為一臺超級計算機設計主板和處理器。MUG-V 10B采用了當前主流的潛在擴散變換器框架，整個係統由兩個主要組件構成：一個負責視頻壓縮的視頻變分自編碼器（Video VAE）和一個負責生成的10億參數擴散變換器（DiT）。 視頻VAE的設計就像創造一位超級壓縮專家，它需要在保持視頻質量的同時將數據量大幅縮減。這個組件沿著時間、高度和寬度三個維度實現8×8×8的壓縮比例，相當於將原始視頻體積縮小512倍。結合後續擴散變換器中的非重疊2×2空間分塊操作，整個係統相對於像素空間實現了約2048倍的壓縮比例。這種極高的壓縮比例為後續處理帶來了巨大的效率提升。 在Video VAE的架構設計上，研究團隊從公開可用的圖像VAE開始，通過混合卷積堆棧將其擴展到視頻域。每個下采樣階段都交替使用2D空間卷積和3D卷積，前者捕獲幀內紋理特征，後者建模幀間運動信息。這種混合設計既保留了全3D編碼器的表現力，又相比純3D方案顯著降低了計算複雜度。 與以往分離"空間"和"時間"處理路徑的方法不同，研究團隊采用了統一架構，同時對每個維度進行8倍下采樣。最終的潛在張量Z編碼了外觀和運動線索的緊湊形式。由於高壓縮比可能損害保真度，研究團隊擴大了瓶頸的通道維度來增強潛在容量。通過消融研究發現，增加通道數C能夠顯著改善重建質量，最終選擇C=24作為質量和存儲預算之間的最佳平衡點。 Video VAE設計中的一個重要創新是"最小編碼原則"。傳統的時序因果卷積雖然在許多Video VAE實現中廣泛使用，但存在信息不平衡問題。當當前幀到片段起始位置的距離小於編碼器的時序感受野時，早期令牌聚合的上下文信息少於後期令牌，造成潛在序列的信息密度不均。研究團隊提出的最小編碼原則強製每個潛在令牌作為獨立單元，僅從其對應的幀塊（在他們的設置中為8幀）中導出，不進行超出此時序窗口的信息交換。 這種設計理念基於一個重要觀察：Video VAE的主要職責是壓縮和重建，而非生成。由於單位幀段已經包含了重建自身所需的外觀和運動線索，進一步的上下文混合是不必要的，甚至可能產生捷徑學習。最小編碼原則還帶來了靈活的潛在接口：同一編碼器可用於任意序列長度、圖像到視頻或視頻續寫任務，以及首幀、中間幀或末幀條件等特殊情況。 在解碼器設計上，研究團隊采用了共享解碼器策略。解碼器必須從潛在序列重建完整片段，不受上述"最小原則"約束。實驗發現，一次性向解碼器輸入適當長度的潛在序列比強製單位重建收斂更快。為了平衡吞吐量和內存使用，團隊在訓練時使用單潛在編碼，但在解碼器輸入窗口中變化使用1、4、8個連續潛在令牌。運行時，編碼器和解碼器簡單地重塑輸入以匹配選擇的窗口大小。 MUG-V 10B擴散變換器是整個係統的生成核心，擁有100億參數，能夠同時處理文本到視頻、圖像到視頻和文本加圖像到視頻的合成任務。模型主幹采用DiT架構，確保與最先進擴散技術的兼容性。整個DiT主幹由四個組件構成：輸入分塊、文本條件網絡、堆疊DiT塊和輸出反分塊。 在變換器塊設計上，研究團隊沒有采用某些圖像或視頻擴散模型中使用的MM-DiT塊，而是選擇了與自回歸語言模型密切對齊的變換器塊架構。在自注意力和前饋網絡之間插入交叉注意力模塊，使文本嵌入和視覺令牌能夠直接交互。這種設計確保了文本條件能夠有效地指導視頻生成過程。 在注意力機製的選擇上，當前DiT變體要麼采用全注意力，即時空序列中的每個令牌都關注其他所有令牌，要麼采用時空分離注意力，將注意力限製在局部鄰域以減少計算量。全注意力提供更強的全局一致性，例如片段開始和結束時出現的同一人物或背景可以直接交互。由於Video VAE和分塊方案帶來的高壓縮比，全注意力不會產生過高的計算成本，因此研究團隊在整個模型中采用了全注意力機製。 為了讓全注意力能夠捕獲準確的位置線索，研究團隊應用了三維旋轉位置嵌入（3D RoPE），將原始的一維公式擴展到聯合編碼空間和時間坐標。這種設計讓模型能夠精確理解視頻中每個元素的時空位置關係。 在全局信號嵌入方麵，擴散時間步和視頻幀率等全局信號按照現有方法進行嵌入。共享MLP將每個全局標量映射到模型維度，每塊可學習的縮放參數調製結果向量，在表現力和內存效率之間取得平衡。 標準化處理對於大規模模型的訓練穩定性至關重要。除了自注意力內部的QK標準化外，研究團隊還對輸入文本特征和交叉注意力模塊進行標準化。實驗證明，這些層顯著減少了參數波動，減輕了損失波動，在訓練過程中產生更少的視覺偽影。 在圖像或幀條件視頻生成方麵，研究團隊設計了一種新穎的條件策略。他們不是將條件潛在向量添加到去噪潛在向量中，而是對視頻序列進行掩碼處理。條件區域接收給定的圖像或幀潛在表示，擴散時間步設為零（不添加噪聲），而其餘令牌遵循標準的噪聲擴散軌跡。這種策略在預訓練期間既澄清了時間步信號，又在推理時對提供的視覺內容產生更高的保真度。 三、訓練策略：循序漸進的學習之路 訓練一個100億參數的視頻生成模型就像培養一位世界級的藝術家，需要科學的教學方法和循序漸進的學習過程。研究團隊設計了一套完整的多階段訓練策略，確保模型能夠穩定高效地學習複雜的視頻生成技能。 Video VAE的訓練采用了複合損失函數，就像用多種評價標準來衡量學生的綜合表現。損失函數包含三個互補的組成部分：重建損失、KL散度正則化和對抗損失。重建損失是加權的MSE、L1和感知損失的組合，分別鼓勵像素級準確性和感知保真度。KL散度項對潛在分布進行正則化，抑製異常值並促進平滑插值。對抗損失僅在最終微調階段應用，用於銳化紋理和顏色細節，但研究團隊將其權重保持在較小值並監控驗證PSNR和SSIM指標，避免過度對抗訓練導致的色調偏移或細節過度增強。 為了解決模型容易重建全局結構但在高動態、精細細節區域出現振蕩的問題，研究團隊引入了自適應重建權重技術。對於每個重建幀，他們計算時空顯著性圖，結合拉普拉斯算子提取高頻空間邊緣和時間前向差分突出快速運動。然後使用這個權重圖形成加權損失項替代普通的L1組件。具有快速時空變化的區域因此貢獻更大的梯度信號，在不增加額外數據傳遞的情況下改善收斂。 在擴散變換器的訓練中，研究團隊麵臨的主要挑戰是如何在有限的計算資源下高效訓練如此大規模的模型。考慮到執行詳盡的縮放定律研究和超參數搜索需要大量計算資源，他們采用了兩階段工作流程：首先訓練緊湊模型，然後將其參數擴展到100億規模繼續訓練。 參數擴展策略借鑒了零樣本超參數轉移研究的思路。研究團隊固定目標深度為56個變換器塊，構建了隱藏尺寸為1728的較小DiT（約20億參數）。這個小模型的低訓練成本和快速推理使其成為快速實驗和方案驗證的理想選擇。一旦20億模型達到滿意的視頻生成質量，他們通過隱藏尺寸等變擴展將其放大。 擴展策略與HyperCloning擴展方法密切相關，都是在保持網絡功能行為的同時增加通道寬度。對於權重矩陣W和偏置向量b，通過因子e擴展隱藏維度時，將原始參數平鋪並除以e以保持特征縮放不變。同時添加隨機擾動以避免梯度重複問題。這種輸出保持擴展策略加速了收斂，而小模型階段大幅降低了整體實驗成本。 多階段預訓練課程是訓練策略的核心創新。視頻數據的異構性質使得課程學習對視頻生成模型訓練特別有效。在低空間分辨率下，語義內容占主導地位；隨著分辨率增加，更豐富的紋理特征開始出現。同時，視頻可以被視為靜態圖像的動態擴展，運動是在外觀基礎上學習的。 基於這些特性，研究團隊采用了三階段課程。第一階段混合圖像數據和低分辨率360p視頻片段，圖像到視頻的比例在訓練期間逐漸調整直到視頻占主導，此時模型能夠可靠生成合理的圖像和粗糙的視頻片段。第二階段保持360p分辨率但將片段長度從2秒增加到5秒，訓練持續到驗證損失趨於平穩。第三階段將訓練集替換為5秒720p片段，從約1200萬高質量視頻中精選，構成最終預訓練階段。 需要注意的是，參數擴展前的較小模型僅使用圖像和360p視頻；前述圖像或幀條件的掩碼策略與文本到視頻生成預訓練兼容，在第二和第三階段都引入了首幀掩碼。這個課程不僅指導模型逐步獲得視頻生成技能，還提升了訓練效率。在第一和第二階段，較短序列和更高吞吐量讓模型看到比第三階段多十倍的樣本，培養了穩健的通用能力。第三階段雖然計算成本高，但通過嚴格篩選的高分辨率數據完善了細節。 多階段預訓練完成後，驗證損失趨於平穩並開始振蕩，模型輸出呈現兩種持續的失效模式：精細粒度偽影（特別是在人手等關節區域）和基本物理合理性違背（如穿透和變形）。為進一步改善生成質量，研究團隊采用了兩種後訓練方法：帶後EMA的退火監督微調和基於偏好的優化。 退火監督微調使用精心挑選的約30萬高質量片段，在這個子集上繼續訓練並逐漸降低學習率。研究團隊比較了在線指數移動平均參數平滑和後驗EMA變體，後者不僅消除了昂貴的EMA超參數網格搜索需求，還更可能產生更高的視頻質量。他們通過指數衰減模型集成近似後驗EMA，這在概念上類似於模型合並策略，在他們的設置中實驗效果優於標準在線EMA。 偏好優化方麵，雖然基於偏好的強化學習在大語言模型中取得顯著成功，但其在視頻生成中的應用仍然具有挑戰性，主要由於當前視頻評估模型的有限能力和優化軸的多樣性（如外觀、運動、時間一致性等）。研究團隊因此求助於人工標注偏好，專注於兩個目標：無錯誤生成和運動質量。 對於穿透、變形或其他物理不合理性等失效，他們收集絕對正負標簽並使用KTO算法優化模型。為改善動態真實性，他們獲得成對"更好或更差"標注並應用DPO算法。在偏好優化期間保留原始監督微調目標作為正則化器，減輕了模型采用不良統計偏差的風險。通過多階段進行偏好優化並交替使用不同標注源的批次，模型能夠順序暴露不同類別的錯誤，實現持續的質量改進。 四、基礎設施：強大計算支撐的幕後英雄 訓練一個100億參數的視頻生成模型就像指揮一支龐大的交響樂團，需要精密的協調和強大的基礎設施支撐。研究團隊基於Megatron-Core構建了高效的訓練框架，專門應對視頻生成模型麵臨的三大核心挑戰：處理長序列的全注意力機製、擴展到數十億參數，以及在訓練過程中保持數值精度。 模型並行策略是解決大規模訓練的關鍵技術。由於視頻數據的長序列特性比語言模型預訓練產生更高的動態內存消耗，研究團隊係統地探索了並行化技術以最大化吞吐量。他們的混合方案巧妙結合了數據並行、張量並行、流水線並行和序列並行四種技術。 具體實施時，團隊首先在單個節點內啟用張量並行。為了減輕長序列的內存負擔，他們通過序列並行在張量並行組內分片激活。接著應用流水線並行，垂直分割層級並利用點對點通信來利用節點間帶寬，同時禁用激活重計算。最後引入數據並行來擴大有效批量大小並改善訓練穩定性。通過廣泛的基準測試，他們確定了一個在100億規模下提供近線性效率擴展的最優配置，從而最大化硬件利用率。 數據加載和計算平衡是另一個關鍵優化點。除了優化參數更新，高效的數據攝取對整體訓練吞吐量至關重要。研究團隊構建了帶有激進預取和緩存的異步IO流水線，將數據預處理和傳輸與計算重疊以隱藏延遲。為了最小化由可變視頻序列長度引起的流水線停頓，他們還引入了跨所有等級的動態平衡采樣。這個方案確保每個GPU接收計算成本相當的批次，減少空閑周期並進一步改善硬件利用率。 內核融合技術為模型訓練帶來了顯著的性能提升。為了減少DiT的像素級調製和殘差路徑帶來的內存開銷，研究團隊設計了兩級融合：低級內核融合和塊重構。在低級別，他們將三個緊密耦合的操作合並為單個GPU內核：線性層偏置加法、逐像素縮放位移調製和殘差累積。將讀取-計算-寫入序列合並為一次傳遞，將全局內存事務從N次減少到1次。 融合內核采用Triton手寫實現，利用warp級shuffle在不產生共享內存溢出的情況下廣播偏置和調製向量。持久線程調度模式保持中間數據在寄存器中駐留於三個融合階段，將帶寬利用率推向硬件極限並進一步削減內存流量。 在更高層級，研究團隊重構DiT塊以暴露額外的融合機會。LayerNorm與QKV投影融合執行，消除額外的內存往返。注意力分數掩碼直接折疊到FlashAttention-2 softmax內核中，避免分數矩陣的冗餘讀取。靜態形狀推理去除不必要的填充，確保完全合並訪問。這些優化協同降低了內存流量，增加了算術強度，並提供了端到端的加速效果。 通過這些係統級優化，研究團隊在配備500個Nvidia H100 GPU的係統上實現了近線性擴展。整個基礎設施不僅支持高效訓練，還為模型推理和應用部署提供了堅實基礎。這套完整的基礎設施解決方案與模型權重和訓練代碼一起開源，為研究社區提供了寶貴的資源。 五、模型表現：從實驗數據到實際應用 經過精心設計和訓練的MUG-V 10B模型在各種評估中展現出了優異的性能表現，就像一位經過嚴格訓練的藝術家終於登臺表演。研究團隊從多個維度對模型進行了全麵評估，不僅包括標準的自動化指標，還特別關注了在電商視頻生成這一實際應用場景中的表現。 在標準的VBench評估協議中，MUG-V 10B在多項指標上表現出色。VBench是視頻生成領域廣泛使用的綜合基準測試，涵蓋了時間一致性、運動動態和感知美學等多個維度。具體評估包括主體一致性、背景一致性、運動平滑度、動態程度、美學質量和成像質量六個核心指標。此外，針對圖像到視頻任務，還增加了視頻-文本攝像機運動、視頻-圖像主體一致性和視頻-圖像背景一致性三個專門指標。 評估結果顯示，MUG-V 10B在幾乎所有指標上都表現強勁。在提交時，該模型在VBench I2V排行榜上排名第三，僅次於Magi-1和某個商業係統。特別值得注意的是，模型在保持較小參數規模（100億）的情況下，達到了與那些參數量更大的模型相當甚至更優的性能水平。這證明了研究團隊在模型設計和訓練策略上的有效性。 然而，研究團隊深知自動化指標存在的局限性。現有指標往往忽略了一些細粒度的缺陷，比如織物紋理的微妙變化或手部姿勢的輕微錯誤，而這些細節對產品保真度至關重要。因此，他們專門設計了針對電商視頻生成任務的人工評估實驗，這為模型的實際應用價值提供了更直接的證據。 在電商視頻生成的人工評估中，研究團隊將MUG-V 10B與兩個領先的開源模型HunyuanVideo和Wan 2.1進行了直接對比。測試輸入隨機抽樣自公開可用的模型展示間圖像，每種方法都使用其默認提示生成器創建視頻提示並生成5秒片段。所有片段被混合並隨機排序，然後由三名獨立標注員並行評估，最終標簽通過共識決定。 評估過程分為三個階段，每個階段都像電影評審一樣嚴格。首先，標注員判斷片段是否明顯由AI生成，考慮錯誤存在（從物理不合理性到小偽影）和整體視覺真實性。這個階段主要評估生成內容是否能夠達到"以假亂真"的程度。 第二階段針對被認為足夠真實的片段，標注員評估產品相對於輸入圖像的一致性，要求顏色、材料、紋理和其他屬性保持不變。隻有同時滿足這兩個標準的片段才被認為可在電商中部署。這個標準非常嚴格，因為電商應用中產品信息的準確性直接關係到消費者的購買決策。 第三階段針對可部署的片段，標注員判斷視頻是否"高質量"，以專業攝影和模型表現的特征為標準。評估結果顯示，MUG-V 10B在通過率和高質量率兩個指標上都取得了領先成績。具體來說，該模型生成的電商視頻中有更大比例能夠通過"真實性"和"產品一致性"的雙重檢驗，同時在視覺質量方麵也表現更佳。 盡管取得了這些令人鼓舞的結果，研究團隊也誠實地指出了當前的局限性。他們觀察到殘留的小偽影和幾何扭曲仍然限製著整體質量，這表明在電商應用中還有substantial headroom for improvement。這種客觀的自我評估體現了嚴謹的科學態度，也為未來的改進指明了方向。 在Video VAE的重建質量評估中，研究團隊使用了標準指標PSNR、SSIM、LPIPS和FloLPIPS，針對真實世界片段進行驗證。結果顯示，他們的Video VAE在這些指標上超越了大多數比較模型。雖然在720p設置下的SSIM分數略低於CogVideoX VAE，但考慮到8×8×8的更高壓縮比（相比CogVideoX的4×8×8），這代表了效率和質量之間的有利平衡。定性示例顯示，飄散的煙霧和快速變化的紋理等精細細節都得到了忠實再現。 研究團隊還提供了豐富的可視化示例，展示了模型在文本到視頻和圖像到視頻兩種主要任務中的生成效果。這些示例涵蓋了各種場景，從自然風光到人物動作，從靜物展示到動態交互，充分展現了模型的多樣性和靈活性。特別是在電商相關場景中，模型能夠很好地處理服裝展示、產品演示等常見需求。 值得一提的是，這些評估結果的獲得離不開研究團隊在整個訓練流程中的精心設計。從數據處理的嚴格篩選，到模型架構的創新設計，再到訓練策略的循序漸進，每一個環節都為最終的優異表現貢獻了力量。這也證明了在AI模型開發中，係統性的方法比單點突破更為重要。 六、技術創新：突破傳統的巧思妙想 MUG-V 10B的成功不僅僅依賴於大規模的計算資源和數據，更重要的是研究團隊在多個技術環節上的創新突破。這些創新就像建築師在設計摩天大樓時的巧妙構思，每一個看似微小的改進都對整體性能產生了重要影響。 最小編碼原則是Video VAE設計中的一個重要創新。傳統方法中，時序因果卷積被廣泛采用，因為它們尊重時間箭頭、允許單一模型編碼可變長度片段，並防止視頻預測期間來自未來幀的信息泄漏。但是，因果卷積也帶來了問題：當當前幀到片段原點的距離小於編碼器的時序感受野時，早期令牌聚合的上下文比後期令牌少，在潛在序列中產生信息不平衡。 研究團隊提出的最小編碼原則從根本上解決了這個問題。他們強製每個潛在令牌作為獨立單元僅從其對應的幀塊中導出，從而消除了信息密度不平衡。這個設計基於一個深刻的洞察：Video VAE的主要職責是壓縮和重建，而不是生成。單位幀段已經包含重建自身所需的外觀和運動線索，進一步的上下文混合不僅不必要，甚至可能創造捷徑學習。 自適應重建加權是另一個巧妙的技術創新。研究團隊觀察到，模型在核心目標穩定後容易重建全局結構，但在高動態、精細細節區域出現振蕩。為了讓學習重點關注這些困難案例，他們為每個重建幀計算時空顯著性圖，結合拉普拉斯算子（提取高頻空間邊緣）和時間前向差分（突出快速運動）。具有快速時空變化的區域因此貢獻更大的梯度信號，在不增加額外數據傳遞的情況下改善收斂。 參數擴展策略展現了研究團隊在資源優化方麵的智慧。考慮到詳盡的縮放定律研究和超參數搜索需要大量計算資源，他們采用了創新的兩階段工作流程。首先固定目標深度為56個變換器塊，構建隱藏尺寸1728的較小DiT（約20億參數）進行快速實驗和方案驗證。一旦小模型達到滿意質量，通過隱藏尺寸等變擴展放大到100億規模。 這種擴展策略巧妙地平衡了原始參數的平鋪和隨機擾動，既保持了網絡的功能行為，又避免了梯度重複問題。通過設置擴展因子e=2，總參數量增加約4倍。這種輸出保持擴展策略不僅加速了大模型的收斂，更重要的是小模型階段大幅降低了整體實驗成本。 圖像/幀條件策略的設計也體現了研究團隊的創新思維。與傳統的將條件潛在向量添加到去噪潛在向量的方法不同，他們采用了掩碼策略：條件區域接收給定的圖像/幀潛在表示並將擴散時間步設為零（不添加噪聲），而其餘令牌遵循標準噪聲擴散軌跡。這種方法在預訓練期間澄清時間步信號，在推理時對提供的視覺內容產生更高保真度。 多階段訓練課程體現了教育學原理在AI訓練中的應用。研究團隊深刻理解視頻數據的異構特性：低空間分辨率下語義內容占主導，高分辨率下紋理特征豐富，而視頻本質上是靜態圖像的動態擴展。基於這些洞察，他們設計了從圖像-低分辨率短視頻，到低分辨率長視頻，再到高分辨率長視頻的漸進式訓練過程。 這個課程設計的巧妙之處在於，早期階段的較短序列和更高吞吐量讓模型接觸到比最終階段多十倍的樣本，培養了穩健的通用能力。而最終階段雖然計算成本高，但通過嚴格篩選的高分辨率數據完善了細節處理能力。這種漸進式學習不僅提高了訓練效率，還確保了模型能力的全麵發展。 偏好優化的雙軌製設計展現了實用主義的創新精神。麵對當前視頻評估模型能力有限和優化目標多樣化的挑戰，研究團隊求助於人工標注偏好，但采用了針對性的雙軌製策略。對於具體的錯誤類型如穿透、變形等物理不合理性，使用絕對正負標簽和KTO算法；對於整體的運動質量，使用成對比較和DPO算法。這種分類處理的方法既保證了優化的針對性，又提高了訓練的效率。 內核融合技術的設計體現了係統優化的深度思考。研究團隊不滿足於簡單的算法優化，而是深入到GPU內核級別進行優化。他們將線性層偏置加法、逐像素縮放位移調製和殘差累積三個緊密耦合的操作合並為單個GPU內核，將全局內存事務從N次減少到1次。采用Triton手寫實現，利用warp級shuffle技術，確保中間數據在寄存器中駐留，將帶寬利用率推向硬件極限。 這些技術創新的集成效應遠大於各部分的簡單相加。最小編碼原則確保了數據表示的一致性，自適應加權提升了學習效率，參數擴展降低了實驗成本，多階段課程保證了能力發展，偏好優化解決了質量問題，而內核融合則榨取了硬件性能的最後一滴潛力。正是這些看似獨立卻相互支撐的創新，共同鑄就了MUG-V 10B的優異表現。 七、開源貢獻：為社區打造的技術寶庫 MUG-V 10B項目最令人欽佩的地方在於其完全開源的態度，這就像一位頂級廚師不僅做出了美味佳肴，還毫無保留地公開了完整的食譜、烹飪技巧和廚房設備配置。研究團隊的開源承諾為整個AI視頻生成社區提供了前所未有的寶貴資源。 據研究團隊介紹，這是首次有團隊公開發布利用Megatron-Core實現高訓練效率和近線性多節點擴展的大規模視頻生成訓練代碼。這個貢獻的重要性怎麼強調都不為過，因為它填補了學術界和工業界之間的重要空白。以往，雖然研究論文會詳細描述算法和方法，但實際的工程實現細節往往是缺失的，這讓其他研究者很難複現或改進相關工作。 完整的開源棧包含了多個層麵的內容。首先是模型權重的完整發布，這意味著研究者和開發者可以直接使用訓練好的模型進行實驗和應用開發，而無需從零開始訓練。這大大降低了進入這個領域的門檻，特別是對那些計算資源有限的小型研究團隊或個人開發者來說。 更重要的是，基於Megatron-Core的大規模訓練代碼的開源為社區提供了一個高質量的起點。Megatron-Core是NVIDIA開發的先進並行訓練框架，能夠有效處理大規模模型的訓練挑戰。研究團隊在此基礎上的改進和優化，特別是針對視頻生成任務的特殊需求所做的適配，現在都可以被社區直接使用和進一步改進。 推理流水線的開源同樣具有重要價值。一個優秀的模型如果沒有高效的推理係統支撐，其實際應用價值就會大打折扣。研究團隊提供的推理代碼不僅支持標準的視頻生成功能，還包括了視頻增強等擴展功能，這為開發者構建實際應用提供了完整的技術棧。 項目的開源策略體現了深思熟慮的設計。代碼結構清晰，文檔詳盡，這使得其他研究者能夠快速理解和使用這些資源。同時，模塊化的設計意味著開發者可以根據自己的需求選擇性地使用某些組件，而不必采用整個係統。 這種開源貢獻對學術研究的推動作用是多方麵的。首先，它大大降低了相關研究的重複工作。其他研究團隊可以在這個堅實的基礎上繼續創新，而不必花費大量時間重新實現基礎功能。其次，統一的代碼基礎有助於不同研究之間的比較和驗證，提高了整個領域的研究質量。 對於工業應用而言，這個開源項目同樣意義重大。企業可以基於這些經過驗證的代碼和模型快速開發自己的視頻生成應用，而不必從零開始投入巨大的研發成本。這種技術民主化的效應可能會催生更多創新的應用場景和商業模式。 教育價值也不容忽視。對於學習AI和深度學習的學生和研究者來說，這個項目提供了一個極佳的學習案例。他們可以通過閱讀代碼、運行實驗來深入理解大規模AI模型的訓練和部署細節，這種實踐經驗往往比純理論學習更有價值。 研究團隊的開源決定還體現了對整個AI社區發展的長遠考慮。通過分享他們的技術成果，他們不僅推動了當前技術的普及，更重要的是為未來的創新奠定了基礎。當更多的研究者和開發者能夠在這個基礎上工作時，整個領域的發展速度必然會顯著加快。 值得注意的是，這種全棧開源的做法在大型AI項目中並不常見。許多公司和研究機構往往隻會發布模型權重或者部分代碼，而將核心的訓練和係統優化技術作為競爭優勢保留。Shopee團隊的開放態度展現了他們對推動整個領域發展的真誠承諾。 從技術生態的角度來看，這個項目的開源可能會形成一個良性循環。當更多的研究者和開發者使用這些代碼時，他們的反饋和改進將使整個係統變得更加穩定和高效。同時，基於這個平臺開發的新功能和優化也可能反哺給原項目，形成社區共同維護和改進的模式。 八、未來展望：技術進步路上的挑戰與機遇 在展示了MUG-V 10B的優異表現之後，研究團隊並沒有停留在成功的喜悅中，而是以科學家特有的嚴謹態度指出了當前技術仍麵臨的挑戰，並為未來的發展方向提供了深入的思考。這種客觀的自我評估體現了真正的科學精神，也為整個領域的發展指明了方向。 條件信號的忠實度和可控性仍然是需要重點突破的領域。雖然MUG-V 10B已經能夠處理文本、圖像或混合輸入等多種條件，但從條件信號到生成視頻的映射還不夠精確和可控。這就像一位翻譯雖然能夠理解多種語言，但在某些細節的表達上還不夠準確。在實際應用中，用戶往往對生成結果有非常具體的期望，任何細微的偏差都可能影響最終的使用效果。特別是在商業應用中，這種精確性要求更是至關重要的。 精細外觀保真度的問題同樣值得關注。雖然模型在整體視覺效果上表現出色，但在材質和紋理保持方麵仍有提升空間。這個問題的根源部分來自於Video VAE的壓縮過程，部分來自於DiT的噪聲初始化，這些因素都可能導致微妙但重要的視覺質量降級。就像高端相機在不同ISO設置下會產生不同程度的噪點一樣，AI模型的各個處理環節都可能對最終質量產生影響。 擴展到更長時長和更高分辨率是技術發展的必然趨勢，但也帶來了新的挑戰。當前的算法和係統需要應對長序列訓練的複雜性、推理效率的要求，以及長期時間一致性的維持。這不僅僅是計算資源的問題，更是算法設計的根本性挑戰。就像製作一部長篇電影比製作短片需要更複雜的劇情架構和更精密的製作流程一樣，生成更長的視頻需要模型具備更強的全局規劃和局部細節平衡能力。 麵對這些挑戰，研究團隊提出了幾個值得深入探索的方向。在條件控製方麵，未來的工作可能需要開發更精細的條件編碼機製，讓模型能夠更準確地理解和執行用戶的意圖。這可能涉及多模態理解的進一步提升，以及條件信號與生成過程之間更直接的關聯機製。 在視覺質量提升方麵，研究團隊認為需要在壓縮效率和保真度之間找到更好的平衡點。這可能需要開發新的壓縮算法，或者在訓練過程中引入更精細的質量控製機製。同時，對於特定應用場景如電商視頻生成，可能需要開發專門針對產品特性優化的模型變體。 長序列處理的挑戰可能需要從多個角度來解決。在算法層麵，可能需要開發更高效的注意力機製或者新的序列建模方法。在係統層麵，需要更好的內存管理和計算優化策略。在訓練策略上，可能需要更巧妙的課程學習設計，讓模型能夠逐步適應越來越長的序列。 訓練效率的持續優化也是一個重要方向。雖然當前的係統已經實現了近線性擴展，但隨著模型規模的進一步增長，新的瓶頸可能會出現。這需要在硬件利用、算法優化和係統設計等多個層麵持續創新。 數據質量和多樣性的提升同樣重要。更高質量的訓練數據不僅能夠提升模型性能，還能減少訓練所需的計算資源。同時，數據的多樣性直接影響模型的泛化能力和應用範圍。如何高效地收集、篩選和處理大規模高質量數據將是一個持續的挑戰。 評估方法的改進也值得關注。當前的自動化評估指標雖然有用，但往往無法捕捉到人類視覺係統關注的細節。開發更好的評估方法，特別是能夠自動檢測細粒度錯誤的方法，對於推動整個領域的發展具有重要意義。 從更宏觀的角度來看，視頻生成技術的發展還麵臨著倫理和社會責任的考量。隨著技術越來越逼真，如何防止惡意使用、保護隱私權利、維護信息真實性等問題變得越來越重要。這需要技術開發者、政策製定者和社會各界共同努力。 產業應用的深入也會帶來新的需求和挑戰。不同行業對視頻生成的要求各不相同，如何開發既通用又專業的解決方案，如何在保持技術先進性的同時降低使用門檻，這些都是值得深入思考的問題。 盡管麵臨諸多挑戰，但視頻生成技術的發展前景依然令人樂觀。隨著計算能力的持續提升、算法的不斷創新和數據資源的日益豐富，我們有理由相信這些技術難題將逐步得到解決。更重要的是，像MUG-V 10B這樣的開源項目為整個社區提供了共同努力的基礎，這種開放合作的精神將加速技術進步的步伐。 說到底，MUG-V 10B不僅僅是一個技術產品，更是人工智能發展曆程中的一個重要裏程碑。它證明了通過係統性的方法、創新的技術和開放的態度，我們能夠在複雜的技術挑戰麵前取得突破。雖然距離完美的AI視頻生成係統還有一段路要走，但每一步紮實的進展都在讓我們更接近那個目標。 對於普通人來說，這項技術的發展意味著未來我們將能夠更容易地創造高質量的視頻內容，無論是為了商業用途還是個人表達。對於整個社會來說，這種技術的普及可能會改變內容創作的格局，讓更多人能夠參與到視覺故事的講述中來。而對於科技發展來說，MUG-V 10B所展現的係統性創新方法和開源合作精神，無疑為其他技術領域的發展提供了有益的借鑒。 歸根結底，技術的價值在於服務人類，推動社會進步。Shopee團隊通過MUG-V 10B項目不僅推進了AI視頻生成技術的發展，更通過開源的方式讓這些先進技術能夠惠及更廣泛的群體。這種技術創新與社會責任相結合的做法，正是我們在AI時代所需要的發展模式。隨著更多類似項目的出現和發展，我們有理由對人工智能技術的未來保持樂觀和期待。 Q&A Q1：MUG-V 10B是什麼？ A：MUG-V 10B是由Shopee公司開發的一個100億參數的AI視頻生成模型，能夠根據文字描述或圖片生成高質量視頻，特別擅長製作電商相關的產品展示視頻。 Q2：MUG-V 10B的最大創新是什麼？ A：該項目的最大創新在於首次完整開源了基於Megatron-Core的大規模視頻生成模型訓練代碼，包括模型權重、訓練框架和推理流水線，為AI視頻生成領域提供了寶貴的技術資源。 Q3：普通人能使用MUG-V 10B嗎？ A：是的，研究團隊已經將完整的代碼和模型權重開源，有技術背景的開發者可以直接使用。對於普通用戶，未來可能會有基於這個模型的應用產品推出。