這項由上海交通大學的胡曉興、北京理工大學和深度好奇科技公司等多家機構聯合開展的交通解多研究，發(fā)表於2025年10月的大學arXiv預印本平臺（論文編號：arXiv:2510.18795v1），有興趣深入了解的團隊讀者可以通過該編號查詢完整論文。這個研究團隊開發(fā)出了一種名為ProCLIP的型學新方法，徹底解決了目前最流行的理和長視覺語言模型CLIP在理解文本方麵的重大限製。 CLIP就像是文本一個非常聰明的翻譯官，能夠同時理解圖片和文字，上海並且知道它們之間的交通解多關係。比如當你給它看一張貓的大學照片，並輸入"一隻可愛的團隊橘貓"這幾個字，它就能準確地知道圖片和文字說的型學是同一件事。這種能力讓CLIP在很多應用中大放異彩，理和長從圖片搜索到自動生成圖片描述，文本都有它的上海身影。 但是CLIP有個致命弱點，就像一個隻會說短句的翻譯官一樣，它最多隻能理解77個詞的文本。這聽起來可能不算什麼大問題，但想象一下，如果你想讓它理解一段詳細的圖片描述，比如"在夕陽西下的海邊，一位穿著白色連衣裙的女孩正在沙灘上追逐海浪，她的長發(fā)在海風中飛舞，遠處的燈塔靜靜地矗立在巖石上，幾隻海鷗在天空中自由翱翔，整個畫麵充滿了詩意和寧靜"——這樣的描述很快就會超過77個詞的限製。更要命的是，CLIP基本上隻能理解英文，對於中文、日文、西班牙文等其他語言幾乎一竅不通。 研究團隊意識到，這些限製就像給一個本來很有潛力的學生戴上了眼罩和耳塞，嚴重限製了它的發(fā)揮。於是他們想到了一個絕妙的解決方案：既然CLIP的文本理解能力有限，為什麼不給它換一個更強大的"大腦"呢？ 一、用大語言模型的力量重新武裝CLIP 研究團隊的核心思路非常巧妙，就像給一個視力很好但聽力有限的人配上最先進的助聽器一樣。他們決定用大語言模型（LLM）來替換CLIP原本的文本編碼器。大語言模型就是那些能夠理解和生成人類語言的超級AI，比如GPT這樣的模型，它們在理解長文本、多語言支持和精細語義理解方麵都非常出色。 但是，這裏麵有個巨大的技術挑戰(zhàn)。就像兩個從未合作過的音樂家突然要一起演奏交響樂一樣，CLIP的圖像理解部分和大語言模型的文本理解部分原本是在完全不同的"訓練環(huán)境"中成長的，它們的"語言"並不相通。如果簡單粗暴地把它們拚接在一起，就像強行讓兩個說不同語言的人對話，結果往往是一團糟。 以往的研究方法就像是把兩個陌生人扔到一個房間裏，然後期望他們能立即配合默契。這種"從零開始"的對齊方式不僅效率低下，還可能讓原本表現很好的CLIP圖像理解能力受到損害，就像一個原本跳舞很好的人突然要學習一種完全不同的舞蹈風格，反而可能連原來的舞步都忘了。 二、漸進式學習：先當學生，再做搭檔 ProCLIP的創(chuàng)新之處就在於采用了一種"漸進式對齊"的策略，這個過程就像培養(yǎng)兩個人成為完美搭檔的科學方法。整個訓練過程分為兩個精心設計的階段，每個階段都有明確的目標和作用。 在第一個階段，研究團隊讓大語言模型先向CLIP的文本編碼器學習，就像一個新來的員工要先跟老員工學習公司的工作方式一樣。這個過程叫做"知識蒸餾"，聽起來很高深，其實就像是讓大語言模型觀察CLIP是如何理解文本的，然後盡力模仿這種理解方式。 具體來說，研究團隊設計了兩種學習機製。第一種叫做"實例語義對齊損失"，這就像是讓大語言模型學習如何理解每個具體的詞匯或短語。比如當看到"可愛的小貓"這個短語時，CLIP會產生一種特定的理解方式，大語言模型就要學會產生類似的理解。第二種叫做"嵌入結構對齊損失"，這更像是學習整體的思維模式，不僅要理解具體的詞匯，還要理解不同概念之間的關係和結構。 這個階段的巧妙之處在於，大語言模型在學習CLIP理解方式的同時，實際上是在建立一座"橋梁"，讓自己的強大語言能力能夠與CLIP的圖像理解能力相互溝通。就像學習一門新語言時，你首先要掌握基本的詞匯和語法，然後才能進行複雜的對話。 三、精細調優(yōu)：在保持本色的基礎上完美合作 第二個階段更加精彩，這時候研究團隊開始讓圖像理解和文本理解兩個部分進行真正的合作訓練。這個過程使用了對比學習的方法，就像讓兩個人通過不斷的練習來培養(yǎng)默契。 對比學習的原理可以用一個簡單的例子來解釋：給模型看一張貓的圖片和一堆文字描述，其中隻有一個描述真正匹配這張圖片（比如"一隻橘色的貓趴在沙發(fā)上"），其他的都是不相關的描述（比如"一輛紅色的汽車"或"一束鮮花"）。模型要學會找出正確的匹配，就像玩配對遊戲一樣。通過大量這樣的練習，模型逐漸學會了理解圖片和文字之間的對應關係。 但是這裏有個風險：在學習新技能的過程中，CLIP原本優(yōu)秀的圖像理解能力可能會受到幹擾，就像一個原本很會畫畫的人在學習音樂時可能會暫時影響畫畫水平。為了解決這個問題，研究團隊引入了一個非常聰明的"自我約束"機製。 這個機製就像給學習者設置了一個"記憶錨點"。他們創(chuàng)建了一個CLIP圖像編碼器的"影子版本"，這個影子版本保持著原始的能力不變。在訓練過程中，當前正在學習的版本會時不時地"回頭看看"這個影子版本，確保自己沒有忘記原來的技能。這種方法叫做"自蒸餾正則化"，聽起來複雜，實際上就是一種防止"學了新的忘了舊的"的保護機製。 四、實驗驗證：全方位的能力提升 研究團隊對ProCLIP進行了極其全麵的測試，就像對一款新車進行各種路況的試駕一樣。他們在多個不同的任務上測試了模型的表現，結果令人印象深刻。 在零樣本分類任務中，ProCLIP展現出了顯著的優(yōu)勢。零樣本分類就像是讓一個人看從未見過的動物照片，然後僅憑照片就能說出這是什麼動物。在這項測試中，ProCLIP比基線方法LLM2CLIP提升了6.8%到13.5%的準確率。這個提升幅度相當可觀，就像一個學生的考試成績從70分提升到了80多分。 在跨模態(tài)檢索任務中，ProCLIP同樣表現出色。跨模態(tài)檢索就像是在一個巨大的圖片庫中，根據文字描述找出對應的圖片，或者反過來根據圖片找出相應的文字描述。研究團隊在六個不同的數據集上進行了測試，包括處理短文本的Flickr30k和COCO數據集，以及處理長文本的ShareGPT4V、Urban-1k、DOCCI和DCI數據集。在所有這些測試中，ProCLIP都穩(wěn)定地超越了現有方法，平均提升在2-3個百分點左右。 特別值得注意的是多語言能力的提升。研究團隊在XM3600多語言數據集上進行了測試，這個數據集涵蓋了36種不同的語言，從阿拉伯語到中文，從西班牙語到日語。結果顯示，ProCLIP在幾乎所有語言上都取得了顯著的性能提升，這證明了大語言模型的多語言能力確實被成功地傳遞給了整個係統。 在魯棒性測試中，ProCLIP也展現出了強大的適應能力。魯棒性測試就像是在各種極端條件下測試一款產品的穩(wěn)定性，比如在光線昏暗、圖像模糊或者存在幹擾的情況下，模型是否還能保持良好的表現。在ImageNet的各種變體測試中，包括ImageNet-A（對抗樣本）、ImageNet-R（風格化圖像）等具有挑戰(zhàn)性的數據集上，ProCLIP都保持了穩(wěn)定的性能優(yōu)勢。 五、精細理解能力的突破 除了基礎的圖像分類和檢索能力，ProCLIP在精細理解任務中也表現出了令人矚目的進步。研究團隊使用MMVP-VLM基準測試了模型的精細視覺理解能力，這個測試專門設計來評估模型是否能理解圖像中的細微差別和複雜關係。 MMVP-VLM測試涵蓋了九種不同類型的視覺理解挑戰(zhàn)，每一種都考驗著模型的不同能力。比如方向和朝向的識別（判斷圖中的狗是朝哪個方向看的），特定特征的存在性判斷（圖中是否有某個特定的物體），狀態(tài)和條件的識別（旗幟是否在風中飄揚），數量和計數（圖中有幾隻鳥），位置和關係理解（物體之間的空間關係），顏色和外觀（物體的具體顏色），結構和物理特征（建築物的結構特點），文本識別（圖中的文字內容），以及視角和透視（照片的拍攝角度）。 在這些複雜的測試中，ProCLIP相比於基線LLM2CLIP在不同數據規(guī)模下都取得了明顯的改善。特別是在30M數據規(guī)模下，性能提升達到了10.4%，這表明ProCLIP不僅在基礎任務上表現優(yōu)秀，在需要精細理解的複雜場景中也能展現出明顯的優(yōu)勢。 六、技術細節(jié)的深度剖析 ProCLIP的成功離不開一係列精心設計的技術細節(jié)。研究團隊在損失函數的設計上特別用心，確保每一個組件都能發(fā)揮最大的作用。 在第一階段的知識蒸餾過程中，實例語義對齊損失確保了大語言模型能夠準確地學習CLIP文本編碼器的表示方式。這個損失函數通過最小化大語言模型輸出和CLIP文本編碼器輸出之間的差異來實現知識傳遞。與此同時，嵌入結構對齊損失則關注的是更高層次的結構信息，它通過比較樣本之間的距離關係來確保大語言模型不僅能理解單個概念，還能掌握概念之間的相互關係。 在第二階段的對比調優(yōu)中，研究團隊使用了InfoNCE損失函數，這是對比學習中的經典選擇。但關鍵的創(chuàng)新在於自蒸餾正則化的引入。這個機製通過維護一個指數移動平均（EMA）更新的教師模型來約束訓練過程，防止模型在學習新能力時丟失原有的知識。這種設計就像給學習者設置了一個智能的提醒係統，時刻確保不忘初心。 研究團隊還進行了詳盡的消融實驗，係統地驗證了每個組件的必要性。結果顯示，移除任何一個組件都會導致性能的明顯下降，這證明了整個框架設計的合理性和完整性。 七、與現有方法的全麵比較 為了證明ProCLIP的優(yōu)越性，研究團隊將其與多種現有方法進行了詳細比較，包括FLAME、ShareLock、LIFT、SAIL、LiT等最新的相關工作。比較結果顯示，在相同或更低的訓練成本下，ProCLIP在各種模型規(guī)模上都取得了顯著的性能優(yōu)勢。 特別值得關注的是，ProCLIP不僅在檢索任務上表現出色，在ImageNet分類任務上也取得了顯著的改善。這種全麵的性能提升表明，ProCLIP成功地在增強語言理解能力的同時，保持並提升了原有的視覺理解能力。 研究團隊還測試了不同大語言模型嵌入器的效果，包括Qwen3-Embedding、GME、NV-Embedv2和Llama3-CC等。結果顯示，雖然不同的嵌入器在檢索性能上差異不大，但在ImageNet分類準確率上存在顯著差異，這表明不同嵌入器與CLIP特征空間的對齊程度不同。 八、數據規(guī)模和模型規(guī)模的影響 研究團隊深入探討了數據規(guī)模對ProCLIP性能的影響。他們使用了三種不同規(guī)模的訓練數據：3M（CC3M）、15M（CC3M + CC12M）和30M（CC3M + CC12M + YFCC15M）。結果顯示，隨著數據規(guī)模的增加，模型性能呈現穩(wěn)定的提升趨勢。 有趣的是，即使在相對較小的數據規(guī)模（1M樣本）下，ProCLIP仍然能夠取得與使用更大數據集訓練的LLM2CLIP相當甚至更好的性能。這表明ProCLIP具有良好的數據效率，能夠在有限的數據條件下發(fā)揮出色的性能。 在模型規(guī)模方麵，研究團隊還嚐試了將MLP層數從4層擴展到12層，結果顯示這種簡單的參數擴展仍然能夠帶來額外的性能提升，說明ProCLIP框架具有良好的可擴展性。 九、應用前景和實際價值 ProCLIP的成功為視覺語言模型的發(fā)展開辟了新的方向。這項技術的應用前景極其廣闊，幾乎涵蓋了所有需要理解圖像和文本關係的場景。 在搜索引擎領域，ProCLIP能夠大大改善基於自然語言的圖像搜索體驗。用戶可以使用更長、更詳細的描述來查找圖片，而不再受製於簡短關鍵詞的限製。比如搜索"在櫻花盛開的公園裏，一個穿著藍色外套的小女孩正在喂鴿子"這樣具體的場景，ProCLIP都能準確理解並找到相應的圖片。 在內容創(chuàng)作和編輯領域，ProCLIP可以幫助自動生成更準確、更詳細的圖片標題和描述，提高內容的可發(fā)現性和可訪問性。對於視力障礙用戶來說，這種技術能夠提供更豐富、更準確的圖像描述，大大改善他們的數字體驗。 在電商和廣告行業(yè)，ProCLIP可以實現更精準的商品推薦和廣告投放。通過理解用戶的詳細需求描述，係統能夠找到最匹配的商品或廣告內容，提高用戶滿意度和轉化率。 在教育領域，ProCLIP可以幫助創(chuàng)建更智能的教學輔助工具，能夠理解學生用自然語言提出的關於圖像內容的複雜問題，並提供準確的回答和解釋。 十、技術局限性和未來發(fā)展方向 盡管ProCLIP取得了顯著的成功，研究團隊也誠實地指出了當前方法的一些局限性。 在訓練效率方麵，ProCLIP的兩階段訓練策略確實帶來了額外的計算開銷。第二階段需要解凍視覺編碼器進行訓練，加上在線自蒸餾的計算，使得訓練速度約為基線方法的0.74倍。研究團隊已經提出了幾種可能的優(yōu)化方向，包括采用參數高效的微調方法、隻訓練視覺編碼器的部分參數、或者將在線蒸餾改為離線蒸餾等。 在視覺對齊的精細度方麵，當前的ProCLIP仍然基於全局語義的對比學習，對於局部視覺區(qū)域與文本語義的精細對齊還有改進空間。這種局部對齊能力對於開放詞匯的分割和檢測任務特別重要，是未來發(fā)展的一個重要方向。 研究團隊還指出，除了替換文本編碼器，未來還可以考慮同時改進視覺編碼器來解決CLIP在視覺表示方麵的局限性，比如缺乏局部感知能力等問題。 最後，ProCLIP雖然在檢索和分類任務上表現出色，但在多模態(tài)大語言模型（MLLM）的下遊基準測試中，相比基線方法的優(yōu)勢並不顯著。這提示未來的研究需要更多關注如何將改進的視覺語言對齊能力更好地轉化為複雜推理任務的性能提升。 說到底，ProCLIP代表了視覺語言模型發(fā)展的一個重要裏程碑。它不僅解決了CLIP在文本長度和多語言支持方麵的關鍵限製，更重要的是，它提供了一個係統性的解決方案來整合不同模態(tài)的預訓練知識。這種漸進式對齊的思路為未來多模態(tài)模型的發(fā)展提供了寶貴的經驗和啟示。隨著技術的不斷完善和應用場景的不斷擴展，我們有理由相信，這類能夠深度理解圖像和語言關係的AI係統將在未來發(fā)揮越來越重要的作用，真正實現人機交互的自然化和智能化。 Q&A Q1：ProCLIP是如何突破CLIP的77個詞限製的？ A：ProCLIP用大語言模型替換了CLIP原本的文本編碼器。大語言模型本身就能處理很長的文本，所以替換後的係統自然就能理解超過77個詞的長文本描述，同時還獲得了多語言理解能力。 Q2：ProCLIP的漸進式訓練有什麼特別之處？ A：ProCLIP采用兩階段訓練策略。第一階段讓大語言模型先學習CLIP的理解方式，建立初步對齊；第二階段再進行圖像文本的聯合訓練，並用自蒸餾機製防止遺忘原有能力。這比直接強行對齊更穩(wěn)定有效。 Q3：ProCLIP在實際應用中有哪些優(yōu)勢？ A：ProCLIP在圖像搜索、內容描述、多語言理解等方麵都有顯著提升。它能理解更詳細的圖像描述，支持36種語言，在分類準確率上比現有方法提升6.8%-13.5%，特別適合需要精細理解圖文關係的應用場景。