本文導讀：前言5G的發展，驅動著互聯網載體的持續迭代，進而推動了UC廣告投放樣式的不斷升級。層出不窮的新樣式為用戶和廣告提供了更多...

前言

5G的發展，驅動著互聯網載體的持續迭代，進而推動了UC廣告投放樣式的不斷升級。層出不窮的新樣式為用戶和廣告提供了更多更高效的互動，廣告行業富媒體化程度日益加深。據QuestMobile統計，2022年上半年 Top5廣告主行業費用中，短視頻信息流、圖文信息流、視頻信息流、開屏、等包含圖片/視頻的UC廣告類型占據了絕大部分。

UC廣告投放平臺順應UC廣告投放發展趨勢，設計和實現了眾多廣告投放樣式，滿足UC廣告投放主在不同場景不同展位的投放需求。 目前，主要廣告樣式（如信息流大圖/小圖/三圖、信息流橫版/豎版視頻、開屏大圖/視頻、精準動態圖、直播、網盟橫幅等）都包含了圖片/視頻物料。 無論物料庫還是在線展現，圖片/視頻廣告都占據了大部分比例，純文字鏈廣告的比例已經越來越低。

相比自然圖片和用戶產品圖片，UC廣告平臺圖片的突出特點在于嵌入了UC廣告投放主商業意圖。 以下圖（圖1）的牙科廣告為例，圖片中包含了人物、家庭聚餐場景、品牌Logo、營銷文案、點擊按鈕等多個元素。

對UC廣告投放物料進行深入地視覺理解，對廣告生態的三大參與方都有著重大的意義：

用戶角度上：圖片/視頻是直接的感官刺激和信息傳遞，其質量及所傳遞信息的豐富度對用戶體驗有著顯著的影響； 

UC廣告投放主角度上：圖片/視頻已經成為廣告創意/落地頁基本而關鍵的組成部分，能夠非常直觀而具體地呈現產品/服務內容，優質的圖片/視頻對用戶的點擊/轉化有著非常重要的促進作用。

UC廣告投放平臺角度上：基于物料的視覺理解，能夠準確理解廣告服務內容和精細刻畫用戶興趣，進而對廣告和用戶進行更精準和高效的匹配，實現更高的變現效率。

除了通過各種物料生成算法豐富UC廣告主物料外，我們重點在兩方面進行視覺理解建設： 構建物料表達/簽名算法來提升在線廣告多樣性和用戶體驗；構建物料標簽算法來提升平臺的廣告匹配效率。

UC廣告投放平臺物料表達/簽名

線上出現大量相同/相似的廣告，會導致用戶審美疲勞和興趣下降，對用戶體驗有較大的負面影響。 在冷啟動探索等場景，相同/相似廣告的重復探索也會造成不少的資源浪費。 為解決這些問題，我們構建了物料相同/相似識別算法。

基于MD5進行物料重復判斷，只能識別相同的圖片或視頻。 系統中存在大量經過編輯（裁剪、放縮、翻轉、色彩變換、加水印、邊沿模糊、文字變更、背景變換等）的物料，和源物料相似但不完全相同。 相似物料的識別，諸如Perceptionhash、Wavelethash等傳統算法，雖然簡單高效，但準召率過低，難以滿足實際應用需求。 

為解決這個問題，我們設計了兩階段方案，分別學習物料表達和簽名（如圖2所示）。 基于深度學習模型生成物料的表達，讓相似物料表達相近，不相似物料表達遠離，獲得物料的向量表達；為解決在線效率問題，進一步對物料表達進行降維和量化，產出多個維度的簽名。

由于標注數據成本高、速度慢，實際訓練中往往缺乏足量的標注樣本，我們采用自監督學習的思路來解決標注樣本缺乏的難題。 基于無監督數據構造自監督信號，進而基于海量自監督數據進行對比學習。 

具體來說，通過多種數據增強方法構造正樣本對，基于不同源圖片構造正負樣本對，進而對比學習樣本對的距離差，讓正樣本對的相似度遠大于正負樣本對的相似度（如圖3所示）。

我們采用MoBY框架，有效綜合了MoCo和BYOL算法的優勢，同時基于海量正樣本對和正負樣本對進行學習，獲得了更好的訓練穩定性及更佳的效果（如圖4所示）。

為提升訓練和推理速度、節省算力資源、追求低碳環保，在保證準確率前提下，綜合眾多輕量級網絡優點，我們設計了物料表達學習網絡（如圖5所示）。 主要優化包括以下4點：

1.采用基于深度可分離卷積的逆殘差網絡(IRB)，有效降低參數量。

2.基于跨階段局部網絡(CSPNet)，在保持原有效果的前提下，大幅減少浮點運算數。

3.在對效果影響較小的低層網絡去掉通道注意力，進一步削減參數量和計算量。

4. 借鑒EfficientNet，進行效果–效率的權衡，對模型進行復合縮放（分辨率、寬度、深度）。

基于上述設計構建網絡和訓練模型，在圖像相似測試集和視頻相似測試集上評估算法效果。 高率(Precision>98%)前提下，圖像表達在[32, 256]維度區間上的召回率在[60%, 70%]，維度越高召回率越高；視頻表達在[32, 256]維度區間上的召回率在65%左右，保持了維度壓縮無損。 高率前提下，圖像簽名在[64, 256]維度區間上的召回率在[35%,55%]，維度越低召回率越高；視頻簽名在[32, 256]維度區間上的召回率在65%左右，保持了無損壓縮（圖像簽名小于64維度，率顯著低于98%，已經不能滿足需求)。

針對UC廣告投放場景的在線應用需求（高率、高性能、低存儲），選擇64維的圖像/視頻簽名進行相似識別，率保持在98%以上，時間復雜度為O(1)，每個物料簽名只需要8字節空間。 對比初始的MD5方案，圖像簽名召回率提升了65.6%，視頻簽名召回率提升了92.5%（如圖6所示）。目前物料表達/簽名算法，已經在多個場景落地應用，如頻控提升用戶體驗、冷啟動探索提效、創意多樣性治理等。 

UC廣告投放平臺物料標簽

圖片/視頻物料在廣告服務表達和用戶興趣表達上有著非常重要的作用，廣告系統一般以特征的方式將其納入到廣告投放決策中。以物料ID作為特征納入廣告召回/排序的模型，能夠較好地學習和預估歷史上高頻展現的廣告，但對展現不足的新廣告和長尾廣告能力較弱。為了實現高效而智能的投放，需要對圖片/視頻物料進行更精細地理解，通過打標/分類從物料中提取實體/語義等結構化信息。

圖像分類通過在訓練集上學習，建立從輸入空間(圖像)到輸出空間（標簽/分類）的映射，主要包括二分類、單標簽分類和多標簽分類等3種類型。 基于廣告物料多元素多目標的特性，我們構建了多標簽分類算法，應有盡有地為圖像打上標簽。 

圖像分類算法框架，一般包含主干網、分類頭和損失函數3個部分（如圖7所示）：

廣告圖像的多標簽分類，主要面臨3個挑戰：

1. 通用多標簽分類網絡，包含全局池化的環節，會丟失空間信息，難以處理廣告圖片多區域包含多目標的問題。

2. 多標簽分類任務，樣本不均衡問題較為嚴重。

3. 視覺(CV)模型訓練成本高，難以高效支持標簽體系的高頻更新迭代。

針對這3個問題，采用相應算法進行解決：

1. 納入交互注意力模塊：在主干網和分類頭之間，去掉全局池化，替換為交叉注意力模塊，進行標簽和圖像空間特征的自適應匹配學習，解決多區域多目標識別問題。

2. 損失函數優化：多標簽分類常用的BCE損失函數，對所有樣本賦予相同權重，導致已經無需大量學習的高置信度樣本占用了過多資源，正樣本由于比例低而得不到充分學習。 采用ASL損失函數替代BCE，能夠達到降低高置信度樣本權重、降低負樣本權重、忽略過于簡單負樣本這3個目的，較好地緩解了樣本不均衡問題。

3. 多分類頭設計：對標簽進行分組，每組對應一個分類頭，以此進行標簽的高效迭代。 后續增加標簽時，訓練階段先凍結主干網和其他分類頭，僅訓練新增標簽涉及的分類頭； 精調階段，基于訓練好的主干網和分類頭，僅進行較少批次的精調，即可達到的分類效果。 

在深度學習、大規模數據處理能力和云基礎設施迅猛發展的推動下，CV網絡的發展日新月異。除了CNN框架沿著AlexNet->VGGNet->ResNet->ResNeXt的路徑演進外，Transformer框架從NLP跨界到CV，取得了顯著的成果。ViT網絡基于Transformer在千萬/億級樣本上進行學習，以“簡單”、“效果好”、“可擴展性強”等特點，成為了大模型主干網的通用范式。 

我們進一步將多標簽分類算法的主干網升級為ViT框架，并從兩方面進行改造優化（如圖8所示）。

一方面，納入空間注意力學習圖像塊的重要性，并以殘差結構來有效融合圖像整體表達和圖像塊局部表達，實現了對圖像中主目標和小區域目標都能精準識別的效果。 另一方面，納入AdaptFormer網絡，只精調AdaptMLP子網絡，其他部分凍結，以很低成本（學習參數量小于整體2%）達到和全參數精調相當甚至更好的效果。

基于上述設計構建網絡和訓練模型，基于測試集評估效果(如表1所示)。 主干網從CNN升級到CLIP ViT-B/32，mAP和F1提升顯著； 納入AdaptFormer后，只精調少量參數，效果超過了全參數精調方案； 基于殘差融合圖像整體表達和局部表達，效果有進一步的提升。 最終模型版本，評測集上 mAP 0.953率95.9%召回率 91.3%。 目前打標算法已經上線廣告系統，覆蓋了50%左右展現。

廣告圖片打標效果，如圖9、圖10所示：

未來展望

基于AI精細化理解UC廣告投放平臺物料，對富媒體化趨勢下的智能投放有著重大的價值。在物料視覺表達/簽名的基礎上，后續將進一步生成多模態上的統一表達，構建物料/廣告/廣告主的多層次表達。 廣告物料的結構化理解走出了步，后續將不斷擴充圖像標簽體系，持續提升圖像標簽的準召率、覆蓋率和豐富度； 針對比例和重要性不斷提升的視頻物料，大力建設視頻標簽體系和多標簽分類算法。 隨著物料理解的不斷深入，富媒體環境下的投放基礎設施將更為完善，為構建全智能、全自動、全場景、全效果保障的營銷引擎打下更為堅實的基礎。 

同時，物料的精細化視覺理解為廣告主投放效果提升打開了新的空間。 一方面，可以基于視覺理解拓展定向通道，為廣告主觸達更多潛在轉化人群/流量； 另一方面，基于視覺理解實現對廣告服務的準確理解和用戶意圖的細致刻畫，能夠進一步提升排序模型預估能力（尤其在新廣告和長尾廣告上），為廣告主匹配更精準更優質的流量。

此外，將視覺技術賦能到物料生產，可以大規模生成高質量物料，大幅增加物料供給。 我們將在現有的程序化拼接物料基礎上，進一步構建低成本規?；咂焚|類原生的物料生成系統。 通過素材挖掘、素材理解和智能化融合，批量化地生成類原生物料，降低廣告主制作門檻和成本，提升物料質量和豐富度。 

近期，基于擴散模型的圖像/視頻生成技術取得了令世人矚目的進展，為物料制作提供了新的想象空間。 基于在擴散模型和眾多CV/NLP前沿算法上的研究和沉淀，我們將構建智能營銷AI創意實驗室，以創新型產品的形式，為UC廣告主提供靈感激發、素材自動生成、智能創作、新潮等服務，滿足廣告主自動化、智能化、個性化的創意生產/營銷需求。

本文標題：富媒體化趨勢下的新基建：UC廣告物料的視覺理解 | UC廣告投放

本文鏈接：http://www.dfgpm.com/jiqiao/1055.html