劉 岳，崔 嘉，李曉潔，馮 玲，臧夢薇，陸宏菊
（1 山東師范大學信息科學與工程學院，濟南 250358；
2 華南理工大學設計學院，廣州 510640；
3 泰山學院信息科學技術學院，山東 泰安 271021；
4 廣州城市理工學院，廣州 510850）
單圖像去雨是指從單幅的有雨圖像中恢復無雨的干凈圖像。
近年來，單圖像去雨研究備受關注，其對于戶外計算機視覺任務非常重要，是必不可少的預處理步驟，尤其適用于自動駕駛、場景分割、目標跟蹤等任務。
因此，有效的去雨技術通常有助于進行更好的、更準確的圖像檢測或識別。
由于真實場景中雨結構的復雜多樣性，單圖像去雨仍是一個具有挑戰性的問題。
2011年，Kang 等學者［1］首次提出單圖像去雨問題，近年來基于深度學習的方法被引入到單圖像去雨任務中，通過訓練CNN 網絡檢測并消除雨紋，可以提高單圖像去雨任務的性能。
在該任務上，基于深度學習的方法大多數都采用的是監督學習方式來訓練網絡的，全監督學習方式訓練網絡依賴雨圖／無雨圖像對。
受各種因素的限制難以獲得成對的真實的雨圖／無雨圖像，所以現有的方法通常是在合成的雨圖數據集上進行訓練。
合成雨圖數據集主要是采用在無雨圖像合成添加雨紋，盡管合成雨紋的技術在不斷進步，但是合成的雨圖與真實的雨圖在分布上仍然存在著很大的差異，真實雨圖要比合成雨圖復雜得多。
在合成數據集上訓練的模型可能很難推廣到現實世界的實際應用中。
為了解決這個問題，一些基于半監督學習的去雨方法［2－4］被提出，將有監督的合成數據的去雨知識遷移到無監督的真實數據的去雨上。
雖然現有的半監督方法已經取得了不錯的效果，但由于缺少真實雨圖信息，仍存在對真實雨紋的識別能力較差、圖像細節丟失等問題。
所以，真實圖像的去雨任務仍然是一個開放且具有挑戰性的問題。
本文提出了一種融合多記憶模塊的半監督單圖像去雨網絡，此網絡分為2 個分支－監督分支和無監督分支，2 個分支共享網絡參數。
網絡可以同時對標記的合成圖像與未標記的真實圖像進行訓練，具體來說，監督分支在標記的合成圖像上進行訓練，而無監督分支在未標記的真實圖像上進行訓練。
本文提出使用記憶模塊對多次特征向量進行建模，提高網絡對多種雨紋／雨滴的識別能力，可以有效處理不同類型的雨圖圖像。
本次研究在不同數據集上進行的大量實驗表明，與現有方法相比，使用提出的基于多記憶模塊訓練的半監督框架將未標記的真實數據合并到訓練過程中可以獲得與之相當的性能。
1.1 基于模型驅動的去雨方法
單圖像去雨技術可以分為2 類［5］：基于模型驅動（非深度學習）的方法和基于數據驅動（深度學習）的方法。
基于模型驅動的方法將單圖像去雨表述為層分離問題。
Kang 等學者［1］提出了一種基于單幅圖像的雨條紋去除框架，將雨條紋去除定義為基于形態成分分析的圖像分解問題。
Luo 等學者［6］提出了一種變分模型，該模型使用了一種稱為屏幕混合模型的非線性復合模型來建模降雨圖像，同時從輸入圖像中檢測和去除雨紋。
Chen 等學者［7］提出了一種從矩陣到張量結構的低秩模型來捕捉時空相關的雨條紋。
Sun 等學者［8］提出了一種基于學習的方法，提倡增量字典學習策略來表示高頻圖像。
Wang 等學者［9］提出了一種基于圖像分解和字典學習的高效算法，從單幅彩色圖像中去除雨雪。
這些方法可以有效地去除中小尺度的雨紋，但無法處理大而尖銳的雨紋。
1.2 基于數據驅動的去雨方法
近年來，基于深度學習的方法被引入到單圖像去雨任務中，并取得了顯著的效果。
Fu 等學者［10］首先引入了一種端到端的殘差卷積網絡來去除雨紋。
Yang 等學者［11］在多任務網絡中聯合檢測并清除了雨水。
Hu 等學者［12］設計了一個深度關注網絡來處理雨紋和霧霾。
以上這些方法都采用了先進的網絡架構通過監督方式學習，在數量和質量上都取得了更好的結果。
盡管這些方法在合成降雨數據集上的表現令人印象深刻，但由于合成訓練數據和真實測試數據之間的差距，這些方法在現實場景中的性能顯著下降。
為了解決這個問題，Wei 等學者［2］首先提出了一個半監督學習框架，同時利用監督和無監督的學習方式進行圖像去雨，該方法通過對高斯混合模型施加一個似然項來模擬真實的雨殘差，并最小化合成雨和真實雨分布之間的KL 散度。
隨后，Yasarla 等學者［4］提出了一種基于高斯過程的半監督方法，該方法使用高斯過程對雨圖圖像的潛在特征進行建模，并為未標記的數據創建偽標簽。
最近，Huang 等學者［3］提出了一種基于面向記憶的半監督的遷移學習框架，自監督記憶模塊可以記錄不同的雨退化原型，并且通過自監督的學習方式進行更新，自訓練模塊用于為無標簽數據生成偽標簽，將有監督去雨的知識遷移到無監督去雨上。
雖然現有的半監督方法對真實圖像的去雨效果有所提高，但仍存在對真實雨紋的識別能力較差、圖像細節丟失等問題。
1.3 記憶網絡
傳統的具有記憶功能的循環神經網絡RNNs（包括LSTM［13］，GRU［14］等）是將隱層信息壓縮成一個密集向量，能夠存儲的信息十分有限。
為了解決這一問題，Weston 等學者［15］首先提出了記憶網絡，通過逐個搜索支持記憶產生輸出，其核心思想就是為傳統的推理模型增加了一個可讀寫的外部記憶組件以便更好地存儲長期記憶，從而成為一個動態的知識庫來為推理組件提供更完整的推理信息。Sukhbaatar 等學者［16］提出了一個端到端的記憶網絡，是一種連續形式的記憶網絡，其中每個記憶項根據記憶與查詢之間的內積進行加權。
本文的工作把Huang 等學者［3］的工作中對記憶模塊的更新策略作為啟發，嘗試更新記憶模塊中的雨紋模型并使用半監督學習的方式實現多種雨圖像類型的去雨工作。
2.1 網絡框架
本文提出了一個融合多記憶模塊的半監督去雨網絡，用于提高合成圖像和真實圖像的去雨能力。網絡框架如圖1 所示。
本文網絡結構分為2 個分支：監督分支和無監督分支。
其中，監督分支在標記的合成雨圖上進行訓練，而無監督分支在未標記的真實雨圖上進行訓練，2 個分支共享相同的網絡、即MMR。
在監督分支訓練中，通過重構損失和感知損失對得到的去雨圖像和相應的無雨參考圖像（Ground－Truth，GT）之間進行約束。
在無監督分支訓練中，通過總變分損失和本體映射損失進行約束，以避免監督分支過度擬合訓練數據集。
圖1 網絡框架Fig. 1 Network structure diagram of this paper
semi－MMR 的詳細結構如圖2 所示。
由圖2 可知，MMR 由編碼器－解碼器和3 個記憶模塊組成，以提高對多種雨紋模型的識別能力并恢復圖像細節。編碼器－解碼器用來提取雨紋特征，記憶模塊用于存儲并更新雨紋特征實現多種雨紋的識別。
具體來說，雨圖圖像作為網絡的輸入，通過編碼器映射得到特征向量，不同層次的特征向量通過記憶模塊中記錄的雨紋模型進行更新，將更新的特征向量饋送到解碼器以產生雨紋特征，然后將雨圖與得到的雨紋特征做差以獲得網絡的輸出、即去雨圖像。
圖2 semi－MMR 的詳細結構Fig. 2 The detailed architectures of the semi－MMR
2.2 網絡結構
本文方法的每個組成部分如下。
2.2.1 編碼器－解碼器
編碼器－解碼器是基于UNet 型［17］構建的，圖2是所提出網絡的編碼器和解碼器的網絡結構。
其中，用Bottle2neck 塊作為網絡的基本組件，充分利用多尺度信息，提高雨紋特征的識別能力。
Bottle 2neck 結構如圖3 所示，在每個Bottle2neck 塊［18］內構造類似特征金字塔的結構，取代了通用的單個3×3 卷積核，在特征層內部進行多尺度的卷積，形成不同感受野，獲得不同細粒度的特征。
圖3 Bottle2neck 結構圖Fig. 3 Bottle2neck structure
2.2.2 記憶模塊
記憶模塊的詳細結構如圖4 所示。
基于Huang等學者［3］的工作中對記憶模塊更新的思想，每個記憶模塊中的記憶塊都是由512 個記憶項組成，記憶項用于存儲各種雨紋特征模型。
每個記憶模塊都有2 個步驟。
步驟1 用于更新記憶項，步驟2 用于更新特征向量。
這里給出研究分述如下：
圖4 記憶模塊結構Fig. 4 Memory module structure
步驟1更新記憶項。
具體來說，可將特征向量，n ＝h × w作為一個查詢項，檢索與之最相關的記憶項mi并以自我監督學習的方式更新記憶項，更新策略如下：
其中，τ是衰減率；
ε是一個極小參數以避免分式為0；
sij是zj與mi的余弦相似性矩陣；
1（·） 是一個指示函數，如果參數為真則輸出值1，否則輸出值0。
步驟2更新特征向量。
首先，計算特征向量和更新后的記憶項之間的相似矩陣S ＝｛sij｝，然后通過歸一化（softmax） 運算得到注意力矩陣A ＝｛aij｝。
最后，通過式（2）計算特征向量z，即：
以上是記憶模塊的計算流程。
2.3 損失函數
本文的損失函數由2 種損失函數組成，分別是監督損失函數和無監督損失函數。
2.3.1 監督損失函數
在監督訓練階段，使用標記的合成數據來學習網絡參數，監督損失函數由重構損失函數和感知損失函數組成。
重構損失Lr是合成數據的參考圖像Os與網絡生成的無雨圖像之間的L1損失，即：
感知損失Lp是利用一個訓練好的分類網絡所具備的圖像語義信息感知的能力來縮小合成數據的參考圖像Os與網絡生成的無雨圖像在特征空間之間的距離，表示為：
其中，Φ（·） 是在ImageNet 上預訓練的VGG16網絡的conv2，3 層。
因此，監督損失函數Lsu表示為：
其中，λp是感知損失函數的參數。
2.3.2 無監督損失函數
在無監督訓練階段，使用未標記的真實數據來學習網絡參數，無監督損失函數由總變分損失函數（Total Variation loss，TV loss）和本體映射損失函數（Identity loss）組成。
總變分損失函數LTV是用來約束網絡生成的無雨圖像Opred r的平滑度以保留圖像的結構和細節，表示為：
其中，?h和?v分別表示水平和垂直微分算子。
本體映射損失函數LI是用來約束真實的雨圖圖像Ir和網絡生成的無雨圖像Opred r之間的結構差異以提高生成的無雨圖像的質量，表示為：
因此，無監督損失函數Lunsu表示為：
其中，λTV是總變分損失函數的參數，λI是本體映射損失函數的參數。
訓練過程的總損失函數表示為：
其中，λunsu是一個預定義的權重，用來控制Lun和Lunsu對網絡的貢獻。
3.1 實驗數據集及評價指標
3.1.1 實驗數據集
本文同時使用合成數據集和真實數據集訓練和評估網絡模型。
在監督訓練階段中，分別使用3 個基準合成數據集訓練模型，Rain200L［11］數據集由1 800對訓練圖像和200 對測試圖像組成，其中只包含一種類型的雨紋且雨紋密度較低；
Rain200H［11］數據集由1800 對訓練圖像和200 對測試圖像組成，其中包含5 種類型的雨紋且雨紋密度較強，更貼近于實際應用中的情況；
Rain800［19］數據集包含700 對訓練圖像和100 對測試圖像，其中每個圖像都包含一個或多個不同方向或密度的雨紋圖像。
在無監督訓練階段中，使用從SIRR［2］、Syn2Real［4］和谷歌搜索中搜集的150 張真實雨圖圖像作為真實數據集（real－data），其中120 張作為訓練數據，30 張作為測試數據。
3.1.2 評價指標
由于合成的雨圖圖像存在ground－truth，因此可以使用峰值信噪比（PSNR［20］） 和結構相似指數度量（SSIM［20］） 來評價降雨去除方法的性能。
而真實的雨圖圖像不存在ground－truth，采用自然圖像質量評估器（NIQE［21］） 和基于感知的圖像質量評估器（PIQE［22］） 等無參考圖像評價指標對圖像質量進行評估。
3.2 參數設置
本文使用PyTorch 深度學習框架，python3.6 編程語言，Ubuntu18.04 系統，Tesla A30 的GPU 進行訓練。
在訓練過程中，圖像被隨機裁剪為256×256的大小，訓練世代數設置為500epochs，batchsize設置為4。
初始學習率設置為0.002，使用Adam 優化器對參數進行優化。
所有的后續實驗均在相同環境設置下進行。
相關參數設置如下：衰減率τ設置為0.999，極小參數?設置為1e－6，感知損失函數參數λp設置為0.04，總變分損失函數參數λTV設置為0.01，本體映射函數參數λI設置為0.1，總無監督損失函數參數λunsu設置為0.5。
3.3 消融實驗
為了驗證本文所提出的網絡結構和損失函數的有效性和優越性，分別對網絡的分支、損失函數等因素進行了消融實驗。
在本文中，提出了半監督框架，該框架使用監督／無監督分支共同利用合成／真實訓練圖像來訓練模型。
2 個分支共享相同的網絡結構，并結合2 個監督／無監督損失提供相應的信息來約束網絡訓練。為了驗證無監督分支的有效性，去掉無監督分支，只使用合成數據集來訓練模型。
對不同分支的消融實驗見表1。
表1 中，Input 表示未經處理的真實雨圖圖像，MMR 是指僅使用合成數據集Rain800 上訓練的模型，Semi－MMR 是指在本文所提出的方法在Rain800 ＆ Real－data 上訓練得到的模型，通過對NIQE和PIQE值的比較，證明了本文半監督方法的有效性。
表1 對不同分支的消融實驗Tab. 1 Ablation experiments on different branches
此外，為了驗證半監督分支的2 項損失函數都有助于提高模型性能，本文對損失函數進行了消融實驗。
對損失函數的消融實驗結果見表2。
表2中，Q1表示僅在無監督分支使用總變分損失函數LTV，Q2表示僅在無監督分支使用本體映射損失函數LI，Q3表示本文方法在無監督分支所使用的總損失函數，即同時使用LTV和LI。
從表2 中可以看出，2項損失函數對去雨效果都有不同程度的增強作用。
表2 對損失函數的消融實驗Tab. 2 Ablation experiments on loss functions
3.4 對比實驗
將本文方法與4 種其他的單圖像去雨模型進行比較，其中包括2 種監督學習模型（DDN［10］，PReNet［23］） 和2 種半監督學習模型（SIRR［2］，Syn2Real［4］）。
2 種監督學習模型直接在Rain200H、Rain200L、Rain800 上進行訓練，半監督學習模型在Rain200H ＆ Real－data、Rain200L ＆ Real－data 和Rain800 ＆ Real－data 上進行訓練。
3.4.1 合成數據的對比實驗
首先在合成數據集上評估每種方法。
在合成數據集上進行定量分析，采用PSNR和SSIM作為評價標準，數值越大，表示結果更好。
對合成數據的定量分析結果見表3。
表3 中，“?”表示模型分別在合成數據集和真實數據集上訓練。
從表3 中可以看出，本文模型在3 個數據集的測試數據上都獲得了最好或相當的性能。
本文模型的PSNR 值在3 個數據集的測試數據上與其他方法相比均獲到了不同的增益，SSIM值在Rain200L 和Rain200H 數據集的測試數據上取得了最大值，但在Rain800 上比PReNet模型的值略低。
在合成數據集上進行定性分析，圖5～圖7 是分別在3 個合成數據集上的可視化效果，從圖5 中可以看出：
在Rain200L 上SIRR 和Syn2Real 能夠去除部分雨紋，但圖像中仍然會存在一些未能去除的雨紋；
在Rain200H 上存在類似的結果，而且圖像中存在偽影，效果不理想；
在Rain800 上，SIRR 的去雨效果良好，但某些圖像色彩出現了偏差，Syn2Real 的去雨效果不甚理想，圖像中仍存在大量雨紋。
本文方法在3 個數據集上均可以去除大部分的雨紋，并且去雨圖像的細節保持得也較為完整，與GT 最為接近，體現了本文方法的優越性。
圖5 在Rain200L 數據集上的比較Fig. 5 Comparison on the Rain200L dataset
圖6 在Rain200H 數據集上的比較Fig. 6 Comparison on the Rain200H dataset
圖7 在Rain800 數據集上的比較Fig. 7 Comparison on the Rain800 dataset
3.4.2 真實數據的對比實驗
研究中，還在真實數據集Real－data 的測試集上對本文方法進行分析。
以Rain800＆Real－data 作為訓練基礎進行定量分析，采用NIQE 和PIQE 作為評價標準，數值越小、表示結果更好。
對真實數據的定量分析結果見表4。
從表4 中可以看出，本文方法取得了最低的NIQE 值和PIQE 值，體現了本文方法的優越性。
表4 對真實數據的定量分析Tab. 4 Quantitative analysis of real－world data
在真實數據集上進行定性分析，可視化結果如圖8 所示。
SIRR 方法能識別大部分的雨紋，但細節恢復能力較差，存在一些過度平滑的結果；
Syn2Real方法能實現較好的視覺效果，但圖像仍能看到未去除的雨紋；
本文方法處理得到的圖像結果清晰，細節恢復較好，可以有效提高真實圖像的去雨效果，提高了模型的實用性。
圖8 在Real－data 數據集上的比較Fig. 8 Comparison on the Real－data dataset
在本文中，嘗試用融合多記憶模塊訓練的半監督框架來解決單圖像去雨問題。
本文在標記的合成雨圖和未標記的真實雨圖像上訓練網絡，通過多記憶模塊對中間潛在向量進行建模，提高了網絡對多種雨紋／雨滴類型的識別能力。
本文方法很大程度上緩解了傳統的深度學習方法在該任務上存在的問題，即合成數據訓練的網絡難以實際應用的問題。此外，在合成數據集和真實數據集上的實驗均驗證了本文方法有效性，顯著提高了當前基于深度學習方法的單圖像去雨模型對真實雨圖的魯棒性。
本文方法仍然不能適用于所有可能極其復雜的雨天圖像。
在網絡訓練中更精細地減小合成域和真實域之間的差異，可能是進一步提高該任務性能的未來方向。
猜你喜歡 損失記憶監督 胖胖損失了多少元數學小靈通·3-4年級(2021年5期)2021-07-16突出“四個注重” 預算監督顯實效人大建設(2020年4期)2020-09-21玉米抽穗前倒伏怎么辦?怎么減少損失?今日農業(2019年15期)2019-01-03監督見成效 舊貌換新顏人大建設(2017年2期)2017-07-21記憶中的他們作文周刊·小學一年級版(2016年27期)2017-06-03夯實監督之基人大建設(2017年9期)2017-02-03兒時的記憶（四）新湘評論·下半月(2016年4期)2016-05-05兒時的記憶（四）新湘評論·下半月(2016年4期)2016-05-05記憶翻新海外文摘(2016年4期)2016-04-15一般自由碰撞的最大動能損失廣西民族大學學報(自然科學版)(2015年3期)2015-12-07