論文詳細(xì)描述了當(dāng)前旋轉(zhuǎn)目標(biāo)檢測的主要問題，提出將旋轉(zhuǎn)回歸目標(biāo)定義為高斯分布，并使用Wasserstein距離來衡量高斯分布之間的距離進(jìn)行訓(xùn)練。目前，常規(guī)目標(biāo)檢測中將回歸轉(zhuǎn)換為概率分布函數(shù)的方法有很多。這篇文章有同樣的目的，值得一讀。

來源：小飛算法工程筆記公眾號(hào)

論文： 重新思考使用高斯Wasserstein 距離損失的旋轉(zhuǎn)物體檢測

論文地址：https://arxiv.org/abs/2101.11952 論文代碼：https://github.com/yangxue0827/RotationDetectionIntroduction 任意方向的目標(biāo)在檢測數(shù)據(jù)集中普遍存在。與水平目標(biāo)檢測相比，旋轉(zhuǎn)目標(biāo)檢測仍處于起步階段。目前，大多數(shù)SOTA研究都集中在回歸目標(biāo)的旋轉(zhuǎn)角度上，解決旋轉(zhuǎn)角度帶來了新的問題：i）指標(biāo)和損失之間的不一致。 ii) 旋轉(zhuǎn)角度回歸區(qū)間是不連續(xù)的。 iii) 平方問題。事實(shí)上，上述問題沒有很好的解決方案，這會(huì)極大地影響模型的性能，特別是當(dāng)角度處于范圍邊界時(shí)。

為了解決上述問題，論文提出了GWD方法，首先使用二維高斯分布對(duì)旋轉(zhuǎn)目標(biāo)進(jìn)行建模，然后使用高斯Wasserstein Distance（GWD）代替不可微的旋轉(zhuǎn)IoU，并計(jì)算基于GWD的損失值，使模型訓(xùn)練和指標(biāo)保持一致。本文的主要貢獻(xiàn)如下：

總結(jié)了旋轉(zhuǎn)目標(biāo)檢測中的三個(gè)主要問題。使用Gaussian Wasserstein Distance（GWD）來描述旋轉(zhuǎn)的bbox之間的距離，然后使用GWD計(jì)算代替IoU損失的損失，并且是可微的?；贕WD的損失可以解決旋轉(zhuǎn)角度范圍的不連續(xù)問題和平方問題，并且對(duì)bbox如何定義沒有要求。在多個(gè)公開數(shù)據(jù)集上進(jìn)行測試，論文中的方法具有良好的性能。旋轉(zhuǎn)對(duì)象回歸檢測器重新訪問邊界框定義 圖2 顯示了定義旋轉(zhuǎn)bbox 的兩種方法：OpenCV 形式和長邊形式。前者的角度為長邊與橫坐標(biāo)的角度，后者的角度為長邊與橫坐標(biāo)的角度。角度，兩種定義可以相互轉(zhuǎn)換（不考慮中心點(diǎn)）：

兩種表示方法之間的主要區(qū)別在于邊序和角度。同一個(gè)bbox使用不同的表達(dá)方式。可能需要交換邊的順序或者角度正負(fù)90。在當(dāng)前的許多研究中，模型的設(shè)計(jì)與bbox的定義相結(jié)合，以避免具體問題：例如平方問題可以是避免了，并且可以避免邊緣交換問題。

Metric與Loss不一致IoU是檢測領(lǐng)域的一個(gè)重要評(píng)價(jià)指標(biāo)，但實(shí)際訓(xùn)練中使用的回歸損失函數(shù)（如-norms）往往與評(píng)價(jià)指標(biāo)不一致，即較小的loss值不等于更高的性能。目前，水平目標(biāo)檢測領(lǐng)域有一些解決不一致問題的方案，例如DIoU和GIoU。在旋轉(zhuǎn)目標(biāo)檢測領(lǐng)域，由于角度回歸的加入，不一致問題變得更加突出，但仍然沒有好的解決方案。論文還列出了一些例子來比較IoU 損失和平滑L1 損失：

案例1: 角度差與損失值的關(guān)系，曲線幾何形狀是單調(diào)的，但只有平滑的L1曲線才是凸曲線，可以優(yōu)化到全局最優(yōu)解。案例2: 縱橫比差異與損失值之間的關(guān)系。 smooth-l1損失值是固定的（主要來自角度差異），而IoU損失沿水平軸變化劇烈。案例3:中心點(diǎn)偏移對(duì)損失值的影響，曲線都是單調(diào)的，但平滑的L1曲線與差值的一致性不高。從上面的分析可以看出，在旋轉(zhuǎn)目標(biāo)檢測領(lǐng)域，IoU損失可以更好地填補(bǔ)評(píng)價(jià)標(biāo)準(zhǔn)和回歸損失之間的差異。不幸的是，在旋轉(zhuǎn)目標(biāo)檢測領(lǐng)域，兩個(gè)旋轉(zhuǎn)bbox之間的IoU計(jì)算是不可微的，不能用于訓(xùn)練。為此，論文提出了一種基于Wasserstein距離的可微損失來替代IoU損失，同樣可以解決旋轉(zhuǎn)角度回歸區(qū)間不連續(xù)問題和平方問題。

邊界不連續(xù)性和類平方問題（旋轉(zhuǎn)角回歸區(qū)間不連續(xù)性和平方問題） 上圖中的Case1-2總結(jié)了旋轉(zhuǎn)角回歸區(qū)間不連續(xù)性問題。以O(shè)penCV形式的案例2為例，對(duì)于anchor和GT，有兩種回歸方法：

Way1可以逆時(shí)針旋轉(zhuǎn)一個(gè)小角度，預(yù)測的結(jié)果是。然而，由于角度（PoA）和邊序交換（EoE）的周期性，如果使用平滑的L1損失函數(shù)，這個(gè)結(jié)果和GT之間會(huì)產(chǎn)生巨大的損失值。另外，該角度也在預(yù)定角度范圍之外。選擇way2需要較大的順時(shí)針旋轉(zhuǎn)，同時(shí)縮放寬度和高度。當(dāng)錨點(diǎn)與GT之間的角度處于角度范圍的邊界時(shí)，通常會(huì)出現(xiàn)上述問題。當(dāng)anchor與GT之間的角度不在邊界時(shí)，way1不會(huì)產(chǎn)生巨大的損失值。因此，對(duì)于smooth-L1來說，邊界角度和非邊界角度的優(yōu)化處理會(huì)過于一致，這也會(huì)阻礙模型訓(xùn)練。

平方問題主要發(fā)生在使用長邊形式的檢測方法中。由于方形靶材沒有絕對(duì)的長邊，因此方形靶材的長邊形式本身的表達(dá)方式并不唯一。以Case3為例，有anchor和GT，way1可以順時(shí)針旋轉(zhuǎn)一個(gè)小角度，與GT的位置一致。但由于角度差異較大，way1會(huì)產(chǎn)生較高的回歸損失。因此，需要像way2那樣更大的逆時(shí)針角度。平方問題的主要原因并不是上面提到的PoA和EoE，而是metrics和loss計(jì)算的不一致。

The Proproved Method經(jīng)過上述分析，論文希望新的旋轉(zhuǎn)目標(biāo)檢測方法的回歸損失函數(shù)滿足以下幾點(diǎn)：

Requirement1: 與IoU 指標(biāo)高度一致。要求2: 可微分，允許直接學(xué)習(xí)。要求3: 角度回歸范圍的邊界場景更平滑。 Wasserstein Distance for Rotating Box目前，大多數(shù)IoU 損失都可以視為距離函數(shù)?；诖?，論文提出了一種新的基于Wasserstein距離的回歸損失函數(shù)。首先，將旋轉(zhuǎn)的bbox 轉(zhuǎn)換為二維高斯分布：

^ 是旋轉(zhuǎn)矩陣，是特征值的對(duì)角向量。對(duì)于上述任意兩個(gè)概率測度之和，它們的Wasserstein 距離可以表示為：

公式2計(jì)算所有隨機(jī)向量組合，將其代入高斯分布，轉(zhuǎn)換為：

特別注意：

考慮到可互換情況（水平目標(biāo)檢測），式3可以轉(zhuǎn)化為：

是弗羅貝尼烏斯范數(shù)。這里的bbox都是水平的。公式5近似于-norm損失，表明Wasserstein距離與水平檢測任務(wù)中常用的損失一致，可以用于回歸損失。這里的公式計(jì)算比較復(fù)雜。如果您有興趣，可以閱讀參考資料。

Gaussian Wasserstein Distance Regression Loss論文使用非線性變換函數(shù)將GWD映射到，得到類似于IoU損失的函數(shù)：

上圖還描述了使用不同非線性函數(shù)的損失函數(shù)曲線。可以看出，公式6非常接近IoU損失曲線，也可以測量不相交的bbox。因此，式6顯然可以滿足要求1和要求2。我們開始分析Requirement3，首先給出公式1的特點(diǎn)：

根據(jù)特征1可以看出，GWD損失函數(shù)等于OpenCV形式和長邊形式，即模型不需要固定特定的bbox表達(dá)形式進(jìn)行訓(xùn)練。以Case2的Way1為例，GT和預(yù)測具有相同的均值和方差，GWD損失函數(shù)不會(huì)輸出更大的損失值。根據(jù)特征2和3，Case2和Case3的way1也不會(huì)產(chǎn)生較大的損失值，因此GWD損失函數(shù)也滿足要求3?？傮w而言，GWD在旋轉(zhuǎn)目標(biāo)檢測方面的優(yōu)勢(shì)如下：

GWD使得bbox的不同定義形式相等，保證模型能夠?qū)Ｗ⒂谔岣邷?zhǔn)確率，而不用擔(dān)心bbox的定義形式。 GWD 是IoU 損失的可微分替代方案，并且與檢測指標(biāo)高度一致。而且，GWD可以測量不相交的bbox之間的距離，類似于GIoU和DIoU的特性。 GWD避免了旋轉(zhuǎn)角度回歸區(qū)間不連續(xù)問題和平方問題，降低了模型的學(xué)習(xí)難度?？傮w損失函數(shù)設(shè)計(jì)論文采用RetinaNet作為基本檢測器，bbox表示為，實(shí)驗(yàn)主要采用OpenCV形式，回歸目標(biāo)定義為：

變量、分布代表GT、錨點(diǎn)和預(yù)測結(jié)果。最終的多任務(wù)損失函數(shù)為：

是錨點(diǎn)編號(hào)，是前景或背景的指示符，是預(yù)測的bbox，是GT，是GT的標(biāo)簽，是預(yù)測的標(biāo)簽，是超參數(shù)，是焦點(diǎn)損失。

實(shí)驗(yàn)比較特定問題的其他解決方案。

在DOTA數(shù)據(jù)集上比較多個(gè)模型，論文還有很多其他實(shí)驗(yàn)。如果您有興趣，可以查看一下。

結(jié)論論文詳細(xì)描述了當(dāng)前旋轉(zhuǎn)目標(biāo)檢測的主要問題，提出將旋轉(zhuǎn)回歸目標(biāo)定義為高斯分布，并使用Wasserstein距離來衡量高斯分布之間的距離進(jìn)行訓(xùn)練。目前，常規(guī)目標(biāo)檢測中將回歸轉(zhuǎn)換為概率分布函數(shù)的方法有很多。這篇文章有同樣的目的，值得一讀。

參考內(nèi)容兩個(gè)高斯之間的Wasserstein 距離- https://djalil.chafai.net/blog/2010/04/30/wasserstein-distance- Between-two-gaussians/如果本文對(duì)您有幫助，請(qǐng)點(diǎn)贊或閱讀~更多內(nèi)容請(qǐng)關(guān)注微信公眾號(hào)【小飛的算法工程筆記】

工作與生活的平衡。