RCNN:RCNN可以看作是RegionProposal+CNN這一框架的開山之作,在imgenet/voc/mscoco上基本上所有top的方法都是這個框架,可見其影響之大。RCNN的主要缺點是重復(fù)計算,后來MSRA的kaiming組的SPPNET做了相應(yīng)的加速。
Fast-RCNN:RCNN的加速版本,在我看來,這不僅僅是一個加速版本,其優(yōu)點還包括:
(a) 首先,它提供了在caffe的框架下,如何定義自己的層/參數(shù)/結(jié)構(gòu)的范例,這個范例的一個重要的應(yīng)用是python layer的應(yīng)用,我在這里支持多l(xiāng)abel的caffe,有比較好的實現(xiàn)嗎? - 孔濤的回答也提到了。
(2) training and testing end-to-end 這一點很重要,為了達到這一點其定義了ROIPooling層,因為有了這個,使得訓(xùn)練效果提升不少。
先驗證1次方……
再假設(shè)k次方……
最后k+1時改成k次方乘以(a+b)帶入上一步假設(shè)的利用多項式乘法解決問題。
例:證明:當(dāng)n=1時,左邊=(a+b)1=a+b
右邊=C01a+C11b=a+b
左邊=右邊
假設(shè)當(dāng)n=k時,等式成立,
即(a+b)n=C0nan+C1n a(n-1)b十…十Crn a(n-r)br十…十Cnn bn成立;
則當(dāng)n=k+1時, (a+b)(n+1)=(a+b)n*(a+b)=[C0nan+C1n a(n-1)b十…十Crn a(n-r)br十…十Cnn bn]*(a+b)
=[C0nan+C1n a(n-1)b十…十Crn a(n-r)br十…十Cnn bn]*a+[C0nan+C1n a(n-1)b十…十Crn a(n-r)br十…十Cnn bn]=[C0na(n+1)+C1n anb十…十Crn a(n-r+1)br十…十Cnn abn]+[C0nanb+C1n a(n-1)b2十…十Crn a(n-r)b(r+1)十…十Cnn b(n+1)]
=C0na(n+1)+(C0n+C1n)anb十…十(C(r-1)n+Crn) a(n-r+1)br十…十(C(n-1)n+Cnn)abn+Cnn b(n+1)]
=C0(n+1)a(n+1)+C1(n+1)anb+C2(n+1)a(n-1)b2+…+Cr(n+1) a(n-r+1)br+…+C(n+1)(n+1) b(n+1)
∴當(dāng)n=k+1時,等式也成立;
所以對于任意正整數(shù),等式都成立
RCNN:RCNN可以看作是RegionProposal+CNN這一框架的開山之作,在imgenet/voc/mscoco上基本上所有top的方法都是這個框架,可見其影響之大。
RCNN的主要缺點是重復(fù)計算,后來MSRA的kaiming組的SPPNET做了相應(yīng)的加速。 Fast-RCNN:RCNN的加速版本,在我看來,這不僅僅是一個加速版本,其優(yōu)點還包括: (a) 首先,它提供了在caffe的框架下,如何定義自己的層/參數(shù)/結(jié)構(gòu)的范例,這個范例的一個重要的應(yīng)用是python layer的應(yīng)用,我在這里支持多l(xiāng)abel的caffe,有比較好的實現(xiàn)嗎? - 孔濤的回答也提到了。
(2) training and testing end-to-end 這一點很重要,為了達到這一點其定義了ROIPooling層,因為有了這個,使得訓(xùn)練效果提升不少。
用一個卷積核滑動圖片來提取某種特征(比如某個方向的邊),然后激活函數(shù)用ReLU來壓制梯度彌散。對得到的結(jié)果用另一個卷積核繼續(xù)提取+reLU,然后池化(保留區(qū)域最大或者用區(qū)域平均來替換整個局部區(qū)域的值,保證平移不變性和一定程度上對過擬合的壓制)
之后“深度”的話,就會需要對池化后的結(jié)果繼續(xù)用不同的卷積核進行 “卷積+relu”再池化的工作。最后得到的實質(zhì)是一個圖片的深度特征,然后實際分類需要另外加一層,一般是softmax。
(也就是說如果對一個現(xiàn)成的已經(jīng)訓(xùn)練完畢的卷積神經(jīng)網(wǎng)絡(luò)模型,只保留除了最后一層之外的部分,然后輸入訓(xùn)練圖片,把網(wǎng)絡(luò)的輸出重新送入一個多類的SVM再訓(xùn)練,最后也能得到差不多的結(jié)果,取決于svm的參數(shù)。)
聲明:本網(wǎng)站尊重并保護知識產(chǎn)權(quán),根據(jù)《信息網(wǎng)絡(luò)傳播權(quán)保護條例》,如果我們轉(zhuǎn)載的作品侵犯了您的權(quán)利,請在一個月內(nèi)通知我們,我們會及時刪除。
蜀ICP備2020033479號-4 Copyright ? 2016 學(xué)習(xí)鳥. 頁面生成時間:3.140秒