⭐Sık Kullanılan CNN Modelleri
ResNet (Resudial Network)
Aktivasyon sonucu diğer katmana aktarır ve ekler. (
+
)$a^{[l+2]} = g(Z^{[l+2]} + a^{[l]})$
Bu yapı sayesinde çok katmanlı veriler oluşturulabiliyor
Başlarda verilerin etkisinin çok azalması engellenir ("vanishing / exploding gradient")
![](https://docs.yemreak.com/~gitbook/image?url=https%3A%2F%2F2136337814-files.gitbook.io%2F%7E%2Ffiles%2Fv0%2Fb%2Fgitbook-x-prod.appspot.com%2Fo%2Fspaces%252F3IVBqG9Jn8K2viWOpgUm%252Fuploads%252Fgit-blob-bcfd13c00af8583a16866d8c24f837acf4603ab0%252Fimage%2520%288%29.png%3Falt%3Dmedia&width=768&dpr=4&quality=100&sign=309216d3&sv=1)
</details>
Neden ResNet
Derinlere indikçe sinir ağı aşınır
Öğrenme ve gelişme sürecinde kayıplara uğrar
Düz yapıda (plain net):
$a_l$ değerlerinin parametreleri (
w
,b
) 0'a yaklaşır$a^{[l+1]} = g(W^{[l]} \times a^{[l]} + b_l)$ formülü $W=0$ için $0$ olur, yani ölür
Gradyanlar çalışmaz hale gelir (no gradient descent)
ResNet yapısında:
$a^{[l+2]} = g(Z^{[l+2]} + a_l)$ ve $Z^{[l+2]} = g(W^{[l+2]} \times a^{[l+1]} + b^{[l+2]})$
$W=0$ için $a_l$ değeri aktarılır (eski aktivasyon sonucu kullanılır)
Sinir ağını etkilemesine izin verilmez
Eğitim Grafiği (Loss)
![](https://docs.yemreak.com/~gitbook/image?url=https%3A%2F%2F2136337814-files.gitbook.io%2F%7E%2Ffiles%2Fv0%2Fb%2Fgitbook-x-prod.appspot.com%2Fo%2Fspaces%252F3IVBqG9Jn8K2viWOpgUm%252Fuploads%252Fgit-blob-e033534a0dc6eb296c222a4798e164a8e76814c4%252Fimage%2520%2835%29.png%3Falt%3Dmedia&width=768&dpr=4&quality=100&sign=29488f73&sv=1)
ResNet vs PlainNet
![](https://docs.yemreak.com/~gitbook/image?url=https%3A%2F%2F2136337814-files.gitbook.io%2F%7E%2Ffiles%2Fv0%2Fb%2Fgitbook-x-prod.appspot.com%2Fo%2Fspaces%252F3IVBqG9Jn8K2viWOpgUm%252Fuploads%252Fgit-blob-f7fdbd97e3f10d5b6d5ae60f08188f17dbbd6ff0%252Fimage%2520%286%29%2520%282%29.png%3Falt%3Dmedia&width=768&dpr=4&quality=100&sign=fe12e3fc&sv=1)
ResNet için Önemli Husular
$(Conv \times 3 \rArr Pool) \rArr ... \rArr (Conv \times 3 \rArr Pool) \rArr Softmax$
CNN için "some" padding yapısı tercih edilir
Boyutun değişmesini engellemek için seçilir
$dim(a^{[l]}) = dim(a^{[l+2]})$ olmak zorundadır ki matrix ataması gerçekleşebilsin
$dim(..)$ Boyut'u anlamına gelmektedir
Some padding yerine "vali" kullanılırsa
Boyutlar eşit olmayacağından ekstra bir hyperparam ($W_s$) ile çarpılarak, boyutlar eşitlenir
$a^{[l+2]} = W_s \times a^{[ l]}$
$dim(W_s) = (a^{[l+2]}, a_{a})$
1 x 1 Convolutional Nedir ve Neden Yapılır
Network in network olarak da bilinir.
Temel amacı boyutu sıkıştırmak ve küçültmekdir.
$n_c$ değerini küçültmek için kullanılır
$n_c \rArr n_f$ , $n_f$ = Filtre sayısı
Sıkıştırılmış verinin olduğu katmana bottleneck layer denir
Şişenin dar kısmına verilen isim, bu katman CNN'in ufak kısmını ele alır
Bazı ağlarda hesaplamadan tasarruf edilir
1 x 1 filtreye sokulup ardından ReLU'ya sokulma işlemidir
Aynı derinlik hizasında olanlar toplanır ve öyle aktarılır
Eğer filtre ile kanal aynı ise katamana non-linerity (doğrusalsızlık) özelliği eklenir
![](https://docs.yemreak.com/~gitbook/image?url=https%3A%2F%2F2136337814-files.gitbook.io%2F%7E%2Ffiles%2Fv0%2Fb%2Fgitbook-x-prod.appspot.com%2Fo%2Fspaces%252F3IVBqG9Jn8K2viWOpgUm%252Fuploads%252Fgit-blob-a18a08a028ffb25d729e5de86678dd68fe7282ba%252Fimage%2520%2828%29.png%3Falt%3Dmedia&width=768&dpr=4&quality=100&sign=f3347f3f&sv=1)
![](https://docs.yemreak.com/~gitbook/image?url=https%3A%2F%2F2136337814-files.gitbook.io%2F%7E%2Ffiles%2Fv0%2Fb%2Fgitbook-x-prod.appspot.com%2Fo%2Fspaces%252F3IVBqG9Jn8K2viWOpgUm%252Fuploads%252Fgit-blob-665ecdbead7903b74334ee4cdb57e5239a3ff5db%252Fimage%2520%2834%29.png%3Falt%3Dmedia&width=768&dpr=4&quality=100&sign=eeaa41e1&sv=1)
![](https://docs.yemreak.com/~gitbook/image?url=https%3A%2F%2F2136337814-files.gitbook.io%2F%7E%2Ffiles%2Fv0%2Fb%2Fgitbook-x-prod.appspot.com%2Fo%2Fspaces%252F3IVBqG9Jn8K2viWOpgUm%252Fuploads%252Fgit-blob-bd9b0c2bdb5b2942f5cdd500dcbce24a9cd3b64a%252Fimage%2520%2836%29.png%3Falt%3Dmedia&width=768&dpr=4&quality=100&sign=f71e36c9&sv=1)
Inception Network
1x1 Convolution'dan oluşan bir sürü Inception Module'den oluşur
![](https://docs.yemreak.com/~gitbook/image?url=https%3A%2F%2F2136337814-files.gitbook.io%2F%7E%2Ffiles%2Fv0%2Fb%2Fgitbook-x-prod.appspot.com%2Fo%2Fspaces%252F3IVBqG9Jn8K2viWOpgUm%252Fuploads%252Fgit-blob-b6f5b427b90edd4e5e7fd0d176d9b5e93700d925%252Fimage%2520%284%29.png%3Falt%3Dmedia&width=768&dpr=4&quality=100&sign=c18c909b&sv=1)
![](https://docs.yemreak.com/~gitbook/image?url=https%3A%2F%2F2136337814-files.gitbook.io%2F%7E%2Ffiles%2Fv0%2Fb%2Fgitbook-x-prod.appspot.com%2Fo%2Fspaces%252F3IVBqG9Jn8K2viWOpgUm%252Fuploads%252Fgit-blob-408ef900897f0c83a594ca98a6d0abb3601295e5%252Fimage%2520%2831%29.png%3Falt%3Dmedia&width=768&dpr=4&quality=100&sign=959e54bb&sv=1)
Last updated