For the complete documentation index, see llms.txt. This page is also available as Markdown.

🕵️‍♂️Tensorflow Object Detection API ile Obje Bulma

Tensorflow Object Detection API ile Obje Bulma ve kullanımı için gerekli talimatlarım

📢 Önemli Duyuru

  • 💥 Bu yazının güncel hali verimliliği artırma adına parçalara ayrılmıştır

  • 👮‍♂️ Güncel hali 🕵️‍ Tensorflow Object Detection API alanında derlenmektedir

https://github.com/yemreak/blog/blob/main/docs/tr/arsiv/tensorflow-object-detection-api/README.md

🚧 Tensorflow Kurulumu

  • Tensorflow anaconda üzerinden daha sağlıklı, taşınabilir ve verimli çalışabilmekte

  • Anaconda'nın sanal ortamları, paketlerin çakışmasını engelleyecektir

  • Anaconda'nın Tensorflow'daki avantajı için buraya göz atabilirsin.

  • Bu kurulum CPU kurulumu olarak da geçmekte

  • GPU kurulumu CPU'ya nazaran oldukça hızlı eğitim seçeneği sağlar

  • GPU kurulumu için gereksinimleri sağlıyorsanız GPU kurulumu (tensorflow-gpu) yapmanız tavsiye edilir

Sanal Ortam Oluşturma ve Üzerine Kurma

conda create -n tensorflow tensorflow # CPU kurulumu
conda create -n tensorflow tensorflow-gpu # GPU kurulumu

Alttaki komut ile 'Hello, TensorFlow!' çıktısını almanız gerekmektedir.

🚧 Tensorflow Algılama Modellerinin Kurulumu

  • Algılama modelleri tabloma erişmek için buraya tıklayabilirsin

    • Resmi sitesi için buraya bakabilirsin

  • Video üzerinden açıklama için buraya bakabilirsin

Resmi açıklamalar models/research/object_detection/g3doc dizinindedir.

Tensorflow modellerini kullanabilmek için alttaki kurulumlara da ihtiyaç olabilmekte:

Modül bulunamaması gibi durumlarda lxml, protobuf paketlerini yüklemeyi deneyebilirsin.

🐧 Linux için OpenCv Kurulumu

GTK ve FFMPEG hatasını engellemek için pip ile kurulum yapın

🍱 Script Dosyaları için Gerekli Modüller

Alttaki talimatler ve komutlar yardımıyla tensorflow modellerini kurun:

  • Modelleri indirmek için buraya tıklayabilirsin

  • İstersen buraya tıklayarak github linkine erişebilirsin

  • İndirdiğiniz dosyanın içindekileri models dizinine koymanız gerekmektedir.

Models Klasörü Yapısı

Protobuf dosyaları (.proto uzantılı olan dosyalar) python kodlanı oluşturmak için kullanılan dosyalardır. TensorFlow/models/research/ dizininde

Windows:

Linux:

Protobuflarların işlenmesiyle .py uzantılı dosyalar oluşacaktır

Eğer daha önceden tanımlı PYTHONPATH ortam değişkeniniz yoksa ilk olan, varsa ikinci olan komutu kullanın.

💫 Anaconda Ortamı için Otomatik Tanımlama

  • Her conda activate <ortam_ismi> komutu yazıldığında ortamlar dahil edilir

  • Her conda deactivate yazıldığında ortamlar kaldırılır

🎇 Windows için Otomatik Tanımlama

🐧 Linux için Otomatik Tanımlama

Resmi kaynak için buraya bakabilirsin.

  • <conda_ortamı_yolu> Conda ortamının kurulduğu yol

    • Örn: %USERPROFILE%\Anaconda3\envs\tensorflow-cpu

Jupyter notebook ile API'ları test etmemiz gerekmekte.

Jupyter notebook hakkında bilgi sahibi değilsen buraya tıklayarak ne yapman gerektiğini öğrenebilirsin.

💷 LabelImg Kurulumu

  • LabelImg tensorflow modelleri için etiketleme amaçlı kullanılmaktadır

  • Derlenmiş sürümünü indirmek için buraya tıklayabilirsin

  • Derlenmiş sürümü çalışmazsa alttaki yönerge ile derleyebilirsin

İndirilen dosyayı %TENSORFLOW%\addons dizinine atmanız daha verimli bir çalışma sağlayacaktır.

Tensorflow ortamının alt paketlerini etkilememsi için ek bir sanal ortamda kurulum sağlamalıyız.

Paketlerin kurulumu için alttaki talimatları sırayla uygulayın:

  • LabelImg dosyalarını indirmek için buraya tıklayın

  • Diğer işlemler için indirdiğiniz dosya dizininde cmd açıp alttaki komutları yazın

'pyrcc5' is not recognized as an internal or external command hatası gelirse, yüklediğiniz pyqt sürümüne göre komutu kullanın (pyrcc<pyqt_sürümü_ilk_basamağı>)

📂 Dizin Yapısını Oluşturma

🌃 Tensorflow Dizininizi Geçici Ortam Değişkenlerine Ekleme

Alttaki komut yardımıyla açık olan cmd ekranına ortam değişkeni tanımlayabilirsiniz.

  • <dizin_yolu> Tensorflow'u kurmak istediğiniz dizin

    • Örn: "C:\Tensorflow"

  • Bilgisayarıma sağ tıklayın Ayarlar kısmına girin

  • Sol alanda Gelişmiş Sistem Ayarları'na tıklayın

  • Açılan ekranda Ortam Değişkenleri butonuna tıklayın

  • Üst kısımdaki kullanıcı değişkenleri alanında Yeni butonuna tıklayın

  • Değişken ismine: Tensorflow Değerine: 'dizin yolunuzu' yazın

🧱 Temel Klasörlerin Oluşturulması

İlerideki yapı için bu dizinin yolu %TENSORFLOW% olarak ifade edilecektir.

Dizin
Açıklama

addons

LabelImg vs.

docs

Dökümanlar

models

Tensorflow Models dosyası

scripts

Kullanacağınız ortak kod parçaları

workspace

Çalışma Alanı

Dizin
Açıklama

data

Eğitime katılacak verileri (eval.record, train.record, label_map) içeririr.

model

Eğitilecek modellerin dosyalarını içerir.

Dosya
Açıklama

label_map.pbtxt

Etiket haritası dosyası

eval.record

Test için kullanılacak tensorflow kayıtları (TF record)

train.record

Eğitim için kullanılacak tensorflow kayıtları (TF record)

Her bir model için ayrı dizinler oluşturulur.

İsim
Tipi
Açıklama

eval

Dizin

Test sonuçları burada tutulur.

train

Dizin

Eğitim çıktıları burada tutulur

.config

Dosya

Yapılandırma dosyası

👨‍🏫 Özelleştirilmiş Tensorflow Obje Algılayıcısı Eğitme

Özelleştirilmiş model eğitmek için alttakilerin yapılmış olması gerekmektedir:

Etiketleme işlemini labelImg üzerinden yapmaktayız.

👨‍💻 Derlenmiş LabelImg

İndirdiğiniz dizindeki labelimg.exe dosyasını çalıştırmanız yeterlidir.

🐍 Python ile LabelImg

İşlemleri Anconda Prompt ile işlemler yapmalıyız.

👨‍🔧 Etiket Yollarını veya Adlarını Düzenleme

XML ve resim dosyalarını başka bir yolda oluşturduyasan alttaki script yardımıyla düzeltebilirsin

  • Script dosyasını buraya tıklayarak indirmeli ve gerekli dizine alttaki komutla koymalıyız

  • Komutları Anaconda Prompt üzerinden tensorflow ortamını aktif ederek uygulamayı unutmayın.

LabelImg kullanımı için bu videoya bakabilirsin.

  • Alttaki komutla açılan dizinde .pbtxt uzantılı etiket haritası dosyasısı oluşturun

  • Örnek dosya yapısı komutların altındadır.

  • cat ve dog etiket isimleridir

  • Resim verileri toplanır veya çekilir.

  • Toplanan resimler labelimg yardımıyla etiketlenir ve .xml uzantılı dosyaları oluşturulur.

  • images dizinine resimler ve onlara ait xml dosyaları %80'i train %20'i eval olacak şekilde klasörlere ayrılarak yerleştirilir.

  • scripts/preprocessing dizindeki xml_path_regulator.py scripti aracılığıyla xml ve resimlerde yol sorunları düzeltilir, veriler yeniden adlandırılır.

  • scripts/preprocessing dizindeki xml_to_csv.py scripti aracılığıyla veriler .csv uzantılı tablosal bir dosyaya dönüştürülür.

  • Oluşturulan csv dosyasında resimlerin etiketlerine göre sayıları tablo olarak gösterilir. (Excel yardımıyla)

  • Verilerde denge durumunun (her veriden yaklaşık olarak aynı sayıda varsa) kontrolü yapılır.

  • Her çeşit veri için bir id belirtilecek şekilde label_map.pbtxt adlı etiket haritası oluşturulur

  • Oluşturulan csv, etiket haritası ve resim verileri scripts/preprocessing dizindeki generate_tfrecord.py scripti aracılığıyla veriler .record uzantılı kayıtlara dönüştürülür.

  • Seçilen modele özgü yapılandırma dosyası indirilir.

  • Yapılandırma dosyası olan *.config dosyasındaki PATH_TO_CONFIGURED olarak işaretlenen alanlar, num_classes, num_examples ve batch_size değerleri güncellenir.

    • num_examples eval dizindeki resim sayısıdır (toplam class sayısı değil)

Resimlerdeki Hataları Bulma

Resimlerde hata olduğu zaman eğitim aşamasında tensorflow modeli çalışma hatası vermektedir. Resimleri kontrol etmek için buradaki scripti alttaki komutlarla kullanabilirsiniz.

Verileri Yeniden Adlandırma ve XML Hatalarını Düzeltme

LabelImg ile etiketlediğiniz resimleri farklı bir dizine taşımanız durumunda XML dosyalarındaki yollar uyuşmayacaktır. XML dosya yollarını düzeltmek, etiketsiz resimleri görüntülemek için buradaki script dosyamı alttaki komutlar ile kullanabilirsiniz.

Etiketlenmemiş Resimleri Bulma

Etiketlenmemiş resimleri buradaki script dosyası ile alttaki komutlar ile kullanabilirsiniz.

Eğer XML scriptini kullandıysanız bu kontrolü yapmanıza gerek yoktur, XML scripti bunu zaten yapmaktadır.

XML'i CSV'ye Çevirme

XML dosyalarını CSV dosyasında toparlamak için buradaki scripti alttaki komutlar ile kullanabilirsin.

Komutları Anaconda Prompt üzerinden tensorflow ortamını aktif ederek uygulamayı unutmayın.

CSV'lerden Resim Bilgilerini Analiz Etme

Her bir etiketten kaç tane olduğunu anlamak için csv dosyalarını açıp alltaki yöntemi uygulayın.

  • class hücresiinin bir altındaki hücreyi seçin

  • ctrl + shift + aşağı ok ile tüm sınıf verilerini seçin

  • Sağ alttaki butona tıklayın

  • Tables sekmesine gelin

  • Açılan sekmede Pivot Table butonuna tıklayın

  • Tablo'dan etiketlenen verileri kontrol edin

  • Fazladan etiketlenmiş verilerin ismini bulup, filename, width vs. verilerin yazıldığı alanda CTRL + F komutu ile aratıp, uygun dosya ismini ve xml dosyasını silin

CSV'yi Record'a Çevirme

CSV dosyalarını TF kayıtlarına çevirmek için buradaki scripti alttaki komutlar ile kullanabilirsin.

Komutları Anaconda Prompt üzerinden tensorflow ortamını aktif ederek uygulamayı unutmayın.

  • Tensorflow'un resmi açıklaması için buraya tıklayabilirisin

Medellin İndirilmesi ve Gerekli Yere Taşınması

  • Tensorflow önceden eğitilmiş modelleri indirmek için buraya tıklayabilirsin

  • .tar.gz uzantılı olacağı için winrar ya da 7zip gibi ek uygulamalarla buraya çıkart demen gerekmekte

    • Klasör'e çıkart değil buraya çıkart diyeceksiniz.

  • <model_ismi> Seçip, indirdiğiniz .tar.gz uzantılı dosyanın adı

    • TAB tuşu ile dizindeki dosya adlarını tamamlayabilirsiniz

    • *.tar.gz uzantısı yazılmayacak

    • Örn: ssd_inception_v2_coco_2018_01_28

    • Örn: ssd_mobilenet_v1_ppn_shared_box_predictor_300x300_coco14_sync_2018_07_03

Modellin Yapılandırma Dosyaları

Seçtiğiniz modelin *.config dosyasını example_detection/training klasörü altına kopyalamanız gerekmekte.

  • <model_ismi> Seçip, indirdiğiniz .tar.gz uzantılı dosyanın adı

    • TAB tuşu ile dizindeki dosya adlarını tamamlayabilirsiniz

    • *.tar.gz uzantısı yazılmayacak

    • Tarih son ekini içermemeli

      • *_2018_07_03.tar.gz ise *.tar.gz olarak yazılmalı

    • Örn: ssd_inception_v2

    • Örn: ssd_mobilenet_v1_ppn_shared_box_predictor_300x300_coco14_sync

Modelin Yapılandırma Dosyasını Düzenleme

Yapılandırma örnek dosyası için buraya bakabilirsin.

Düzenlenecek Satır
Açıklama
Örnek

num_classes

Etiket türü sayısı

2

batch_size

Toplu işleme boyutu

24

num_steps

Adım sayısı

2000

fine_tune_checkpoint

Eğitilmiş modelin yolu

"./pre_trained_model/model.ckpt"

label_map_path

Etiket haritası yolu

"./annotations/train.record"

input_path

Train dosyası yolu

"./annotations/train.record"

input_path

Test dosyası yolu

"./annotations/eval.record"

Modeli eğitmek için train.py script dosyasını kullanacağız.

Modeli önerilen dosya olan model_main.py ile eğitmek için buraya bakmalısın.

Eğitim Scriptlerini Çalışma Alanına Kopyalama

Çalışma ortamının düzgün ilerlemesi adına alttaki komut ile gerekli yere scripti kopyalayalım

Eğitimde Raporlanacak Seviyeyi Ayarlama (isteğe Bağlı)

Eğitimde uyarı ve bilgileri gizlemek için TF_CPP_MIN_LOG_LEVEL adlı ortam değişkeni oluşturup seviyesini tanımlıyoruz

Modeli train.py Dosyası ile Eğitime

# TODO Daha düzgün ve detaylı linkli bir yazı ekle

Eskimiş olan bir eğitim kodudur, model_main.py kod dosyası tensorflow tarafından önerilir.

  • <yapılandırma_dosyası> Modelimizin yapılandırma dosyasının tam adı

    • training klasörüne attığımız yapılandırma dosyaları

    • Örn: ssd_inception_v2_coco.config

Eğitime Başladığında Gelen Örnek Çıktı

Modeli model_main.py Dosyası ile Eğitme

Bu dosya ile eğitim önerilen eğitim şeklidir.

  • train.py ile eğitime nazaran, kaldığı yerden devam eder

    • 1000 adım yapıldıysa, ikinci eğitimi 1200 yaptığınızda 200 adım eğitir

    • train.py eğitiminde modelin sonucunun ayırılıp, sonuç üzerinden eğitim yapılması gerekir

Eğitim dosyaları arasında performans veya kalite farkı yoktur, kaynak için buraya bakabilirsin.

Eğitim için Gereksinimlerin Kurulması

Eğitim için pycocotools kurulumu gereklidir

Windows için PyCocoTools Kurulumu

Windows desteğiyle kurulum yapmak için alttaki komutu koşturun

Açıklama için buraya bakabilirsin.

Linux için Cocotools

Eğitimi Hazırlama ve Başlatma

Resmi kaynağa ulaşmak için buraya bakabilirsin.

  • model_main.py eğitim için önerilen dosyadır

  • Varsayılan olarak ekrana raporlama yapmaz, yapmasını isterseniz buraya bakabilirsiniz

Eğitimi Etkileyen Faktörler

Training times can be affected by a number of factors such as:

  • The computational power of you hardware (either CPU or GPU): Obviously, the more powerful your PC is, the faster the training process.

  • Whether you are using the TensorFlow CPU or GPU variant: In general, even when compared to the best CPUs, almost any GPU graphics card will yield much faster training and detection speeds. As a matter of fact, when I first started I was running TensorFlow on my Intel i7-5930k (6/12 cores @ 4GHz, 32GB RAM) and was getting step times of around 12 sec/step, after which I installed TensorFlow GPU and training the very same model -using the same dataset and config files- on a EVGA GTX-770 (1536 CUDA-cores @ 1GHz, 2GB VRAM) I was down to 0.9 sec/step!!! A 12-fold increase in speed, using a “low/mid-end” graphics card, when compared to a “mid/high-end” CPU.

  • How big the dataset is: The higher the number of images in your dataset, the longer it will take for the model to reach satisfactory levels of detection performance.

  • The complexity of the objects you are trying to detect: Obviously, if your objective is to track a black ball over a white background, the model will converge to satisfactory levels of detection pretty quickly. If on the other hand, for example, you wish to detect ships in ports, using Pan-Tilt-Zoom cameras, then training will be a much more challenging and time-consuming process, due to the high variability of the shape and size of ships, combined with a highly dynamic background.

  • And many, many, many, more. . . .

Eğitim İşlemini TensorBoard Kullanarak Takip Etme

Anaconda Prompt üzerinden alttaki komutlar uygulanır:

Alttaki gibi bir çıktı gelmesi gerekmekte:

Çıktıyı görüntülemek için verilen url'i tarayıcına kopyalaman yeterlidir.

Sonuç Grafiğini Dışarı Aktarma

Anaconda Prompt üzerinden alttaki komutlar uygulanır:

  • <yapılandırma_dosyası> Modelimizin yapılandırma dosyasının tam adı

    • training klasörüne attığımız yapılandırma dosyaları

    • Örn: ssd_inception_v2_coco.config

  • <checkpoint> example_detection/training dizinindeki gösterilmek istenen adımın numarası

    • Örn: 13302

🌠 Colab Üzerinden Tensorflow Modelini Eğitme

Colab ücretsiz GPU sunduğu için çok hızlı bir eğitim imkanı sunar.

📂 Colab Eğitimi için Gereken Dosyalar

  • label_map.pbtxt

  • eval.record

  • train.record

  • *.config

  • model_main.py (eskisi: train.py)

  • export_inference_graph.py

👩‍💻 Colab Üzerinden Eğitim Kodları

Son güncelleme

Bu yararlı oldu mu?