Model Metodolojisi, Doğrulama Sonuçları ve Sınırlar
Bu sayfa sistemin sonucu nasıl ürettiğini, ölçülen doğruluğunu ve nerede güvenilmemesi gerektiğini belgeler. Cinsiyet kullanıcıdan hiçbir zaman istenmez; görüntüden çıkarılan bir tahmindir.
Tıbbi içerik sorumlusu: Dr. Öğr. Üyesi Mehmet Ali Gedik — Radyoloji Uzmanı, Kütahya Şehir Hastanesi
Model mimarisi: Doç. Dr. Cüneyt Özdemir — Model mimarisi ve derin öğrenme, Siirt Üniversitesi
Son gözden geçirme:
1. Yönlendirme (önce kullanıcı, yedekte model)
18 yaş altı/üstü dalı hangi uzman modelin çalışacağını ve sonucun hangi birimde verileceğini belirlediğinden, karar önce kullanıcıya sorulur: kullanıcının beyanı bağlayıcıdır. Kullanıcı yanıt vermezse ayrı bir kapı modeli grafiyi 18 yaş altı/üstü olarak sınıflandırır (eşik: 216 ay) ve yönlendirme buna göre yapılır. Kapı modeli güvenilirdir ancak eşiğe yakın yaşlarda yanılabilir — beyanın öncelikli olmasının nedeni budur.
- Minör uzmanı: kemik yaşını ay cinsinden verir. İki bağımsız sistem paralel çalışır; her birinde kaba bir yönlendirici önce yaklaşık bir tahmin yapar, sonra o tahmini kapsayan yaş-bandı uzmanı nihai değeri üretir (böl ve yönet). İki sistemin çıktısı birleştirilir.
- Yetişkin uzmanı: yaşı yıl cinsinden, tek bir hibrit modelle verir.
2. Mimari
Çok görevli evrişimsel ağlar (EfficientNet-B3 ve ConvNeXt V2-Tiny omurgaları, 512 px girdi; kapı modelinde 384 px). Yaş tek bir sayı yerine olasılık dağılımı olarak öğrenilir ve tahmin bu dağılımın beklenen değeridir. Çıktıyı kararlı kılmak için yatay çevirmeli test-anı artırma uygulanır. Modellerin tamamı yalnızca-görüntü çalışır: çıkarıma hiçbir klinik veri, hasta kimliği veya kullanıcıdan alınan cinsiyet bilgisi girmez. Mimari, Doç. Dr. Cüneyt Özdemir (Siirt Üniversitesi) ile Dr. Öğr. Üyesi Mehmet Ali Gedik (Kütahya Şehir Hastanesi) tarafından tasarlanmıştır; aynı veri setiyle daha önce yürüttüğümüz ve aşağıda Yayınlar başlığında listelenen hakemli çalışmaların üzerine kurulur.
3. Görüntü ön-işleme
Modeller 512 px'lik kare bir girdi bekler; gerçek yüklemeler ise çoğu zaman telefon ekran görüntüsü, dikey çekilmiş veya kenarlarında görüntüleyici arayüz yazıları bulunan dosyalardır. Bu nedenle çıkarımdan önce üç adım uygulanır:
- Ekran görüntüsü temizliği: görüntüleyici uygulamaya ait çerçeve, menü ve yazı alanları algılanıp atılır; modele yalnızca grafinin kendisi ulaşır.
- Yön normalizasyonu: dikey yüklenmiş veya yan dönmüş grafi, parmaklar yukarı bakacak şekilde döndürülür; eğitim verisinin yönüyle eşleşir.
- El bileği koruma: kırpma, karpal kemikleri ve distal radius/ulna'yı kesmeyecek biçimde sınırlanır; bu bölgeler kemik yaşı için en bilgilendirici alanlardır.
Modele gerçekten giren görüntü sonuç ekranındaki 'Modelin gördüğü' sekmesinde gösterilir; bir adım tamamlanamadığında (ekran görüntüsü algılandı, düşük çözünürlük, el bileği görünmüyor) kalite uyarısı verilir. Bu adımların devreye alınmasıyla gönüllü geri bildirim setinde ortalama hata 119 aydan 55 aya düştü; set küçük ve kendini seçmiş olduğundan bu sayı bir doğruluk iddiası değil, eğilim göstergesidir.
4. Açıklanabilirlik ve belirsizlik
Tek başına bir sayı denetlenemez. Bu yüzden her sonuçla birlikte modelin davranışını görünür kılan iki ek çıktı verilir — ve bunların ne anlama gelmediği de açıkça belirtilir.
- Isı haritası (Grad-CAM). Her sonuç için son evrişim katmanından bir Grad-CAM haritası üretilir; harita çıktıya en çok katkı veren bölgeleri vurgular. Modelin nereye baktığını gösterir, neden doğru olduğunu değil. Beklenen bölgeler (karpal kemikler, epifizler) dışında — etiket, kenar veya alçı üzerinde — yoğunlaşan aktivasyon, tahminin güvenilmez olabileceğine işarettir.
- Olası aralık (%10–90 yüzdelik). Yaş bir etiket dağılımı (DLDL) olarak öğrenildiğinden, bu dağılımın %10 ve %90 yüzdelikleri olası aralık olarak raporlanır. İki minör alt sistem uyuşmadığında aralık, iki tahmini de kapsayacak şekilde genişletilir. Geniş aralık modelin o görüntüde kararsız kaldığını gösterir.
- Sınırlamalar. Aralık modelin kendi belirsizliğidir; istatistiksel güven aralığı veya klinik hata payı değildir. Dar bir aralık sonucun doğru olduğunu garanti etmez: model sistematik olarak yanılıyorsa (atipik anatomi, hiç görmediği bir artefakt) aralık yanlış yerde dar olabilir. Klinik açıdan hata payı olarak bant uzmanlarının MAE'si (7–11 ay) esas alınmalıdır; ısı haritası ise kanıt değil, makullük kontrolüdür.
5. İç doğrulama sonuçları
Her modelin kendi doğrulama skoru; eğitilmiş model dosyalarından doğrudan okunmuştur. MAE = ortalama mutlak hata.
| Model | Omurga | Girdi | Skor | Cinsiyet doğr. |
|---|---|---|---|---|
| Kapı (18 alt/üst) | ConvNeXt V2-T | 384 px | AUC 0,994 · doğruluk %96,3 | %92,3 |
| Minör — kaba yönlendirici | EfficientNet-B3 | 512 px | MAE 11,0 ay | %87,1 |
| Minör — bant A (io) | EfficientNet-B3 | 512 px | MAE 8,0 ay | %65,1 |
| Minör — bant B (io) | EfficientNet-B3 | 512 px | MAE 11,1 ay | %80,9 |
| Minör — bant C (io) | EfficientNet-B3 | 512 px | MAE 10,1 ay | %90,4 |
| Minör — 2. sistem yönlendirici | ConvNeXt V2-T | 512 px | MAE 10,4 ay | %86,9 |
| Minör — bant A (cnx) | ConvNeXt V2-T | 512 px | MAE 6,9 ay | %76,4 |
| Minör — bant B (cnx) | ConvNeXt V2-T | 512 px | MAE 10,0 ay | %80,9 |
| Minör — bant C (cnx) | ConvNeXt V2-T | 512 px | MAE 9,4 ay | %86,3 |
| Yetişkin | EfficientNet-B3 | 512 px | MAE 3,9 yıl | %94,3 |
Bu tablo nasıl okunmalı
- Bunlar iç doğrulama bölmesinde model başına alınmış değerlerdir. Tüm akışın doğruluğu DEĞİLDİR: minör sonuç iki sistemin birleşiminden gelir, dolayısıyla hatası tek bir satırdan farklıdır.
- İç doğrulama bir modeli her zaman olduğundan iyi gösterir. Kendi hasta popülasyonunuzdaki gerçek performans farklı olacaktır ve klinik kullanımda esas alınması gereken tek sayı odur.
- Bazı bant uzmanlarının cinsiyet doğruluğunun düşük olması bir kusur değildir; bant uzmanı belirsiz kaldığında yönlendirici modelin cinsiyet çıktısı kullanılır.
6. Yetişkinde doğruluk neden düşük
Yetişkin modelinin hatası ay değil yıl mertebesindedir ve bu bir yazılım eksikliği değil fizyolojik bir sınırdır: el ve bilekteki büyüme plakları 18-19 yaş civarında kapanır, sonrasında grafide yaşı ayırt edecek sinyal neredeyse kalmaz. Hiçbir model, görüntüde bulunmayan bilgiyi geri getiremez. 18 yaş üstü çıktıyı kaba bir tahmin olarak değerlendirin ve hukuken belirleyici yaş tayini gerektiren durumlarda kullanmayın.
7. Geçerlilik alanı
Beklenen performans, eğitim ve doğrulama verisine benzeyen, doğru pozisyonlanmış PA el-bilek grafileri için geçerlidir. Atipik anatomi, iskelet displazileri, cerrahi materyal, alçı, ciddi artefakt, görüntüye gömülü yazılar, kırpılmış görüntüler veya hatalı pozisyonlama sonucu bozabilir — bazen tahminin yanlış olduğuna dair görünür hiçbir işaret olmadan.
8. Kullanım amacı
Bu bir klinik karar destek aracıdır; tanı cihazı değildir ve bu yönde bir düzenleyici onayı yoktur. Her sonuç, klinik bulgularla birlikte bir hekim veya radyoloji uzmanı tarafından değerlendirilmelidir. Kurumların rutin kullanıma almadan önce kendi örnekleriyle bir kabul testi yapmasını öneririz.
9. Sürekli ölçüm
Kullanıcılar analiz sonrasında hastanın gerçek yaşını bildirebiliyor. Bu bildirimler, gerçek kullanımdaki hatayı doğrulanmış değere karşı ölçmemizi sağlıyor; yeterli veri biriktikçe bu sayıları bu sayfada yayınlamayı planlıyoruz. Verinin gönüllü — dolayısıyla yanlı — olacağını hatırlatalım: mutlak değerden çok zaman içindeki eğilim anlam taşır.
Kaynaklar
Bu aracın otomatikleştirdiği iskelet olgunluğu değerlendirmesi kavramı aşağıdaki standart kaynaklara dayanır. Bunlar referans yöntemleri tanımlar; bu sistemin eğitim verisini değil.
- Greulich WW, Pyle SI. Radiographic Atlas of Skeletal Development of the Hand and Wrist. 2. baskı. Stanford University Press, 1959.
- Tanner JM, Healy MJR, Goldstein H, Cameron N. İskelet Olgunluğunun Değerlendirilmesi ve Erişkin Boy Tahmini (TW3 yöntemi). 3. baskı. WB Saunders, 2001.
- Halabi SS ve ark. RSNA Pediatrik Kemik Yaşı Makine Öğrenmesi Yarışması. Radiology, 2019;290(2):498-503.
Bu veri setiyle yayımladığımız çalışmalar
Bu sitedeki modeller Kütahya el-bilek grafisi veri setiyle geliştirilmiştir. Aşağıdaki hakemli çalışmalar ekibimiz tarafından aynı veri setiyle yürütülmüştür ve yukarıda anlatılan modelleme yaklaşımının temelini oluşturur.
- Özdemir C, Gedik MA, Kaya Y. Age Estimation from Left-Hand Radiographs with Deep Learning Methods. Traitement du Signal. 2021;38(6):1565-1574. doi:10.18280/ts.380601Kütahya'daki dört hastaneden toplanan el-bilek grafisi seti (KCRD) bu çalışmada tanıtıldı; değiştirilmiş InceptionV3 ile kemik yaşı tahmininde MAE 4,3 ay bildirildi.
- Özdemir C, Gedik MA, Küçüker H, Kaya Y. Gender Identification from Left Hand-Wrist X-ray Images with a Hybrid Deep Learning Method. Konya Mühendislik Bilimleri Dergisi. 2023;11(4):1118-1133. doi:10.36306/konjes.12941392-79 yaş aralığında 13.935 grafide, InceptionV3 ve DenseNet201'i birleştiren hibrit bir modelle görüntüden cinsiyet tahmini; bu sitedeki cinsiyet çıktısının dayandığı yaklaşımdır.
Metodolojiyle ilgili sorunuz mu var? Bize ulaşın · Ayrıca SSS sayfasına bakabilirsiniz.