Ferhat RudvanoğullarıVeri Mühendisi
← Tüm işler

Veri kalitesi ve ana veri

Güvenli Toplu Veri Aktarımı

2,6 milyon ürün kaydını canlı veritabanına üç kuralla aktardım: sadece boş alanları doldur, asla silme, belirsiz hiçbir şeyi yazma.

Veri mühendisi

Temmuz–Ağustos 2026

Rakamlarla

ürün kaydı ve 56.744 müşteri ilişkisi
2.627.085
ürün kaydı ve 56.744 müşteri ilişkisi
silinen kayıt
0
silinen kayıt
belirsiz eşleşme incelemeye ayrıldı
~23 bin
belirsiz eşleşme incelemeye ayrıldı
tedarikçide doluluk denetimi
961.514
tedarikçide doluluk denetimi

Durum

Web arşivinden çıkan ürün, sertifika ve müşteri bilgisinin canlı tedarikçi veritabanına girmesi gerekiyordu. 496 bin domain'den gelen veri önce mevcut tedarikçilerle eşleştirilmeliydi. Canlı veride tek bir hata, alıcıların baktığı profilleri bozardı.

Yaptıklarım

  1. 1

    Bir kez çöz, her yerde kullan

    496 bin domain'in her birinin hangi tedarikçiye ait olduğunu, sonraki bütün adımların kullandığı tek bir eşleştirme tablosunda çözdüm; eşleştirme mantığı tek yerde kaldı. Hiçbir şey yazmadan önce bir kuru çalıştırma neyin nereye yazılacağını raporladı.

  2. 2

    Üç kural

    Üzerine yazma: sadece boş alanları doldur (175.893 alan dolduruldu). Silme: eskimiş kayıtları pasifleştir, geri dönülebilsin (7.484 kayıt). Tahmin etme: bir domain birden fazla şirkete, pasif bir şirkete ya da hiçbirine uymuyorsa yazma, incelemeye ayır. Kataloğumuzla eşleşen sertifikalar doğrudan yazıldı (9.422), bilinmeyenler incelenmek üzere işaretlendi (6.423).

  3. 3

    Temizlikte de aynı kurallar

    961.514 tedarikçide alan doluluğunu ölçtüm ve spam temizliğini aynı yöntemle yaptım: 13 bin aday SQL ile bulundu, Bedrock ile doğrulandı, 1.056 kayıt tek satır silinmeden pasifleştirildi.

Sonuç

2,6 milyon ürün kaydı ve 57 bin müşteri ilişkisi tek bir satır silinmeden canlıya alındı. Belirsiz 23 bin eşleşme hiç yazılmadı, inceleme listesinde bekliyor.

Ne öğrendim

Toplu işte geri alınabilirlik hızdan önemli. "Silme, pasifleştir" kuralı birçok olası hatayı zararsız hale getirdi.

Stack

  • Python
  • PostgreSQL
  • Bedrock