Veri kalitesi ve ana veri
Güvenli Toplu Veri Aktarımı
2,6 milyon ürün kaydını canlı veritabanına üç kuralla aktardım: sadece boş alanları doldur, asla silme, belirsiz hiçbir şeyi yazma.
Veri mühendisi
Temmuz–Ağustos 2026
Rakamlarla
- ürün kaydı ve 56.744 müşteri ilişkisi
- 2.627.085
- ürün kaydı ve 56.744 müşteri ilişkisi
- silinen kayıt
- 0
- silinen kayıt
- belirsiz eşleşme incelemeye ayrıldı
- ~23 bin
- belirsiz eşleşme incelemeye ayrıldı
- tedarikçide doluluk denetimi
- 961.514
- tedarikçide doluluk denetimi
Durum
Web arşivinden çıkan ürün, sertifika ve müşteri bilgisinin canlı tedarikçi veritabanına girmesi gerekiyordu. 496 bin domain'den gelen veri önce mevcut tedarikçilerle eşleştirilmeliydi. Canlı veride tek bir hata, alıcıların baktığı profilleri bozardı.
Yaptıklarım
- 1
Bir kez çöz, her yerde kullan
496 bin domain'in her birinin hangi tedarikçiye ait olduğunu, sonraki bütün adımların kullandığı tek bir eşleştirme tablosunda çözdüm; eşleştirme mantığı tek yerde kaldı. Hiçbir şey yazmadan önce bir kuru çalıştırma neyin nereye yazılacağını raporladı.
- 2
Üç kural
Üzerine yazma: sadece boş alanları doldur (175.893 alan dolduruldu). Silme: eskimiş kayıtları pasifleştir, geri dönülebilsin (7.484 kayıt). Tahmin etme: bir domain birden fazla şirkete, pasif bir şirkete ya da hiçbirine uymuyorsa yazma, incelemeye ayır. Kataloğumuzla eşleşen sertifikalar doğrudan yazıldı (9.422), bilinmeyenler incelenmek üzere işaretlendi (6.423).
- 3
Temizlikte de aynı kurallar
961.514 tedarikçide alan doluluğunu ölçtüm ve spam temizliğini aynı yöntemle yaptım: 13 bin aday SQL ile bulundu, Bedrock ile doğrulandı, 1.056 kayıt tek satır silinmeden pasifleştirildi.
Sonuç
2,6 milyon ürün kaydı ve 57 bin müşteri ilişkisi tek bir satır silinmeden canlıya alındı. Belirsiz 23 bin eşleşme hiç yazılmadı, inceleme listesinde bekliyor.
Ne öğrendim
Toplu işte geri alınabilirlik hızdan önemli. "Silme, pasifleştir" kuralı birçok olası hatayı zararsız hale getirdi.
Stack
- Python
- PostgreSQL
- Bedrock