Veri kalitesi ve ana veri
Kayıt Eşleştirme ve Tekilleştirme
1,2 milyon kayıtta aynı şirketin kopyalarını, kesin web sitesi eşleşmesinden anlamsal benzerliğe uzanan katmanlarla buldum; belirsiz her şeyi insan onayına bıraktım.
Veri mühendisi, tek başıma
Nisan 2026
Rakamlarla
- şirket kaydı
- 1,2 milyon
- şirket kaydı
- test setinde ilk katmanda otomatik eşleşti
- %96
- test setinde ilk katmanda otomatik eşleşti
- ilk 10 bin kayıtta aynı siteyi paylaşıyordu
- 760
- ilk 10 bin kayıtta aynı siteyi paylaşıyordu
Durum
Aynı şirket farklı kaynaklardan gelen birçok kopyayla duruyordu: "Robert Bosch GmbH", "Bosch", "bosch.de". Alıcı aynı tedarikçiyi birkaç kez görüyor, bilgiler kopyalar arasında dağılıyordu.
Yaptıklarım
- 1
Veriyi eşleştirilebilir yapmak
Kayıtların ham verisi bir JSONB kolonunun içinde iç içe duruyordu. Eşleştirmede kullanılan alanları (domain, isim, ülke) ayrı ve indeksli kolonlara çıkardım; 1,2 milyon kayıt üzerinde karşılaştırmalar hızlı kaldı.
- 2
Kesinden belirsize üç katman
Aynı web sitesi aynı şirket demek, otomatik birleşir. Sonra PostgreSQL'in trigram eşleştirmesi isimleri üçer harflik parçalarla karşılaştırır: aynı ülkede %85'in üstünde benzerlik varsa birleşir, ülke farklıysa onaya gider. En son, yazılışı farklı ama anlamı aynı isimler vektörlerle karşılaştırılır ve her zaman onaya gider.
- 3
Yanıltan katmanı çıkarmak
Başta resmi şirket kimlik numaralarını en güvenilir katman olarak koymuştum. Eksik ve tutarsız çıkınca o katmanı tamamen kaldırdım.
- 4
Kalanı için bir onay ekranı
Emin olunamayan eşleşmeler domain'e göre gruplanmış bir onay ekranına düşüyor; bir kişi tek tıkla birleştiriyor ya da reddediyor.
Sonuç
Test setinde kayıtların %96'sı ilk katmanda otomatik eşleşti, 105 kayıt isim benzerliğiyle gruplandı, kalanlar onay kuyruğuna gitti.
Ne öğrendim
Otomatik birleştirmeyi geri almak zor. Kesin olanı otomatiğe, belirsizi insana bırakmak sistemi güvenilir tutuyor.
Stack
- PostgreSQL (pg_trgm, JSONB)
- Embeddings
- TypeScript
- React