Ferhat RudvanoğullarıVeri Mühendisi
← Tüm işler

Veri kalitesi ve ana veri

Kayıt Eşleştirme ve Tekilleştirme

1,2 milyon kayıtta aynı şirketin kopyalarını, kesin web sitesi eşleşmesinden anlamsal benzerliğe uzanan katmanlarla buldum; belirsiz her şeyi insan onayına bıraktım.

Veri mühendisi, tek başıma

Nisan 2026

Rakamlarla

şirket kaydı
1,2 milyon
şirket kaydı
test setinde ilk katmanda otomatik eşleşti
%96
test setinde ilk katmanda otomatik eşleşti
ilk 10 bin kayıtta aynı siteyi paylaşıyordu
760
ilk 10 bin kayıtta aynı siteyi paylaşıyordu

Durum

Aynı şirket farklı kaynaklardan gelen birçok kopyayla duruyordu: "Robert Bosch GmbH", "Bosch", "bosch.de". Alıcı aynı tedarikçiyi birkaç kez görüyor, bilgiler kopyalar arasında dağılıyordu.

Yaptıklarım

  1. 1

    Veriyi eşleştirilebilir yapmak

    Kayıtların ham verisi bir JSONB kolonunun içinde iç içe duruyordu. Eşleştirmede kullanılan alanları (domain, isim, ülke) ayrı ve indeksli kolonlara çıkardım; 1,2 milyon kayıt üzerinde karşılaştırmalar hızlı kaldı.

  2. 2

    Kesinden belirsize üç katman

    Aynı web sitesi aynı şirket demek, otomatik birleşir. Sonra PostgreSQL'in trigram eşleştirmesi isimleri üçer harflik parçalarla karşılaştırır: aynı ülkede %85'in üstünde benzerlik varsa birleşir, ülke farklıysa onaya gider. En son, yazılışı farklı ama anlamı aynı isimler vektörlerle karşılaştırılır ve her zaman onaya gider.

  3. 3

    Yanıltan katmanı çıkarmak

    Başta resmi şirket kimlik numaralarını en güvenilir katman olarak koymuştum. Eksik ve tutarsız çıkınca o katmanı tamamen kaldırdım.

  4. 4

    Kalanı için bir onay ekranı

    Emin olunamayan eşleşmeler domain'e göre gruplanmış bir onay ekranına düşüyor; bir kişi tek tıkla birleştiriyor ya da reddediyor.

Sonuç

Test setinde kayıtların %96'sı ilk katmanda otomatik eşleşti, 105 kayıt isim benzerliğiyle gruplandı, kalanlar onay kuyruğuna gitti.

Ne öğrendim

Otomatik birleştirmeyi geri almak zor. Kesin olanı otomatiğe, belirsizi insana bırakmak sistemi güvenilir tutuyor.

Stack

  • PostgreSQL (pg_trgm, JSONB)
  • Embeddings
  • TypeScript
  • React