Ferhat RudvanoğullarıVeri Mühendisi
← Tüm işler

Açık kaynak

Şirket Kaydı Tekilleştirme

477.600 şirket kaydında aynı şirketin kopyalarını bulmak için beş farklı yaklaşım denedim ve her birinin neden bırakıldığını yazdım.

Kişisel açık kaynak proje

2026

Rakamlarla

ham kayıt, tüm pipeline ~8 dakikada
477.600
ham kayıt, tüm pipeline ~8 dakikada
ilk ayıklamada aday eşleşme
1,1 milyon
ilk ayıklamada aday eşleşme
farklı isim yazımı → ana şirket
1.166 → 142
farklı isim yazımı → ana şirket
şirketin resmi web sitesi bulundu
%80+
şirketin resmi web sitesi bulundu

Durum

Farklı kaynaklardan gelen şirket verisinde aynı şirket onlarca farklı yazımla duruyordu: "Bosch GmbH", "GmbH Bosch", "Robert Bosch Ltd." Kayıtları birleştirmeden doğru bir şirket listesi çıkarmak mümkün değildi.

Yaptıklarım

  1. 1

    Kurallar (Splink)

    Şirket verisinde o kadar çok istisna vardı ki kuralları elle ayarlamak imkânsız hale geldi.

  2. 2

    Kaba kuvvet (DuckDB)

    Her kaydı her kayıtla karşılaştırmak 477 bin kayıtta karesel büyüdü ve belleği bitirdi.

  3. 3

    Vektör arama (FAISS)

    İsimleri 384 boyutlu vektörlere çevirip benzerlerini aradım. Hızlıydı ama Apple M serisi işlemcide kararsız çalışıp çöktü.

  4. 4

    Mekânsal ağaç (BallTree)

    Aynı vektörleri bir ağaç yapısında aradım. İlk ayıklamada 1,1 milyon aday eşleşme buldu.

  5. 5

    Akıllı kümeleme (PolyFuzz + RapidFuzz)

    Kelime sırasını önemsemeyen bir karşılaştırma ("Bosch GmbH" = "GmbH Bosch") ve hukuki ekleri (GmbH, Ltd, Inc) temizleyen bir normalizasyonla son kümeleri oluşturdum. Sonra aynı resmi web sitesini paylaşan kayıtları da birleştirdim.

Sonuç

477.600 satırlık veri yaklaşık 8 dakikada işlenip 142 ana şirkette toplandı (1.166 farklı isim yazımı tekilleşti), şirketlerin %80'inden fazlasının resmi sitesi bulundu. Her yöntemin neden bırakıldığı README'de yazıyor.

Ne öğrendim

En iyi algoritma, eldeki donanımda ve veri boyutunda gerçekten bitebilen algoritma.

Stack

  • Python
  • DuckDB
  • Sentence-Transformers
  • FAISS
  • scikit-learn
  • PolyFuzz
  • RapidFuzz
GitHub'da kod