Açık kaynak
Şirket Kaydı Tekilleştirme
477.600 şirket kaydında aynı şirketin kopyalarını bulmak için beş farklı yaklaşım denedim ve her birinin neden bırakıldığını yazdım.
Kişisel açık kaynak proje
2026
Rakamlarla
- ham kayıt, tüm pipeline ~8 dakikada
- 477.600
- ham kayıt, tüm pipeline ~8 dakikada
- ilk ayıklamada aday eşleşme
- 1,1 milyon
- ilk ayıklamada aday eşleşme
- farklı isim yazımı → ana şirket
- 1.166 → 142
- farklı isim yazımı → ana şirket
- şirketin resmi web sitesi bulundu
- %80+
- şirketin resmi web sitesi bulundu
Durum
Farklı kaynaklardan gelen şirket verisinde aynı şirket onlarca farklı yazımla duruyordu: "Bosch GmbH", "GmbH Bosch", "Robert Bosch Ltd." Kayıtları birleştirmeden doğru bir şirket listesi çıkarmak mümkün değildi.
Yaptıklarım
- 1
Kurallar (Splink)
Şirket verisinde o kadar çok istisna vardı ki kuralları elle ayarlamak imkânsız hale geldi.
- 2
Kaba kuvvet (DuckDB)
Her kaydı her kayıtla karşılaştırmak 477 bin kayıtta karesel büyüdü ve belleği bitirdi.
- 3
Vektör arama (FAISS)
İsimleri 384 boyutlu vektörlere çevirip benzerlerini aradım. Hızlıydı ama Apple M serisi işlemcide kararsız çalışıp çöktü.
- 4
Mekânsal ağaç (BallTree)
Aynı vektörleri bir ağaç yapısında aradım. İlk ayıklamada 1,1 milyon aday eşleşme buldu.
- 5
Akıllı kümeleme (PolyFuzz + RapidFuzz)
Kelime sırasını önemsemeyen bir karşılaştırma ("Bosch GmbH" = "GmbH Bosch") ve hukuki ekleri (GmbH, Ltd, Inc) temizleyen bir normalizasyonla son kümeleri oluşturdum. Sonra aynı resmi web sitesini paylaşan kayıtları da birleştirdim.
Sonuç
477.600 satırlık veri yaklaşık 8 dakikada işlenip 142 ana şirkette toplandı (1.166 farklı isim yazımı tekilleşti), şirketlerin %80'inden fazlasının resmi sitesi bulundu. Her yöntemin neden bırakıldığı README'de yazıyor.
Ne öğrendim
En iyi algoritma, eldeki donanımda ve veri boyutunda gerçekten bitebilen algoritma.
Stack
- Python
- DuckDB
- Sentence-Transformers
- FAISS
- scikit-learn
- PolyFuzz
- RapidFuzz