Veri kalitesi ve ana veri
Adres Normalizasyonu
Adres başına ücretli AI çağrısını kendi sunucumuza kurduğum bir makine öğrenmesi modeliyle (libpostal) değiştirdim; hızı dakikada 100 adresten 15.000'in üstüne çıkardım.
Veri mühendisi, tek başıma
Nisan 2026
Rakamlarla
- adres/dakika
- 100 → 15.000+
- adres/dakika
- tahmini, 1,07 mn adres
- ~35 sa → ~1,5 sa
- tahmini, 1,07 mn adres
- her 1.000 kayıtta veritabanı komutu
- 1.000 → 3
- her 1.000 kayıtta veritabanı komutu
- adres başına model maliyeti
- 0 $
- adres başına model maliyeti
Durum
Tedarikçi adresleri "Industriestrasse 11, 63877 Sailauf, Bayern" gibi tek satırlık serbest metin olarak duruyordu. Sokak, şehir ve posta kodu ayrı alanlarda olmadığı için tedarikçileri şehre ya da bölgeye göre aramak mümkün değildi. Üstelik her adres, parçalarına ayrılması için ücretli bir AI servisine tek tek gönderiliyordu. 1 milyon adres için bu hem yavaş hem pahalıydı.
Yaptıklarım
- 1
Ücretli AI yerine kendi adres modelimiz
libpostal, dünyanın hemen her yerinden adresleri sokak, numara, şehir, posta kodu ve ülke gibi parçalara ayırmak için OpenStreetMap verisiyle eğitilmiş, açık kaynak bir makine öğrenmesi modeli. Kütüphaneyi derleyip eğitilmiş veri dosyalarını içine koyan bir Docker imajı yazdım (veri dosyaları birkaç GB; sadece derleme adımı 20–30 dakika sürüyor). Önüne küçük bir Node.js + Hono HTTP servisi koydum. Veritabanından adresleri okuyup servise gönderen, sonucu geri yazan ve bekleyen kayıt kalmayana kadar kendini tekrar çalıştıran bir ETL script'i yazdım. Adres başına maliyet sıfıra indi. Ama ilk çalıştırmada sistem dakikada sadece 100 adres işliyordu; bu hızla tamamı yaklaşık bir hafta sürecekti.
- 2
Paralel istekler, keyset okuma
Adresleri sırayla değil eşzamanlı göndermeye başladım ve veritabanından okumayı OFFSET yerine keyset pagination'a çevirdim; iş ilerledikçe yavaşlama bitti. Hız dakikada 500'e çıktı, yani 5 kat. Ama toplam süre hâlâ 35 saat civarındaydı.
- 3
İşlemcinin tamamını kullanmak
Sunucuyu izlerken 8 thread'in sadece birinin, o da %27 oranında çalıştığını fark ettim; tek bir model kopyası işlemciye neredeyse dokunmuyordu. Servisi önce 4, sonra 8 kopya çalıştırıp istekleri aralarında dağıttım. Tek kopyaya göre yaklaşık 4 kat hız geldi.
- 4
Asıl darboğaz: yazma
Model artık hızlıydı ama her sonuç hâlâ kendi UPDATE komutuyla yazılıyordu: 1.000 kayıt için 1.000 komut. Sonuçları bellekte toplayıp her partiyi tek seferde yazdım (geçici tablo + COPY, ardından tek bir toplu güncelleme); 1.000 komut 3'e indi.
Sonuç
Hız dakikada 100 adresten 15.000'in üstüne çıktı, yaklaşık 150 kat. 1 milyon adresin tahmini süresi 35 saatten 1,5 saatin altına indi, adres başına AI maliyeti ortadan kalktı ve tedarikçiler şehir, bölge ve posta koduna göre aranabilir hale geldi.
Nasıl çalışıyor
PostgreSQL
500'lük partiler, keyset pagination ile okunuyor
ETL script'i (TypeScript)
Aynı anda 50 istek
libpostal API × 8
Docker, Node.js + Hono, CPU thread'i başına bir kopya
Sonuçlar bellekte toplanıyor
Geçici tabloya COPY, ardından tek toplu UPDATE
PostgreSQL
Sokak, numara, şehir, posta kodu ve ülke ayrı kolonlarda
Ne öğrendim
Her düzeltmede darboğaz yer değiştirdi: önce maliyet, sonra sıralı istekler, sonra işlemci, en son veritabanı. Tahmin etmek yerine her adımda ölçmek doğru yeri gösterdi.
Stack
- libpostal
- Docker
- Node.js + Hono
- TypeScript (Bun)
- PostgreSQL