Ferhat RudvanoğullarıVeri Mühendisi
← Tüm işler

Veri kalitesi ve ana veri

Adres Normalizasyonu

Adres başına ücretli AI çağrısını kendi sunucumuza kurduğum bir makine öğrenmesi modeliyle (libpostal) değiştirdim; hızı dakikada 100 adresten 15.000'in üstüne çıkardım.

Veri mühendisi, tek başıma

Nisan 2026

Rakamlarla

adres/dakika
100 → 15.000+
adres/dakika
tahmini, 1,07 mn adres
~35 sa → ~1,5 sa
tahmini, 1,07 mn adres
her 1.000 kayıtta veritabanı komutu
1.000 → 3
her 1.000 kayıtta veritabanı komutu
adres başına model maliyeti
0 $
adres başına model maliyeti

Durum

Tedarikçi adresleri "Industriestrasse 11, 63877 Sailauf, Bayern" gibi tek satırlık serbest metin olarak duruyordu. Sokak, şehir ve posta kodu ayrı alanlarda olmadığı için tedarikçileri şehre ya da bölgeye göre aramak mümkün değildi. Üstelik her adres, parçalarına ayrılması için ücretli bir AI servisine tek tek gönderiliyordu. 1 milyon adres için bu hem yavaş hem pahalıydı.

Yaptıklarım

  1. 1

    Ücretli AI yerine kendi adres modelimiz

    libpostal, dünyanın hemen her yerinden adresleri sokak, numara, şehir, posta kodu ve ülke gibi parçalara ayırmak için OpenStreetMap verisiyle eğitilmiş, açık kaynak bir makine öğrenmesi modeli. Kütüphaneyi derleyip eğitilmiş veri dosyalarını içine koyan bir Docker imajı yazdım (veri dosyaları birkaç GB; sadece derleme adımı 20–30 dakika sürüyor). Önüne küçük bir Node.js + Hono HTTP servisi koydum. Veritabanından adresleri okuyup servise gönderen, sonucu geri yazan ve bekleyen kayıt kalmayana kadar kendini tekrar çalıştıran bir ETL script'i yazdım. Adres başına maliyet sıfıra indi. Ama ilk çalıştırmada sistem dakikada sadece 100 adres işliyordu; bu hızla tamamı yaklaşık bir hafta sürecekti.

  2. 2

    Paralel istekler, keyset okuma

    Adresleri sırayla değil eşzamanlı göndermeye başladım ve veritabanından okumayı OFFSET yerine keyset pagination'a çevirdim; iş ilerledikçe yavaşlama bitti. Hız dakikada 500'e çıktı, yani 5 kat. Ama toplam süre hâlâ 35 saat civarındaydı.

  3. 3

    İşlemcinin tamamını kullanmak

    Sunucuyu izlerken 8 thread'in sadece birinin, o da %27 oranında çalıştığını fark ettim; tek bir model kopyası işlemciye neredeyse dokunmuyordu. Servisi önce 4, sonra 8 kopya çalıştırıp istekleri aralarında dağıttım. Tek kopyaya göre yaklaşık 4 kat hız geldi.

  4. 4

    Asıl darboğaz: yazma

    Model artık hızlıydı ama her sonuç hâlâ kendi UPDATE komutuyla yazılıyordu: 1.000 kayıt için 1.000 komut. Sonuçları bellekte toplayıp her partiyi tek seferde yazdım (geçici tablo + COPY, ardından tek bir toplu güncelleme); 1.000 komut 3'e indi.

Sonuç

Hız dakikada 100 adresten 15.000'in üstüne çıktı, yaklaşık 150 kat. 1 milyon adresin tahmini süresi 35 saatten 1,5 saatin altına indi, adres başına AI maliyeti ortadan kalktı ve tedarikçiler şehir, bölge ve posta koduna göre aranabilir hale geldi.

Nasıl çalışıyor

  1. PostgreSQL

    500'lük partiler, keyset pagination ile okunuyor

  2. ETL script'i (TypeScript)

    Aynı anda 50 istek

  3. libpostal API × 8

    Docker, Node.js + Hono, CPU thread'i başına bir kopya

  4. Sonuçlar bellekte toplanıyor

    Geçici tabloya COPY, ardından tek toplu UPDATE

  5. PostgreSQL

    Sokak, numara, şehir, posta kodu ve ülke ayrı kolonlarda

Ne öğrendim

Her düzeltmede darboğaz yer değiştirdi: önce maliyet, sonra sıralı istekler, sonra işlemci, en son veritabanı. Tahmin etmek yerine her adımda ölçmek doğru yeri gösterdi.

Stack

  • libpostal
  • Docker
  • Node.js + Hono
  • TypeScript (Bun)
  • PostgreSQL