Ferhat RudvanoğullarıVeri Mühendisi
← Tüm işler

Veri pipeline'ları

LLM ile Tedarikçi Profili Zenginleştirme

Ham tedarikçi sayfalarını kendi GPU sunucumuzda çalışan açık kaynak bir LLM ile yapılandırılmış profillere çevirdim ve işlem hızını iki katından fazla artırdım.

Veri mühendisi, tek başıma

Haziran 2026

Rakamlarla

domain/sn, tek süreçte
2 → 4,8
domain/sn, tek süreçte
domain/sn, üç süreçle
~8
domain/sn, üç süreçle
pilot sayfaların hızlı akışta
%98,9
pilot sayfaların hızlı akışta
domain için kurulan hat
537 bin
domain için kurulan hat

Durum

Her tedarikçi için yedi kategoride ham sayfa metni vardı. Bunu alıcıların gerçekten sorduğu sorulara (bu şirket ne üretiyor, hangi sertifikaları var, nerede?) cevap veren düzenli kayıtlara çevirmek gerekiyordu. Yarım milyon şirketin metnini ücretli bir API'ye göndermek hem pahalı olacaktı hem de veriyi dışarı çıkaracaktı.

Yaptıklarım

  1. 1

    Kendi modelimizi çalıştırmak

    Google Cloud'da tek A100 ekran kartlı bir sunucu açıp üzerine SGLang kurdum. SGLang, açık kaynak modelleri yüksek hızda çalıştıran bir sunucu: ortak prompt başlangıçlarını önbelleğe alıyor ve çıktıyı bir JSON şemasına uymaya zorlayabiliyor. Belleği yarıya indiren FP8 sürümüyle Qwen3-8B kullandım ve modelin uzun "düşünme" adımını kapattım.

  2. 2

    Modelin alanları boş bırakmasını engellemek

    İlk pilotta şema alanları isteğe bağlıydı ve model kolaya kaçıp çoğunu boş bıraktı. Bütün alanları zorunlu yaptım, cevap gerçekten yoksa "Unknown" yazmasını istedim. SGLang şemayı zorladığı için boş alan sorunu tamamen bitti.

  3. 3

    Paketler yerine kuyruk

    İlk sürüm işleri paketler halinde gönderip her paketin bitmesini bekliyordu: saniyede 2 domain. Bunu bir kuyruk üzerine yeniden kurdum. Bir süreç veritabanından sürekli iş çekiyor, 96 asenkron işçi boşaldıkça kuyruktan iş alıyor; GPU hiç boşta kalmıyor. Hız saniyede 4,8 domain'e çıktı, GPU kullanımı %100'e oturdu.

  4. 4

    Dev siteleri sona bırakmak

    35 bin karakterden uzun siteler GPU belleğini şişiriyordu. Onları ilk turda atlayıp sonradan ayrı ve daha yavaş bir turda işledim.

  5. 5

    Toplu ve canlıdan uzak yazmak

    Sonuçları tek tek değil, 250'lik paketlerle ve canlı tablolara değil ayrı bir ara tabloya yazdım.

Sonuç

Tek süreçte hız saniyede 2 domain'den 4,8'e, üç paralel süreçle 8'e yakın çıktı. Pilotta IATF 16949, ISO 14001 ve TISAX gibi satın almada kritik sertifikalar doğru ayıklandı. Hızlandırmak için ek GPU kiralamayı planlamıştım ama üç bölgede de stok yoktu; elimizdeki kartın sonuna kadar kullandım.

Nasıl çalışıyor

  1. PostgreSQL

    Sınıflandırılmış sayfalar; bir producer sürekli iş çekiyor

  2. asyncio kuyruğu → 96 işçi

    Her işçi boşalır boşalmaz sıradaki işi alıyor

  3. Tek A100 üzerinde SGLang

    Qwen3-8B FP8, çıktı JSON şemasına zorlanıyor. 35 bin karakterden büyük sayfalar ayrı ve yavaş bir turu bekliyor

  4. Ara tablo

    250'lik paketler, canlı tablolara dokunulmuyor

Ne öğrendim

LLM'e serbestlik vermek kaliteyi düşürüyor, şemayı sıkılaştırmak düzeltiyor. Donanım da her zaman kiralanamıyor; önce elindekini sonuna kadar kullan.

Stack

  • SGLang
  • Qwen3-8B (FP8)
  • GCP · NVIDIA A100
  • Docker
  • Python asyncio
  • PostgreSQL