Veri pipeline'ları
LLM ile Tedarikçi Profili Zenginleştirme
Ham tedarikçi sayfalarını kendi GPU sunucumuzda çalışan açık kaynak bir LLM ile yapılandırılmış profillere çevirdim ve işlem hızını iki katından fazla artırdım.
Veri mühendisi, tek başıma
Haziran 2026
Rakamlarla
- domain/sn, tek süreçte
- 2 → 4,8
- domain/sn, tek süreçte
- domain/sn, üç süreçle
- ~8
- domain/sn, üç süreçle
- pilot sayfaların hızlı akışta
- %98,9
- pilot sayfaların hızlı akışta
- domain için kurulan hat
- 537 bin
- domain için kurulan hat
Durum
Her tedarikçi için yedi kategoride ham sayfa metni vardı. Bunu alıcıların gerçekten sorduğu sorulara (bu şirket ne üretiyor, hangi sertifikaları var, nerede?) cevap veren düzenli kayıtlara çevirmek gerekiyordu. Yarım milyon şirketin metnini ücretli bir API'ye göndermek hem pahalı olacaktı hem de veriyi dışarı çıkaracaktı.
Yaptıklarım
- 1
Kendi modelimizi çalıştırmak
Google Cloud'da tek A100 ekran kartlı bir sunucu açıp üzerine SGLang kurdum. SGLang, açık kaynak modelleri yüksek hızda çalıştıran bir sunucu: ortak prompt başlangıçlarını önbelleğe alıyor ve çıktıyı bir JSON şemasına uymaya zorlayabiliyor. Belleği yarıya indiren FP8 sürümüyle Qwen3-8B kullandım ve modelin uzun "düşünme" adımını kapattım.
- 2
Modelin alanları boş bırakmasını engellemek
İlk pilotta şema alanları isteğe bağlıydı ve model kolaya kaçıp çoğunu boş bıraktı. Bütün alanları zorunlu yaptım, cevap gerçekten yoksa "Unknown" yazmasını istedim. SGLang şemayı zorladığı için boş alan sorunu tamamen bitti.
- 3
Paketler yerine kuyruk
İlk sürüm işleri paketler halinde gönderip her paketin bitmesini bekliyordu: saniyede 2 domain. Bunu bir kuyruk üzerine yeniden kurdum. Bir süreç veritabanından sürekli iş çekiyor, 96 asenkron işçi boşaldıkça kuyruktan iş alıyor; GPU hiç boşta kalmıyor. Hız saniyede 4,8 domain'e çıktı, GPU kullanımı %100'e oturdu.
- 4
Dev siteleri sona bırakmak
35 bin karakterden uzun siteler GPU belleğini şişiriyordu. Onları ilk turda atlayıp sonradan ayrı ve daha yavaş bir turda işledim.
- 5
Toplu ve canlıdan uzak yazmak
Sonuçları tek tek değil, 250'lik paketlerle ve canlı tablolara değil ayrı bir ara tabloya yazdım.
Sonuç
Tek süreçte hız saniyede 2 domain'den 4,8'e, üç paralel süreçle 8'e yakın çıktı. Pilotta IATF 16949, ISO 14001 ve TISAX gibi satın almada kritik sertifikalar doğru ayıklandı. Hızlandırmak için ek GPU kiralamayı planlamıştım ama üç bölgede de stok yoktu; elimizdeki kartın sonuna kadar kullandım.
Nasıl çalışıyor
PostgreSQL
Sınıflandırılmış sayfalar; bir producer sürekli iş çekiyor
asyncio kuyruğu → 96 işçi
Her işçi boşalır boşalmaz sıradaki işi alıyor
Tek A100 üzerinde SGLang
Qwen3-8B FP8, çıktı JSON şemasına zorlanıyor. 35 bin karakterden büyük sayfalar ayrı ve yavaş bir turu bekliyor
Ara tablo
250'lik paketler, canlı tablolara dokunulmuyor
Ne öğrendim
LLM'e serbestlik vermek kaliteyi düşürüyor, şemayı sıkılaştırmak düzeltiyor. Donanım da her zaman kiralanamıyor; önce elindekini sonuna kadar kullan.
Stack
- SGLang
- Qwen3-8B (FP8)
- GCP · NVIDIA A100
- Docker
- Python asyncio
- PostgreSQL