Common Crawl arşivinde yarım milyon tedarikçinin sitesini bulup sayfalarını 25 dakikadan kısa sürede yedi kategoriye ayırdım.
- domain, 24 dk 43 sn'de
- 485.562
- domain, 24 dk 43 sn'de
- sayfa, 7 kategoride
- 1,08 milyon
- sayfa, 7 kategoride
Ham tedarikçi sayfalarını kendi GPU sunucumuzda çalışan açık kaynak bir LLM ile yapılandırılmış profillere çevirdim ve işlem hızını iki katından fazla artırdım.
- domain/sn, tek süreçte
- 2 → 4,8
- domain/sn, tek süreçte
- domain/sn, üç süreçle
- ~8
- domain/sn, üç süreçle
Adres başına ücretli AI çağrısını kendi sunucumuza kurduğum bir makine öğrenmesi modeliyle (libpostal) değiştirdim; hızı dakikada 100 adresten 15.000'in üstüne çıkardım.
- adres/dakika
- 100 → 15.000+
- adres/dakika
- tahmini, 1,07 mn adres
- ~35 sa → ~1,5 sa
- tahmini, 1,07 mn adres
Kurallarla yönetilen bir satınalma agent'ını, Cloud Run'da çalışan özel bir API'nin arkasında sabit bir akışa çevirdim: sonucu belli formatta, model çağrısı sınırlı, her iddianın kanıtı var.
- şirket başına çağrı
- ≤ 2
- şirket başına çağrı
- token sınırı, giriş/çıkış
- 32 bin / 8 bin
- token sınırı, giriş/çıkış