Veri pipeline'ları
Tedarikçi Web Sayfası Sınıflandırma
Common Crawl arşivinde yarım milyon tedarikçinin sitesini bulup sayfalarını 25 dakikadan kısa sürede yedi kategoriye ayırdım.
Veri mühendisi, tek başıma
Haziran 2026
Rakamlarla
- domain, 24 dk 43 sn'de
- 485.562
- domain, 24 dk 43 sn'de
- sayfa, 7 kategoride
- 1,08 milyon
- sayfa, 7 kategoride
- kurallarla / LLM ile
- %97 / %3
- kurallarla / LLM ile
- arşivden indirilen sayfa
- 124/sn
- arşivden indirilen sayfa
Durum
SupplyBridge veritabanında yarım milyondan fazla tedarikçi vardı, ama çoğunun ne ürettiği, hangi sertifikalara sahip olduğu ve nerede üretim yaptığı bilinmiyordu. Bu bilgi şirketlerin kendi sitelerinde duruyordu. Yarım milyon siteyi tek tek taramak haftalar sürer, sitelerin engellemelerine de takılırdı.
Yaptıklarım
- 1
Taramak yerine arşivi sorgulamak
Common Crawl, internetin büyük bir bölümünü her ay tarayıp AWS S3'te herkese açık saklayan bir arşiv. Petabaytlarca veri olduğu için indirmek mümkün değil, ama her sayfanın nerede durduğunu gösteren bir indeksi var. Tedarikçi listemizi S3'e yükleyip bu indeksle Athena üzerinden birleştirdim. Athena, S3'teki dosyalara sunucu kurmadan SQL atmayı sağlayan bir AWS servisi. Sorgu 260 saniyede bitti ve ihtiyacım olan her sayfanın tam yerini verdi. 358.590 tedarikçi arşivde bulundu.
- 2
Sadece gereken baytları indirmek
Arşiv dosyalarının her biri yaklaşık 1 GB. Dosyaların tamamını indirmek yerine S3'ün range request özelliğiyle her sayfanın sadece kendi 10–30 KB'lık parçasını çektim. 40 paralel işçiyle hız saniyede 124 sayfaya çıktı.
- 3
Önce ucuz kurallar, kalanına LLM
Bir şirket sitesinde gerçekten işe yarayan sayfalar belli: ana sayfa, hakkımızda, ürünler, sertifikalar, kabiliyetler, lokasyonlar ve iletişim. Farklı dillerdeki URL ve başlık kalıpları bunların 1.046.001'ini yakaladı. Kuralların yerleştiremediği sayfaları Bedrock'taki küçük ve ucuz bir modele (Amazon Nova Lite) sordum; o da 37.404 sayfa daha buldu. Sonuçları veritabanına 5.000'lik paketlerle yazdım.
Sonuç
485.562 domain'in 1,08 milyon sayfası 25 dakikadan kısa sürede, saniyede yaklaşık 327 domain hızla sınıflandırıldı. LLM işin sadece %3'üne dokundu, bu yüzden maliyet de süre de küçük kaldı. Çıktı bir sonraki adımın, yani bu sayfaları tedarikçi profiline çevirmenin girdisi oldu.
Nasıl çalışıyor
Tedarikçi domain'leri → S3
Tedarikçi listemiz, tablo olarak yüklendi
Athena
Common Crawl indeksiyle 260 sn'de birleştirildi: her sayfanın dosyası ve bayt aralığı
S3 range request'leri
40 işçi, sayfa başına 10–30 KB, saniyede 124 sayfa
Çok dilli URL ve başlık kuralları
1.046.001 sayfa sınıflandı; kalanlar bir sonraki adıma
Bedrock (Nova Lite)
Kuralların yerleştiremediği 37.404 sayfa
PostgreSQL
5.000'lik paketlerle yazıldı
Ne öğrendim
Bu ölçekte en ucuz istek, hiç atılmayan istek. LLM'i kuralların çözemediği küçük kısma saklamak hem süreyi hem maliyeti küçülttü.
Stack
- Common Crawl
- AWS Athena
- S3
- Bedrock (Nova Lite)
- Python
- PostgreSQL