Ferhat RudvanoğullarıVeri Mühendisi
← Tüm işler

Veri pipeline'ları

Tedarikçi Web Sayfası Sınıflandırma

Common Crawl arşivinde yarım milyon tedarikçinin sitesini bulup sayfalarını 25 dakikadan kısa sürede yedi kategoriye ayırdım.

Veri mühendisi, tek başıma

Haziran 2026

Rakamlarla

domain, 24 dk 43 sn'de
485.562
domain, 24 dk 43 sn'de
sayfa, 7 kategoride
1,08 milyon
sayfa, 7 kategoride
kurallarla / LLM ile
%97 / %3
kurallarla / LLM ile
arşivden indirilen sayfa
124/sn
arşivden indirilen sayfa

Durum

SupplyBridge veritabanında yarım milyondan fazla tedarikçi vardı, ama çoğunun ne ürettiği, hangi sertifikalara sahip olduğu ve nerede üretim yaptığı bilinmiyordu. Bu bilgi şirketlerin kendi sitelerinde duruyordu. Yarım milyon siteyi tek tek taramak haftalar sürer, sitelerin engellemelerine de takılırdı.

Yaptıklarım

  1. 1

    Taramak yerine arşivi sorgulamak

    Common Crawl, internetin büyük bir bölümünü her ay tarayıp AWS S3'te herkese açık saklayan bir arşiv. Petabaytlarca veri olduğu için indirmek mümkün değil, ama her sayfanın nerede durduğunu gösteren bir indeksi var. Tedarikçi listemizi S3'e yükleyip bu indeksle Athena üzerinden birleştirdim. Athena, S3'teki dosyalara sunucu kurmadan SQL atmayı sağlayan bir AWS servisi. Sorgu 260 saniyede bitti ve ihtiyacım olan her sayfanın tam yerini verdi. 358.590 tedarikçi arşivde bulundu.

  2. 2

    Sadece gereken baytları indirmek

    Arşiv dosyalarının her biri yaklaşık 1 GB. Dosyaların tamamını indirmek yerine S3'ün range request özelliğiyle her sayfanın sadece kendi 10–30 KB'lık parçasını çektim. 40 paralel işçiyle hız saniyede 124 sayfaya çıktı.

  3. 3

    Önce ucuz kurallar, kalanına LLM

    Bir şirket sitesinde gerçekten işe yarayan sayfalar belli: ana sayfa, hakkımızda, ürünler, sertifikalar, kabiliyetler, lokasyonlar ve iletişim. Farklı dillerdeki URL ve başlık kalıpları bunların 1.046.001'ini yakaladı. Kuralların yerleştiremediği sayfaları Bedrock'taki küçük ve ucuz bir modele (Amazon Nova Lite) sordum; o da 37.404 sayfa daha buldu. Sonuçları veritabanına 5.000'lik paketlerle yazdım.

Sonuç

485.562 domain'in 1,08 milyon sayfası 25 dakikadan kısa sürede, saniyede yaklaşık 327 domain hızla sınıflandırıldı. LLM işin sadece %3'üne dokundu, bu yüzden maliyet de süre de küçük kaldı. Çıktı bir sonraki adımın, yani bu sayfaları tedarikçi profiline çevirmenin girdisi oldu.

Nasıl çalışıyor

  1. Tedarikçi domain'leri → S3

    Tedarikçi listemiz, tablo olarak yüklendi

  2. Athena

    Common Crawl indeksiyle 260 sn'de birleştirildi: her sayfanın dosyası ve bayt aralığı

  3. S3 range request'leri

    40 işçi, sayfa başına 10–30 KB, saniyede 124 sayfa

  4. Çok dilli URL ve başlık kuralları

    1.046.001 sayfa sınıflandı; kalanlar bir sonraki adıma

  5. Bedrock (Nova Lite)

    Kuralların yerleştiremediği 37.404 sayfa

  6. PostgreSQL

    5.000'lik paketlerle yazıldı

Ne öğrendim

Bu ölçekte en ucuz istek, hiç atılmayan istek. LLM'i kuralların çözemediği küçük kısma saklamak hem süreyi hem maliyeti küçülttü.

Stack

  • Common Crawl
  • AWS Athena
  • S3
  • Bedrock (Nova Lite)
  • Python
  • PostgreSQL