Ferhat RudvanoğullarıVeri Mühendisi
← Tüm işler

Veri kalitesi ve ana veri

Domain Doğrulama ve Onarım

43.969 tedarikçinin web sitesini kontrol edip yanlış olanları web araması ve LLM ile onardım; elle incelenecek kayıt 5.213'ten 14'e indi.

Veri mühendisi, tek başıma

Haziran–Temmuz 2026

Rakamlarla

elle incelenecek kayıt
5.213 → 14
elle incelenecek kayıt
43.969 tedarikçinin doğru siteye ulaştı
%73
43.969 tedarikçinin doğru siteye ulaştı
model değişikliğiyle saniyede onarılan domain
0,1 → 1,2
model değişikliğiyle saniyede onarılan domain
doğrulanmış tedarikçi (sonraki tur)
574.110
doğrulanmış tedarikçi (sonraki tur)

Durum

Kayıtlardaki tedarikçi sitelerinin bir kısmı kapanmış, el değiştirmiş ya da hiç o şirkete ait değildi. Yanlış site, ondan çıkarılan her bilginin de yanlış olması demek; elle kontrol edilmeyi bekleyen binlerce kayıt vardı.

Yaptıklarım

  1. 1

    Teknik kontrol, sonra kimlik puanı

    Asenkron bir kontrolcü binlerce sitenin DNS, SSL ve HTTP durumuna aynı anda baktı; ölü siteler doğrudan onarıma gitti. Açılan siteler başlık, açıklama, yapılandırılmış veri ve telif satırına göre 0–100 arası kimlik puanı aldı. 70 üstü onaylandı, 40–70 şüpheli sayıldı, 40 altı onarıma gitti.

  2. 2

    İki paralel onarım motoru

    Bir motor Bedrock'taki Llama'yı AWS web aramasıyla, diğeri Gemini'yi Google aramasıyla eşleştirdi. İkisi yan yana çalıştı; FOR UPDATE SKIP LOCKED aynı kaydı iki işçinin almasını engelledi.

  3. 3

    Doğru model boyutu

    Onarım işi Llama 3 70B ile başladı; model sürekli AWS'nin istek limitine takılıyor, sistem zamanının çoğunu beklemekle geçiriyordu: saniyede 0,1 domain. Görev sadece arama sonuçlarından doğru domain'i seçip JSON döndürmekti. Llama 3 8B'ye geçince limit sorunu bitti, hız saniyede 1,2'ye çıktı (12 kat). 54 bin domain'lik bir iş için bu, altı gün yerine yarım gün ve tahmini 568 dolar yerine yaklaşık 111 dolar demekti.

  4. 4

    Şüphelileri LLM'e karar verdirmek

    5.213 şüpheli kaydı, veritabanında zaten kayıtlı başlık ve açıklamayla bir LLM'e değerlendirttim; internete tekrar gitmeye gerek kalmadı. 4.791'ini doğru buldu. Ölü siteleri daha önce kurduğum 5,3 milyon satırlık domain geçmişi tablosunda aradım, kalanları şirket adına "automotive" ekleyerek yeniden arattım.

Sonuç

Tedarikçilerin %73'ü doğrulanmış bir siteye ulaştı, elle incelenecek kayıt 5.213'ten 14'e indi. İnternette hiç izi olmayan 11.843 firma ayrıca işaretlendi. Sonraki turda 10.770 domain daha canlıya alındı ve doğrulanmış tedarikçi sayısı 574.110'a çıktı.

Ne öğrendim

En büyük model nadiren doğru model: işi görebilen en küçük model genelde hem daha hızlı hem daha ucuz. Bir de 70 ve 40 gibi puan eşiklerini sezgiyle seçmek yerine küçük, elle etiketlenmiş bir örnek setle kalibre ederdim.

Stack

  • Python asyncio
  • PostgreSQL
  • Bedrock (Llama 3)
  • AgentCore Web Search
  • Gemini
  • Google Search grounding