Ferhat RudvanoğullarıVeri Mühendisi
← Tüm işler

Veri pipeline'ları

B2B Lead Toplama ve Web Sitesi Skorlama

Vidyon için Almanya'daki güneş paneli kurulum firmalarını bulan, iletişim bilgilerini LLM ile çıkaran ve her siteyi PageSpeed'de puanlayan 11 adımlı bir pipeline kurdum.

Veri mühendisi, Vidyon için tek başıma

Haziran–Temmuz 2026

Rakamlarla

hedef firma, %98,3'ü doğru segmentte
1.979
hedef firma, %98,3'ü doğru segmentte
telefon ve 2.941 e-posta
3.658
telefon ve 2.941 e-posta
site mobil ve masaüstünde ölçüldü
9.780
site mobil ve masaüstünde ölçüldü
ortalama mobil performans skoru
61,5
ortalama mobil performans skoru

Durum

Vidyon, web sitesi ve video hizmetini Almanya'daki güneş paneli kurulum firmalarına satmak istiyordu, ama bu firmaların düzenli bir listesi yoktu. Satış ekibi firmaları tek tek Google'da arıyor, iletişim bilgilerini elle topluyordu.

Yaptıklarım

  1. 1

    Toplama ve temizleme

    Aday siteleri Jina'nın arama API'siyle, otomatik üretilen sorgulardan topladım. API ödeme limitine takıldığında aynı sorguyu zorlamak yerine yeni bir sorguya geçen bir mantık ekledim. Her şeyi kök domain'e indirip tekrarları silince 9.757 site kaldı.

  2. 2

    Yedekli tarama

    Her sitenin başlığını, açıklamasını, başlık etiketlerini ve yapılandırılmış verisini 150 eşzamanlı bağlantıyla taradım. Açılmayan siteler için önce Common Crawl arşivine, sonra Jina'nın okuma servisine düştüm.

  3. 3

    Kurulum firması mı, mağaza mı?

    Bedrock'taki Llama 3.1 8B her siteyi kurulum firması ya da parça mağazası olarak etiketledi. Ayrıca her siteyi Amazon Titan ile vektöre çevirip iyi bilinen örnek bir firmaya ne kadar benzediğini ölçtüm. 33 mağaza listeden çıktı.

  4. 4

    Lead'leri çıkarmak

    Her firmanın iletişim ve künye sayfalarını DNS kayıtları ve Athena ile buldum, içeriklerini Common Crawl'dan bayt aralığı isteğiyle çektim ve Llama 3.1'e telefon, e-posta, adres ve sosyal medya hesaplarını çıkarttım. Telefonları uluslararası formata çevirip tekrarları sildim.

  5. 5

    Her siteyi puanlamak

    Google'ın PageSpeed API'siyle her sitenin performans, SEO, erişilebilirlik ve en iyi uygulama skorlarını mobilde ve masaüstünde ayrı ayrı ölçtüm. Her şeyi yerel SQLite'tan Turso'ya taşıdım ve satış ekibi için kısa bir rapor yazdım.

Sonuç

Satış ekibi, firmaların %76–82'sinde iletişim bilgisi olan hazır bir listeyle başladı. Ortalaması 61,5 olan düşük mobil skorlar somut bir açılış cümlesine dönüştü: "Siteniz telefonda yavaş açılıyor."

Ne öğrendim

Bir veri ürününün değeri, kullanıcısının hemen kullanabileceği bir şey sunmasında. Ham liste değil, telefonda söylenecek bir cümle.

Stack

  • Python · HTTPX
  • Jina
  • Bedrock (Llama 3.1 8B, Titan)
  • Athena
  • Common Crawl
  • PageSpeed API
  • Turso