Puppeteer ile Proxy Kurulumu ve Yapılandırma Rehberi

Puppeteer, Google tarafından geliştirilen bir Node.js kütüphanesidir ve headless (görünmez) veya headed (görünür) modda Chromium tarayıcısını programatik olarak kontrol etmeyi sağlar. Web scraping'de Puppeteer'ın temel avantajı JavaScript rendering yapabilmesidir: React, Vue, Angular gibi framework'lerle geliştirilen modern web siteleri içeriklerini JavaScript ile yükler ve basit HTTP istekleriyle bu içeriklere erişemezsiniz. Puppeteer gerçek bir tarayıcı gibi sayfayı yükler, JavaScript'i çalıştırır ve DOM'u render eder. Proxy ile birlikte kullanıldığında farklı IP adreslerinden bu işlemi yapabilir, rate-limit ve IP ban sorunlarını aşabilirsiniz.

Puppeteer'da proxy kimlik doğrulaması için birkaç yöntem vardır. En yaygını page.authenticate() metodudur: her yeni sayfa oluşturduğunuzda await page.authenticate({ username: "user", password: "pass" }) çağrısı yaparsınız. Bu metod Chromium'un HTTP Proxy-Authorization header'ını otomatik gönderir. İkinci yöntem Chrome DevTools Protocol (CDP) kullanmaktır: page.target().createCDPSession() ile CDP oturumu oluşturur ve Fetch.enable ile proxy auth bilgilerini yönetirsiniz. Üçüncü yöntem IP yetkilendirmedir: ProxyTurk panelinden sunucu IP'nizi tanımlarsınız ve auth bilgisi göndermenize gerek kalmaz. IP yetkilendirme sunucu-bazlı scraping için en pratik yöntemdir.

Modern web siteleri headless tarayıcıları tespit etmek için çeşitli teknikler kullanır. En yaygını navigator.webdriver özelliğinin true olmasını kontrol etmektir — Puppeteer varsayılanda bu değeri true olarak ayarlar. puppeteer-extra-plugin-stealth eklentisi bu ve birçok diğer tespit noktasını otomatik olarak gizler: WebGL renderer, Chrome runtime, permissions API ve daha fazlası. Ek olarak gerçekçi viewport boyutları kullanın (1920x1080, 1366x768 gibi), Accept-Language header'ını hedef ülkeye uygun ayarlayın ve timezone'u proxy lokasyonuna göre yapılandırın. Mouse hareketleri ve sayfa kaydırma gibi gerçek kullanıcı davranışlarını simüle etmek de tespit riskini azaltır.

Puppeteer ile scraping yaparken her sayfa yüklemesi gerçek bir tarayıcı oturumu olduğundan kaynak tüketimi yüksektir. Performansı optimize etmek için öncelikle gereksiz kaynak yüklemeyi engelleyin: page.setRequestInterception(true) kullanarak resim, font, CSS ve reklam isteklerini abort edin — bu hem hızı artırır hem bant genişliğinden tasarruf sağlar. Browser instance'larını yeniden kullanın: her istek için yeni tarayıcı açmak yerine tek tarayıcı üzerinde birden fazla sayfa açın. Paralel sayfa yönetimi için p-limit gibi kütüphaneler kullanarak eşzamanlı sekme sayısını kontrol edin (genellikle 5-10 arası optimal). page.waitForSelector() ile sadece gerekli elemanın yüklenmesini bekleyin, page.waitForTimeout() ile gereksiz bekleme yapmaktan kaçının.