ScrapeDo runs a scraping API through 10 billion+ requests a month.
You'd expect that scale to mean the hard problems are solved and stay solved.
For AMA #10 in r/WebScrapingInsider, founder @batuhanzyn and his R&D and marketing team walked through what actually keeps that operation running: when a browser is worth the cost, how sessions stay believable, why WAF vendor names tell you less than you'd think, and how a 200 response can still be lying to you.
🧵
@TeamYouTube@TeamYouTube, recovery mode cannot work with my previously logged-in devices. We need to recover manually.
Also, the account has AdMob and Play Store apps. I cannot contact someone from Google.
@mfatihkacir Özetle ABD veya UK gibi ülkelerden şirket açmak ve oralara para almak zorundayız. Bu konuyu çözemiyoruz. Başka ülkelerin vergi mevzuatlarını daha iyi bilen bir yazılım - teknoloji ekosistemi oluştu. Bunun tek sebebi ödemelerin Türkiye bankacılık sistemi ile alınamıyor olması.
@mfatihkacir Sayın @mfatihkacir bu harika bir haber. Ancak ödeme altyapı sistemleri çözülmeden Türkiye'ye bu akış istenilen oranda akmayacaktır. 5 senedir her yerde dillendiriyorum. Maalesef en büyük sorun BDDK ve Iyzico gibi sanal pos firmaları. Globalden ödeme alamıyoruz. Sistem kuramıyoruz
@mfatihkacir Stripe kullanmadan yazılım & teknoloji şirketleri ödemelerini alamıyorlar. Fraud sistemlerimizde sınıfta kalıyoruz. Tüm yük girişimcinin üstünde kalıyor. Katı kurallar nedeniyle bir gün ansızın bir kural değiştirip tüm şirketin ödeme altyapısını bozuyorlar
@mrkarayagiz Torpil deneyen olumlu adayı teklif aşamasında iptal etmişliğimiz oldu şahsen. Referanslarınız doğru proje ile eşleşmeyebilir.
Görüşmeye girdiğimiz adaylar ne için başvurduğuna dair iş ilanını dahi %90+ okumamış oluyor.
O nedenle her açıdan düşünmek gerek.
Spent our Sunday in our favorite place: among developers! 👋
Last Sunday, we shared the incredible energy at DevFest, organized by the Google Developer Groups.
From the code to the crowd: Here is @scrapedotdo on stage! 👇
At https://t.co/ivhH7A3M5R, the best products come with the best team.
Nawfal Taki shared how Mert worked with them to tackle a complex scraping challenge.
We’re not just problem solvers. We’re teammates with our customers. 💪
Nightmare screen of anyone who scrapes Amazon
No worries, scraping Amazon isn’t frustrating with us. Say goodbye to CAPTCHAs and errors!
✅ Auto-bypass CAPTCHAs
✅ Get rid of IP blocks
✅ Smooth scraping for all data you need
Stop fighting Amazon, start to use @scrapedotdo
@usersdotcom have been using @scrapedotdo for their web scraping needs for the last 3 years.
Before that, life without https://t.co/ivhH7A3M5R was challenging for the dev team of Usersdot.
Here’s Uğurcan, software engineer telling about @usersdotcom & @scrapedotdo
💡 Talked to a Senior Dev at a top ad network,scaling web scraping for ad verification is a nightmare.
🚨 3 big issues:
1️⃣ Dynamic JS breaks ad slot checks
2️⃣ Anti-bot systems block monitoring
3️⃣ Infra struggles during peak traffic
Our API solves, DM me if you’re facing too!
📢Harika bir haberim var 🔥
@AnkaraGophers'ın bir yıl boyunca kitap sponsoru @scrapedotdo oldu.📚🥳
Değerli Batuhan'a (@batuhanzyn) topluluk olarak gönülden teşekkürlerimizi iletiyoruz ❤️
Her etkinlikte resimdeki gibi 5+ kitap hediye etmeyi planlıyoruz. İyi okumalar. 🤗
Excited to launch @ThinkbuddyAI's new version🎉
Born from year of effort by team of AI fans tired of limitations of big ones — we built UI we always wanted
Your support means everything! RT will make our day + read thread for surprise💝
Check out 12-tweet video thread[1/13]🧵
I built a 2,596-module Google search leak directory with AI and no-code tools in just 4 hours.
Check out the website I created, searchleaks. org, to explore the documents with a user-friendly interface and AI-powered overviews.
Want to know how I did it? Find out in my latest blog on growthmarketing. ai🚀
@astrologozcan Ya ne alakası var adamların bariz alt yapısı problemli :) bir sürü sunucu, load balancerlar arkasında yangına depreme hazırlıklı komple yedekleme sistemleri var, merkür mü bozdu şimdi 😂
Hayatımda muhatap olmak zorunda bırakıldığım en kötü deneyime sahip 2 web sitesi. Umarım tez zamanda komple silinir de baştan yazılır arayüzleri.
1. @gibsosyalmedya ,
2. @sgksosyalmedya