Te comparto 8 de los mejores repos de github para extraer datos de cualquier sitio web automáticamente:
1. Firecrawl
Pasa una URL y recorre automáticamente todo el sitio, convirtiéndolo en datos limpios y listos para IA. Soporta páginas con JavaScript. Más de 140.000 estrellas.
https://t.co/QzjMTH0M98
2. Crawl4AI
Convierte cualquier web en texto que los LLM pueden leer directamente. Sin API key ni pagos. Lo creó un desarrollador que se hartó de los servicios que cobraban 16 $. Más de 70.000 estrellas.
https://t.co/fzDAMr29W4
3. browser-use
Agente de IA que usa el navegador como un humano: clics, login, formularios, todo. Creado por un startup de ETH Zurich. Más de 100.000 estrellas.
https://t.co/MIvcLE7c8E
4. Crawlee
Base completa para scraping con rotación de proxies, reintentos, anti-detección y manejo de colas. Evita bloqueos de forma profesional.
https://t.co/dQLG9NJdjE
5. Scrapy
El clásico framework de Python para scraping a gran escala. Lleva más de 10 años usándose y procesa millones de páginas de forma estable. Totalmente gratis.
https://t.co/aJYE4Uo1Mk
6. Scrapling
Se adapta automáticamente a los cambios de diseño de las webs y evita detecciones de bloqueo. Funcionalidades de nivel pago… pero gratis.
https://t.co/XyqvZR4vXX
7. AutoScraper
Solo le das un ejemplo de los datos que quieres y aprende solo el patrón. Extrae el resto sin escribir selectores. Muy sencillo y potente.
https://t.co/c6D5FS1ZcX
8. curl-impersonate
Imita las peticiones HTTP de un navegador Chrome real para saltarte las protecciones anti-bot más avanzadas.
https://t.co/dcqagz1uK4
Guárdalos todos, super recomendado.
Con estos puedes sacar datos limpios de casi cualquier web sin pagar servicios caros ni depender de apis limitadas.
🚨| Cuttlefish, the author of Lord of Mysteries, released his new novel on Qidian today❗️
Title: Jian Zhu Da Huang / The Sword Illuminates the Great Wilderness
(The English title is unofficial for now and may change.)
Genuinely a solid, good F2P game.
– Fun “soulslike” combat
- exciting coop/multiplayer content
– Smooth open-world exploration
– Beautiful visuals
– Lots of funny, creative ideas (throwing a bear, TikTok dances, etc.)
I just wish the skins and microtransactions weren’t so expensive. Some skins are $30–50, which is a bit much for an MMO where your actual equipment doesn’t change your character’s appearance — only transmog/cosmetic items do.
nontheless it's been really fun so far!