Vzpomínám si, že kdysi jsem používal jeden program, který prošel web a našel vadné odkazy.
Jako víkendový projekt jsem se rozhodl, že jej udělám v Python. Díly AI se mi to povedlo a v podstatě dokáže dělat vše co jsem chtěl, ale je prostor pro zlepšení.
https://t.co/NbgF2LuQFO
Další týden novinek z WEDOS Global Protection. Tentokrát jsem přispěl několika commity hlavně kolem WAF pravidel. Cíl je jednoduchý blokovat útočníky, ne běžné návštěvníky :)
https://t.co/mspky5NnIt
Z DNS a IP skenů 1,6M .cz domén jsem poskládal první statistiku serverless hostingů.
Zatím rozpoznáno 6 349 domén. Vede Vercel, Netlify a GitHub Pages.
Cloudflare Pages a Workers zatím 0. Doufal jsem v CNAME, ale bude to chtít hledat další cesty. :)
@vladaman Ono se to tak prostě jmenuje. Můj AI konzultant mi poradil, ať tomu říkám serverless, protože to pod tím lidi hledají. A já už nemám sílu se s ním hádat.
@Wladass Určitě, to by mi pomohlo. Jen pro projekt potřebuji používat jen legálně dostupné OSINT zdroje. Pokud je ten seznam někde veřejně ke stažení a dá se dál zpracovávat, rád ho využiju. Oplatím odkazem :)
@tkapler Zatím kombinuju DNS záznamy a IP adresy. Vercel, Netlify a GitHub Pages jdou rozpoznat poměrně dobře, ale třeba Cloudflare Pages a Workers jsou oříšek. To ještě musím vymyslet. Přímo na stránce je vše sepsané.
Mám doma nový dedikovaný server. :)
2 GB RAM, microSD, pasivní chlazení. Raspberry Pi 4.
Běží na něm Python worker a nonstop ověřuje cca 1 400 domén za hodinu.
Zatížení CPU 7 %, teplota 57 °C.
Datacentrum mám na skříni :)
@CapkaKarel@CoderrSpaghetti Hlavně jestli je doména registrovaná, případně kdy byla registrovaná, kdy expiruje a kdo je registrátor. Cílem je postupně zmapovat všechny .cz domény.
@CoderrSpaghetti Pro https://t.co/L0TVAjVNg1. Snažím se postupně zmapovat český internet přes veřejně dostupná data. Tahle malá krabička mi nonstop ověřuje domény a aktualizuje databázi. :)
@tkapler To určitě ano. Jenže tady výkon prakticky nepotřebuju. Většinu času čeká na odpovědi RDAP a limitující je spíš rate limit než procesor nebo RAM. Chtěl jsem hlavně něco malého, tichého a úsporného na provoz 24/7.
@krumplo83 Snažím se pro https://t.co/WEYvaEWcsp postupně zmapovat české domény. CZ.NIC jejich kompletní seznam neposkytuje, takže ho skládám z legálně dostupných OSINT zdrojů a ověřuju přes RDAP. Ten má navíc rate limit, takže to nějakou dobu potrvá. :)
@zdefry SSD by samozřejmě bylo lepší, ale tenhle worker si jen stahuje práci přes API, ověřuje domény a posílá výsledky zpátky. Všechno běží v RAM, na microSD prakticky nezapisuje. Když vypadne elektřina, po zapnutí pokračuje. :)
Oživil jsem svůj starší projekt. Cíl? Najít co nejvíc českých .cz domén.
Bez AI (do 2019): 270K domén
Já + AI (ChatGPT): 600K aktivních domén
AI + já (agent): 1,18M aktivních domén
Dřív jsem pracoval já a AI pomáhal. Dnes agentovi hlavně určuji směr.
https://t.co/cxPzrGEruT
V katalogu https://t.co/CzoOp3GRC4 je 1 278 857 .cz domén. U 1 176 698 máme potvrzenou registraci nebo aktivní DNS. To je 72,74 % všech. Pátrání po českém internetu pokračuje.
Další týden a další novinky na WEDOS Global Protection.
Tentokrát jsem přispěl i několika menšími commity, hlavně proti automatickým skenerům zranitelností :)
https://t.co/2OFEJYgMKr