"OpenClaw은 이제 차단 없이 어떤 웹사이트든 스크래핑할 수 있습니다. 봇 탐지 제로, Cloudflare 네이티브 우회, BeautifulSoup보다 774배 빠릅니다."
> Scrapling
https://t.co/QvD0SFn0v9
이거 굉장히 주목받는 스크래퍼입니다! Python으로 만들었구요,, adaptive web scraping framework..
"어댑티브 웹 스크래핑 라이브러리"로, 봇 차단을 완전히 우회하면서 웹사이트 구조 변경에도 자동으로 적응하는 차세대 스크래퍼입니다.
셀렉터 유지보수 지옥에서 해방.. 👍🏻 웹사이트가 구조를 바꿔도 셀렉터가 자동으로 따라갑니다. 이걸 학습시키기도 해요.
Playwright 기반 실제 브라우저 자동화, 적응형 스크래핑과 AI 통합, 높은 성능.. 뭐 장점이 많아요.
BeautifulSoup이 익숙한 분들이라면 러닝커브가 별로 없기도 하죠. 벤치마크 보면 무진장 더 빠르구요.
AI 도구와 연동되는 내장 MCP 서버 제공하는데,, 비용 절감에 좋은건 이거 때문이예요.
AI에게 페이지 전체 HTML을 넘기는 대신, Scrapling이 먼저 타겟 콘텐츠만 추출해서 넘겨주기 구조!
그래서 토큰 사용량이 크게 줄고 처리 속도가 올라가는거예요.
특히 Claude Code 같은데에서 MCP 서버로 연결해두면서 "이 URL에서 가격 데이터 뽑아줘"라고 자연어로 명령만 해도 끝남..
매우 강력하니.. 매우 추천 드립니다..
2026년 AI와 UX에 대한 18가지 예측
- 올해는 생성형 AI의 참신함 단계가 끝나고 더 이상 관망이 불가능해지는 해. 개인·기업·직업 모두가 의도적으로 적응하거나 도태를 선택해야 하는 전환점
- AI 경쟁의 중심이 자율 에이전트·위임형 UI·생성형 인터페이스로 이동하…
https://t.co/YFmCcOWVf9
바론: 내 말은, 그래서 당신은 1T 달러의 가치가 있든 400B 달러의 가치가 있든, 그것은 정말 중요하지 않음. 결국 이 모든 돈으로 무엇을 할 것인가? 당신의 계획은 무엇인가? 사람들이 당신에 대해 어떻게 생각하기를 원하는가?
일론: 음, 주로 나는 회사의 활동을 계속 지시할 수 있을 만큼 충분한 소유권을 가져야 함. 하지만 개인적인 소비 관점에서, 나는 실제로 휴가용 주택을 소유하고 있지 않음. 그리고 나는 오스틴에 하나의 일종의 중간 크기의 집만 소유하고 있음. 그리고 사실 스타베이스에는 작은 집이 있음.
전반적으로, 나는 의식을 미래로 확장하는 일련의 행동을 취하고 싶음. 그래서 의식의 열린 규모가 엄청나게 성장하고, 우리가 스타트렉처럼 다른 항성계를 탐험하고, 아무도 가본 적 없는 곳으로 가고, 기존의 외계 문명이 있는지 알아보고, 아니면 어쩌면 오랫동안 죽은 외계 문명이 있고, 우리는 그들의 유적을 살펴보고 그들이 어땠는지 이해하려고 노력하고, 그리고 그냥 일반적으로 우주를 이해하려고 노력하고 싶음.
바론: 오늘 정말 고맙다. 나에게, 우리 주주들에게, 그리고 인류에게 당신이 해준 모든 것에 대해 고맙다.
바론: 일단 FSD를 시도하면, 당신은 그것을 살 것임. 그래서 나는 오늘 아침 CNBC에서 언급했던 것으로 마무리하고 싶음. 당신은 해변 별장을 살 만큼 충분한 돈을 벌기 위해 이것을 하는 것이 아님.
당신은 래리 페이지가 옳았다고 생각하기 때문에 이것을 하고 있음. 당신은 인간이 생존해야 한다고 생각하는 종임.
일론: 예, 나는 노골적으로 인간을 지지함.
바론: FSD는 모든 상황에서 코드를 찾으려고 노력하는 것과는 달리, 사람처럼 운전함. 그리고 당신은 우리가 그것을 해야 한다고 말했음. 우리 앞에 자전거가 부착된 소방차가 있거나, 누가 개를 산책시키면서 운전하고 있는 상황 말임. 내 이해로는, AI가 하는 일, 우리가 하는 일은 그것이 우리와 똑같도록 확인하는 것임. 맞나?
일론: 인간보다 훨씬 더 안전한, 무인 자율 주행의 퍼즐을 달성하는 열쇠는 자동차의 AI 소프트웨어를 개선하는 것임. 우리는 우리가 설계한 AI 하드웨어, 현재 삼성에서 제조하는 칩(AI4)이 무인 상태에서 평균 운전자보다 최소 2~3배 더 높은 안전 수준을 달성할 수 있다고 확신함. 당신이 차에서 잠들 수 있고, 그 이상일 수도 있음.
그리고 AI5로는, 우리는 아마도 10배의 안전 개선을 달성할 것이라고 생각함.
바론: FSD로 넘어가 보겠음. 우리에게는 시간이 많지 않지만, FSD, 완전 자율 주행 말임. 그리고 당신은 최근에 당신이 그것이 사실이라고 확신할 때까지 자동차 제조 용량을 확장하고 싶지 않다고 말했음. 당신은 이제 그것이 사실이라고 확신함.
그리고 당신은 매우 많은 비율의 사람들이 실제로 완전 자율 주행에 대해 돈을 지불했지만, 그것을 사용하지 않고, 이전에 그것을 시도조차 해보지 않았다고 말했음.
일론: 이것은 꽤 놀라운 일임. 그래서 우리는 이제 안전상의 이유로 고객들에게 완전 자율 주행을 시연하도록 주장하고 있음.
왜냐하면 이제 10B 마일 이상 운전된 규모에서 그것이 완전 자율 주행으로 운전할 때 그렇지 않을 때보다 네 배 더 안전하다는 것이 명확한 숫자이기 때문임. 그래서 이 시점에서 우리는 고객들에게 적어도 자율 주행을 시연하여 그들이 그것을 사용하는 방법과 안전상의 이유로 그것을 켜는 방법을 알도록 주장하고 있음.
바론: 만약 그들이 마음을 바꿔서 '예, 우리는 더 빨리 갈 것이고, 우리는 당신이 필요로 하는 기간에 연간 100B, 200B의 AI 칩을 제공하고 싶습니다.'라고 말한다면, 그것은 훌륭함. 하지만 어떻게 그들이 그러지 않을 수 있을까? 나는 이해가 안 됨.
일론: 음, 그들은 파트너임. 우리는 TSMC와 삼성 둘 다 사용하고 있음. 내 말은, 용량을 엄청나게 확장하기 위해 말임. 왜 그들은 그것을 하지 않을까? 그들의 관점에서 보면, 그들은 하고 있음. 왜냐하면 우리는 TSMC 대만, TSMC 애리조나, 한국 삼성, 그리고 텍사스 삼성을 사용할 것이기 때문임.
그래서 우리는 네 개의 팹을 운영하고 있음. 그리고 그들의 관점에서 보면, 그들은 번개처럼 움직이고 있음. 나는 단지 그럼에도 불구하고 그것이 우리에게 제한 요소가 될 것이라고 말하고 있는 것임.
우리가 원하는 속도로 규모에 도달하는 유일한 방법이 정말 큰 팹을 짓는 것일 수도 있음. 또는 AI 칩에 의해 옵티머스와 자율 주행 자동차의 출력이 제한될 수도 있음.
바론: 당신이 칩 제조에 대해 이야기할 때, 당신은 우리가 일종의 거대한 팹을 건설해야 할 수도 있다고 말함. 파트너를 갖는 것인가, 아니면 혼자 하는 것인가?
일론: 예, 우선, 나는 TSMC와 삼성에 엄청난 존경심을 가지고 있음. 그리고 우리는 테슬라와 스페이스X에서 TSMC와 삼성 모두와 협력했음. 그리고 우리는 그들이 우리 칩을 가능한 한 빨리 만들고 그들이 편안하게 할 수 있는 한 높은 볼륨으로 확장하기를 원함. 하지만 충분히 빠르지 않은 것 같음.
그리고 있잖아, 내가 새로운 칩 팹을 짓는 데 처음부터 끝까지 얼마나 걸릴지 물어보면, 그들은 나에게 블라인드 생산에 도달하는 데 5년이 걸린다고 말함. 나는 '5년은 나에게는 무한대'라 생각함. 내 시간표는 1년, 2년으로 가고, 3년째에는 무한대로 감. 그래서 나는 3년은 너무 길어 볼 수조차 없음. 그래서 나는 '젠장, 알겠어, 이것은 충분히 빠르지 않을 것이다.'라고 생각함.
바론: '나는 내 모든 일요일을 칩 작업에 보낸다'는 것은 무엇을 의미할까?
일론: 주말에도 칩 작업함. AI5 칩 때문인데, 그것은 훌륭한 칩이 될 것이고, 테슬라의 모든 것이 그 칩에 달려 있음. 그것은 우리의 다음 세대 자율 주행 자동차에 들어갈 칩이며, 옵티머스 로봇에게도 필수적임.
훈련을 위해 NVIDIA를 계속 사용하지만, 우리는 AI5 추론 칩이 필요하며, 이는 매우 강력한 칩이지만, 또한 매우 저전력 칩임. 와트당 성능은 극도로 좋음. NVIDIA의 와트당 추론보다 최소 2~3배 더 좋을 것이라고 생각함. 자동차와 로봇의 추론 수준에서 말임. 그리고, NVIDIA 칩 비용의 10%일 것임.
달성해야 할 매우 중요한 숫자이며, 나는 칩 프로그램을 다시 궤도에 올려야 했기 때문에 엄청난 시간을 투자했음. 그리고 이 시점에서 나는 칩의 전체 물리적 설계를 메모리에 가지고 있음. 나는 전체를 시각화할 수 있음.
(테슬라 시작)
바론: 그리고 내가 테슬라에 투자하기 시작했을 때, 우리가 테슬라에 투자하기 시작했을 때, 당신은 우리에게 기계를 만드는 기계가 가장 중요하다고 말하고 있었음. 그리고 당신은 자동차 1대 생산 시간이 10초로 내려갈 것이라고 말했고, 당신은 우리가 5초로 갈 가능성이 있다고 말했음. 어떻게 그것이 가능할까?
일론: 가능함. 5초 주기 시간에는 자동차가 걷는 속도로 라인에서 나올 것임. 당신은 그들에게서 도망칠 수 있음. 그것은 그들이 총알처럼 튀어나오는 것과 같지 않을 것임. 하지만 대략적인 경험칙으로, 일주일에는 10K 분이 있음. 당신이 24/7로 운영하고, 예를 들어 분당 10대의 자동차를 얻는다면, 당신은 주당 100K대의 자동차를 얻음.
바론: 정말 놀라운 것은 AI의 지능이 얼마나 멀리 성장할 수 있느냐는 것임. 얼마나 멀리 갈까?
일론: 엄청나게 멀리 간다고 생각함. 거의 이해할 수 없을 정도로 멀리 말임.
우리는 연간 100기가와트의 태양열 구동 AI 위성을 궤도에 올릴 수 있는 경로를 봄. 그리고 이것이 실제로 매우 큰 규모로 AI를 구동하고 운영하는 가장 낮은 비용의 방법이 되도록 하는 것임. 참고로, 미국은 연평균 약 460기가와트를 소비함. 미국 전체의 모든 평균 전력 부하가 460기가와트이기 때문임.
미국 전기 출력의 대략 4분의 1임. 우리는 그것을 수행하기 위한 계획을 가지고 있음. 미친 거임.
바론: 우리가 Grok 5로 이것을 할 수 있게 해주는 주요한 돌파구가 있는가? AGI에 대한 이 10%의 기회를 가질 수 있게 해주는 돌파구는 무엇인가?
일론: 그것은 우리 지식으로는 가장 큰 모델이 될 것임. 이것은 6T 매개변수 모델임. Grok 3와 4는 3T 매개변수 모델을 기반으로 하는 반면 말임. 게다가, 6T 매개변수는 Grok 4보다 기가바이트당 훨씬 더 높은 지능 밀도를 가질 것임.
나는 이것이 생각해야 할 중요한 지표라고 생각함. 기가바이트당 지능과 1조 연산당 지능 말임. Grok 5로 우리가 훈련하고 있는 데이터의 품질이 훨씬 더 좋음.
그것은 또한 본질적으로 멀티 모달임. 텍스트, 그림, 비디오, 오디오 말임. 그것의 시각은 극도로 좋을 것임. 그것은 실시간 사운드, 실시간 비디오를 가질 것인데, 이는 내가 생각하기에 정말 근본적으로 중요한 것임.
다른 AI 중 어느 것도 실시간 비디오를 이해할 수 없음. 그리고 나는 인간이 분명히 할 수 있는 그것을 AI가 할 수 없다면, 당신은 정말로 AGI를 달성할 수 없다고 생각함.
내가 공개 포럼에서 이야기할 수 없는 몇 가지 특별한 소스 항목이 있음. 당연히 모든 비밀을 여기서 공개할 수는 없음. 하지만 Grok 5를 위해 진행 중인 몇 가지 다른 특별한 것들이 있음.
바론: Grok 얘기 좀 더. 그래서 물리적인 것을 디지털적인 것에 연결한다는 아이디어는 디지털-디지털, 누가 무엇을 사고 싶은지 알아내는 것과는 다르다는 것임?
일론: 하지만 나는 AI 회사 성공을 정의하는 요소는 첫째, 인재, 둘째, 하드웨어일 것이라고 말하고 있음.
얼마나 많은 AI 하드웨어를 적용할 수 있는가가 실제로 매우 큰 문제고, 우리는 XAI에서 우리가 그것을 가장 잘한다는 것을 보여주었음.
그리고 셋째, 데이터에 대한 고유한 접근임. 그리고 그것을 위해 우리는 세계 최고의 실시간 데이터 소스인 X 시스템, 이전의 트위터 시스템을 가지고 있음.
그리고 내가 말했듯이, 나는 Grok이 지금, Grok 4 Heavy가 가장 똑똑한 AI라는 점을 지적해야 함. 시도해 보는 것을 추천함.
Grok 4 Heavy는 우리가 여러 에이전트를 생성하는 곳임. 그들은 병렬로 작업하고 스터디 그룹처럼 그들의 출력을 비교하고 당신에게 최종 결론을 제공함.
그리고 이제 우리는 Grok 5에 대한 훈련을 시작했음. Grok 5는 예외 없이 모든 지표에서 상당한 차이로 세계에서 가장 똑똑한 AI가 될 것이라고 생각함. Q1 중 될 것임.
Grok 5는 내가 AGI를 달성할 기회가 있다고 생각한 첫 번째 경우임. 10% 정도. 하지만 나는 이전에 그렇게 생각해 본 적이 없음. 그래서 나는 처음으로, 이것이 정말로 범용 지능일 수 있다고 생각함. 극도로 지능적이면서도 극도로 빠를 것임.