digitalized 하게 '되는것'과 '되지 않는 것' 이 명확하게 갈리면 좋겠지만, 안타깝게도 Sonnet 도 0->100은 갈 수 없으니까.
로컬 8GB 메모리에서 구동하는 경량 LLM도 0->60은 가는데, Sonnet 같은 최첨단 유료 LLM도 0->75 라는 미묘한 차이라서 유료 구독을 하기가 망설여짐
@Multi_Serio_Ai 물론 그래도 전체 시스템 메모리 (Unified Memory 기준) 128GB가 64GB보다 굴리기 편하긴 하죠.
Context Window 빵빵 쓰고 하면 VRAM 64GB 도 금방 쓰고 나머지 어플들도 꽤 무거운 편이니까 CPU가 32GB 쓰는것도 금방이고요.
@Multi_Serio_Ai 대충 VRAM 사용량 3~40GB 정도가 현실적으로 써먹을만한 모델이라는 감각인것 같긴 합니다. 최신 모델은 Context Window가 엄청나게 커져서 그거 감안하면 64GB 약간 더 수준으로 먹기는 하는데 말이죠.
M5 Max 는 대역폭은 큰데 GPU 성능이 낮죠...
세상이 이렇게 디지털화되기 전에는 다들 오감을 더 많이 경험했지요. 농사를 짓지않으면 텃밭이라도 가꾸고, 손으로 펜을 쥐고 글씨를 쓰고, 망가진 물건을 고쳐서 쓰고요. 지금은 하루종일 디지털기기의 매끈한 표면만 만지는 사람이 많을 거예요. 요리를 하더라도, 원물부터 손질하는 일은 드물죠.