언어적인 것은 수학으로 완전히 환원하기 어렵다고 여겨졌으나 llm ai는 그걸 해내고 있다.
‘의미’라는 것이 언어에서는 컨텍스트에 따라 다층적이고 의미분화가 심한 반면에 수학은 고정적이기 때문.
llm의 분포 의미론이 실용적 목적을 달성 하고 있다면, 더불어 관심이가는 것은 집합론이다.
Qwen3.8 27b 새로 나온김에 전에 대충 골라쓰던 양자화버전을 공부하고 있다. 양자화 기법중에 AWQ 너무 흥미롭다. 활성화 반응을 고려한 가중치 양자화. 이거 완전히 인지심리학이잖아. 말하자면 사람(llm)한테 특정내용을 보여주고 뇌의 어느부분이 활성화 되는지 체크해서 그 부분은 덜 압축하는 거
지금 개떡같이 말해도 찰떡같이 만들어주는 기저에는 공통적인 하네스와 바이어스가 어마무시하게 들어가 있어서 오리지널리티를 만들기는 거의 불가능에 가까움. 나는 예술계에서도 인정받을만한 퀄리티를 목표로 다양한 방식으로 이미지, 음악, 문학을 시도해봤는데 현재까지는 답이 안보임
프롬프트 엔지니어링은 아직 유의미하지만 많이 퇴색했다. Ai가 개떡같이 말해도 내 의도를 귀신같이 알아듣기 때문에. 또 내 의도에 따라 더욱 결과물이 잘 나오는 프롬프트를 만들어 주기 때문에. Suno에 직접 쓴 프롬프트를 넣은거에 비해 에이전트를 시킨 결과물이 비교도 안되게 좋다.