세션 중간에 model이나 effort를 변경하는건 비용이 많이 든다. (컨텍스트가 많이 쌓여있을 수록)
그러니 세션 시작 할 때 작업에 따라 model이랑 effort를 정해놓고 하자
세션 턴이 길어질 수록 프롬프트 캐싱으로 인해 최대 90%까지 비용이 절감 되는데 model이나 effort 값이 이 캐싱의 Key 역할을 함(둘 중 하나만 바꿔도 캐시가 초기화 됨)
때문에 이를 변경하는건 캐시를 초기화하고 지금까지 쌓아둔 컨텍스트의 비용을 변경한 model, effort 에 따라 고스란히 비용을 부담해야 함
아 그리고 캐싱 시간은 1시간이므로 작업중에 자리를 너무 오래 비우지 말고 부지런히 하자.
1시간이 지나면 model, effort를 변경하지 않아도 고스란히 쌓인 context 크기에 따라 비용을 온전히 내야 함
claude는 처음 출시 시 사람들이 좋아하지만 다음 모델 출시가 가까워질 수록 사람들이 점점 불평을 합니다. (모델이 실제로 나빠진건지 기대치가 올라간건진 모르겠지만)
chatgpt는 모델 출시 직후 사람들이 불평을 합니다. openai팀은 그 의견을 수용하여 적절한 보상을 제공하며 빠르게 대응합니다. 점점 불평이 줄어듭니다.
투명성과 소통이 중요하다는걸 모두가 깨달아야 합니다.