세션 중간에 model이나 effort를 변경하는건 비용이 많이 든다. (컨텍스트가 많이 쌓여있을 수록)
그러니 세션 시작 할 때 작업에 따라 model이랑 effort를 정해놓고 하자
세션 턴이 길어질 수록 프롬프트 캐싱으로 인해 최대 90%까지 비용이 절감 되는데 model이나 effort 값이 이 캐싱의 Key 역할을 함(둘 중 하나만 바꿔도 캐시가 초기화 됨)
때문에 이를 변경하는건 캐시를 초기화하고 지금까지 쌓아둔 컨텍스트의 비용을 변경한 model, effort 에 따라 고스란히 비용을 부담해야 함
아 그리고 캐싱 시간은 1시간이므로 작업중에 자리를 너무 오래 비우지 말고 부지런히 하자.
1시간이 지나면 model, effort를 변경하지 않아도 고스란히 쌓인 context 크기에 따라 비용을 온전히 내야 함
저는 사람들이 2번을 원할거라 생각하고 2번처럼 운영하고 싶었는데 자꾸 1번처럼 하게 돼서 고민이 되더라고요.
근데 람쥐님은 1번이 더 좋으신가 보네요!
전 타임라인에 유용한 정보만 나오길 바래서 다른 사람들도 그럴거라 생각했습니다.
이상한 댓글 달고 다니고 그러면 저 팔로우 한 사람들한테 그런게 계속 노출 되서 언팔 당할거라 생각했거든요.