Scoot

Currently Learning Korean
Pfp by bbang
Socials:
Discord: scoot01

Newbie StoryEngine Creator: 1 Chat done!

[Scoot @SEScootster]

Finished!
Love at Sea! is completed and ready to go! Please check it out.

https://t.co/F9wfHq0FQN

[Scoot @SEScootster]

@BurnFrozenTuna HAPPY BIRTHDAY!

[Scoot @SEScootster]

#StoryEngine #AI
https://t.co/kFfmxdaiE4

Weekly Share: TLDR I try to make everyone happy one beast folk at a time starting with May and then Mimi. (Mimi is shown for this time.)

[Scoot @SEScootster]

Update: We have finished half the images for our new chat. It should be released by the end of the week hopefully.

By the way, if you have a way to mass produce images by means of a UI, please let me know. I currently use ComfyUI and producinng 1 by 1 is slow.

[먹물치킨 @kuro_7474]

다음 신작 표지인데 매우 잘 나온거 같다.

귀여움

[Scoot @SEScootster]

Weekly Share: More headpats (Story chat by FantaSimu)

[벼리아 @gasi95186688]

https://t.co/JxJQFIecsJ

신작 출시 했습니다! 많은 관심 부탁드려요!

[Scoot @SEScootster]

So cute lol. Tuna is the best

[냉동참치/冷凍ツナ @BurnFrozenTuna]

내 이름은 김참치
꼼지락 거리는거 만들고 있는 생선이다

Background: SDXL
Character: Novel Ai
Editing method: Manual frame-by-frame compositing

[Scoot @SEScootster]

매우 중요합니다

[세렌티아 @alegro7t]

선생님들 제발 2차인증이랑 비번좀 자주바꿔주세요...

[Scoot @SEScootster]

I made a discord!

https://t.co/5HYuWRnv0F

[Scoot @SEScootster]

Please go support if you can.

[Scoot @SEScootster]

#storyengine

Do I even need to say more? I never thought that would count as a roast. Or is it a complement?

[Scoot @SEScootster]

@Saffron10099 Big love. 몸 조심하세요. 서두르지 마세요

[Scoot @SEScootster]

@BurnFrozenTuna 알겠습니다

[Scoot @SEScootster]

My Weekly Share: https://t.co/95hyyc52by

[Scoot @SEScootster]

@milk930215 Yay!

[Scoot @SEScootster]

@BurnFrozenTuna 물고기는 치료가 필요합니다

[냉동참치/冷凍ツナ @BurnFrozenTuna]

오늘따라 투덜이 많은 김참치
오늘의 투덜투덜은 이거 까지만 투덜투덜투덜 하고갈게요.

자, 이야기에 앞서

참치가, 왜 이런이야기를 하게 되었는가를 알아보자면,
일단 LLM...그니까 대화모델중엔 가만히 보면, 추론량을 고를수 있는애들이 있고
없는 애들이 있단 말이죠?

그리고, 없는애들은 플랫폼마다 약간 고정형이나 그런것도 있지만
적어도 참치가 활동하는 곳은 사실상 무추론 모델이 맞아요

결론부터 말하고 보면, 묘사 지침을 아무리 올려도 이건 해결이 안돼요
그게 무추론 모델의 현실이에요

저희가 보통 유저분들이 채팅한번 시도할때 LLM이 거치는 구조는 간단하게,
원본 LLM → 플랫폼의 설정 → 챗크리에이터의 데이터 → 유저 페르소나 → 유저의 텍스트 인풋

이게 대화가 길어지면, 모델이 점점 앞을 안봐요 특히 무추론은 더 안봐요
앞이랑 끝을 보기는 하는데, 중간을 날려벼려요
(참고자료: https://t.co/idoG6wlcUm)
(참고자료: https://t.co/nOBMaMjm7n)
거기다 턴 쌓일수록 Sys 충실도 자체가 attention decay로 감쇠하구요
(참고자료: https://t.co/sirPm6GR6v)

그니까 쉽게 말하면,
`멀리 있는 내용` < `눈앞의 내용`
이 느낌이 되는거고
5~60 턴쯤이 그 임계점 언저리인거고
진짜 대단한 사람들거는 그 위도 가능은 하겠지만 그래봐야 100인거고

이 상황에서,
추론모델과 무추론 모델이 차이가 발생해요.
추론 형은 매 턴 사고에서 레이어를 끌어와요
`확립된 맥락 = RP, 합의됨, system적 허용, → 계속` 요런느낌으로 스스로 재구성하는데,
실제로 추론 모델은 답하기 전에 안전 규정을 명시적으로 떠올려 추론하게 훈련 되거든용?
그래서 탈옥 저항같은게 올라가면서 과잉거부는 오히려 내려가는데,
(참고자료: https://t.co/4BoApf5seX)

무추론은...어... 이게...없죠.
거부하까? 맥락상 허용인가? 이 상황을 단일 forward pass에서 처리하니까
눈앞 내용이, 경계로 닿으면 그냥 거부로 스냅되는거죠
스스로 설득해서 본 궤도로 돌아오는 과정은 없어요
왜 무추론인데... "無"推論 이에요

이게 저흰 한 시스템으로 여러개의 LLM을 견뎌야 해요
그래서 솔직히 전부 커버가 물리적으로 어려워요
지난번에도 말했지만 모델마다 방향성이나 목적이나 추론과정이 완전히 다르니까

거기다 SFT 데이터가 짧은 턴 위주였으면
80~100턴은 그냥 학습 분포 밖(OOD)이라
파인튜닝이 눌러놨던 베이스 거부 성향이 다시 기어나오게 되죵?
멀티턴 누적 열화는 덤이구요 상위 모델도 멀티턴에서 최대 39%까지 깨진다는 연구 있었던거 같거든요
(참고자료: https://t.co/nOBMaMjm7n)

아 오늘 정말 뗴엥엥을 많이하는 것 같은데...
더워서 그르나...

[Scoot @SEScootster]

Update: Currently making the images for the upcoming chats. It will be based off magical girls.

Hope to see you try it!

업데이트: 곧 진행될 채팅을 위한 이미지를 현재 제작 중입니다. 마법소녀를 주제로 할 예정입니다.

여러분도 꼭 참여해 보시길 바랍니다!