בחירה מעניינת של deepseek לחזור לארכיטקטורת encoder-decoder, או כמו שהם קוראים לה casual encoder-decoder.
בעידן הסוכנים שקוראים המון המון (tool calls, קבצים וכו׳) ומשמרים קונטקסט מאוד ארוך, שלב הprefill הופך כאן לזול במיוחד.
בוא נראה איך זה הולך להם
https://t.co/qM18mGjHPL