@1red2black Это не так работает. Активные параметры нельзя загрузить на GPU, они в каждом слое на каждый токен (позицию в attention) свои будут, придется постоянно туда-сюда выгружать. Но можно загрузить часть сети, которая часто используется и выгружать. Это немного ускорит vs only CPU.
@lilydavay Собственно почти вся современная математика - это прикладная штука, которая возникла из физики и других наук. Поэтому куда не плюнь встречается логарифм и пр. Например, даже нейросети возвращают часто логарифм вероятности и т.п.
@lemire What about spaces? "If you offered young people four years at a prestigious university for free — on the condition that they could never mention they attended it — few would accept."