@nsi_xyz@ItsmeAjayKV Sûrement des générations plus longues.
Le token généré coûte 5x le token préfillé, et 500x le token caché.
Dans le cas pathologique, on peut donc avoir un rapport 500 à nombre de token identique.
J'ai un cache hit de 100%... Pour les conversations déjà préfillé.
Les 8% viennent des nouveaux inputs que le serveur n'a jamais vu, 99% pour toi signifie surtout que tu as des grosses conv avec peu d'ajouts par tour.
Après oui deepseek a un rapport qualité-prix démentiel, ça ne m'étonne pas qu'il gagne. Mais je trouve mon qwen largement meilleur pour mes besoins.
@Sanssoussis Il faut un peu plus de temps aux 6e, mais dans l'idée c'est ce que je fait: gentiment expliquer au début, après quelque temps avertir que ça ne passera pas la prochaine fois, et sanction si ça persiste (mais il y rarement besoin d'arriver jusque là)
Sur moins d'un mois:
- 56M tokens générés
- 392M tokens préfillés
- 4 470M tokens de cache hit.
Au prix cloud de qwen 27b, ça représente ~700€.
Faire tourner 24h/24 ma config 1000W à 0.20€/KWh pendant 1 mois coûte 144€ en électricité (mais ça ne tourne pas 24h/24h, ni 1000W en continue. En vrai je suis à ~50€)
Le cache-hit est pour une grosse partie de l'économie. Aussi, n-gram & MTP permettent des gros gains de vitesse ponctuels, là où le cloud propose un prix / token fixe indépendamment du compute réel.
Le gain est sur-estimé, parce que qwen 27b cloud n'a pas du tout le meilleurs rapport qualité-prix. Mais je préfère comparer ce qui est comparable.
"gros hardware" ça dépend de ce qu'on veut faire. Il y a des usages pour n'importe quel GPU.
Résoudre Navier-Stokes non bien sûr, mais de la correction du code/chat basique, ça peut se faire.
Plus lent, moins intelligent, demande de mettre les mains dans le cambouis... Mais moins cher, contrôle 100% de l'infra (pas de modèle qui change sans te le dire), sécurité des données (pouvoir faire un corriger un mail ou des appréciations sans caviarder les données perso c'est quand même cool)
Perso je ne me prend pas la tête: vérification pendant l'éval que tout le monde a mis son prénom.
Idem avec l'ensemble des erreurs "bêtes" de consignes, particulièrement au début de l'année: recopie le numéro de la question, ne répond pas sur le sujet, ouvre la copie double au lieu de passer de page 1 à page 4, constructions au crayon à papier, ratures illisibles...
Je préfère réagir quand il est encore temps que d'être devant le dilemme mettre tout faux (très punitif) vs mettre bon (n'encourage pas l'élève à se corriger la prochaine fois)
Et sinon, personne dans les commentaires pour dire combien c’est agaçant à chaque éval d’avoir des copies sans nom, parfois 10 à 20 % de l’ensemble même en 3e ?
Ça veut dire :
Interrompre le début du cours pour rechercher l’autrice / auteur
deuxième entrée des notes
@versac En one-shot ça ne m'étonne pas.
En lui donnant un logiciel d'illustration + boucle essais erreurs + accès à de la doc, ça serait sûrement bien meilleur.
Certain ont du mal à comprendre que c'est souvent... Juste drôle, sans aucun ressentiment vis à vis de l'élève.
Les miens disent / font des trucs qui me plient en deux tellement c'est absurde... Puis rient avec moi quand ils se rendent compte de leur bêtise. Et on passe à la suite.
Donc j'ai l'interprétation inverse: les gens qui rentrent de leur journée de travail sans avoir la moindre interaction humaine rigolote à raconter, c'est peut-être eux qui un job "minable".
Passons sur le fait de râler contre les gens qui racontent leur vie dans un espace dédié aux gens qui racontent leur vie.
J’ai trop du mal à concevoir qu’on vit avec des gens qui viennent afficher leurs élèves / patients / clients, ici, quand ils rentrent de leur minable journée de travail
-> Ne répond à rien de ce que j'écrit (ne l'a certainement pas lu)
-> "vous croire le seule concerné" sorti de nulle part
-> "moi je fais pas ça" utilisé comme argument d'autorité
-> "Le devoirs de réserve on ne vous en à jamais parler ?" par quelqu'un qui ne sait visiblement pas ce que c'est (en le confondant sûrement avec une mauvaise interprétation du secret professionnel)
ça sent très fort le troll qui a envie d'être bloqué tout ça...
Sur la théorie ok. Sur la pratique, les RS sont précisément un nouveau lieu social à cheval entre privé et publique.
Et si vous ne supportez pas les blagues de prof, je me demande qu'est ce que vous faîtes là: quelle % de votre TL est composée uniquement de messages privés?
Les censeurs à la petite semaine c'est fatiguant.
Bah.... Non.
Déjà cette guerre était inévitable, les deux dictatures que tout opposait idéologiquement auraient finit par se mettre sur la gueule.
La stratégie soviet était de gagner du temps + espérer que les belligérants se saignent à blanc pour envahir toute l'Europe d'un coup.
La victoire rapide a été une sacrée douche froide pour eux
Côté Hitler, la stratégie était surtout d'utiliser les ressources de l'URSS pour annuler les effets du blocus, et avec les 2/3 de l'armée démobilisée et envoyée dans les usines construire une flotte capable de vaincre la royal navy.
@anaklusm0s_@huguesdelamure "il lui manque l'utilisation est tools"
Oui donc le moyen-âge des LLM, ils n'ont pas "un peu de retard".
On peut valoriser le fait d'être dans la course sans cacher le fait qu'ils sont bon derniers.
@MathdeProf Je donne du travail à faire pour le 18.09 à une classe de 6e.
Alors qu'il s'apprête à écrire le travail dans son agenda, un élève me dit "monsieur, comme le travail doit être fait pour 18h09, j'écris qu'il est à faire pour aujourd'hui ?" 😁😁😁
Quelle est la fausse croyance la plus répandue en pédagogie ?
Je commence : On peut réduire le temps consacré à l'enseignement du français et des maths en élémentaire au profit des autres matières car dans les autres matières on fait aussi du français et des maths.