@alex_borto@o2switch D’autres projets. Je pensais déjà changer le pricing actuel a terminé ma réflexion surtout que l’offre upgrade est overkill pour mes besoins.
Les techno sont donc : langchain JS, Next.JS et mistral. Maintenant c'est que le début juste pour voir si le principe fonctionne, il va falloir tester avec des docs, faire l'ui, les routes et cie... mais content de ce début :)
Hier j'ai découvert Langchain et créé les briques d'un début de RAG avec le modele mistral. Je charge le PDF il le découpe fait les chunks, vectorise et stock dans supabase. Ensuite l'user peux taper une requête et comparaison entre les vectors de la requête et la db mais...
J'ai touvé le Saint-Graal une lib react-pdf qui permet d'extraire le texte d'un pdf. J'ai ensuite coder une petite fonction pour découper puis j'envoie à la volée pour chunck le tout. je stock les vectors embeddings et lets go ! Il m'a fallu 5h bordel...
@Anthyra_dev J’ai testé codestral / DeepSeek r1 / codellama rien de satisfaisant pour ma part. Modèles en dessous de 14B je peux pas faire tourner plus. Par contre en ce moment Gemini flash 2 à remplacer Claude et je dois dire que je suis bluffé !
@thibaut3691 Pour être plus précis : Je souhaite un isolement des données qui peuvent être sensibles. Je m’interroge donc sur soit l’hébergement d’un llm ou l’utilisation de api mistral. Tout en ayant conscience qu’un prompt pourrait peut-être exposer des choses…
Question : si j'ai envie d'héberger un modele LLM dans le cloud qui serait accessibilité au utilisateur ou chaque utilisateur aurait son IA personnalisée (en gros avec ses propres documents) comment je pourrais m'y prendre ?
(question naïve c'est de la curiosité)