KevinS

J'apprends, je m'entraine, je level up puis j'évolue en un Chrysacier moisi...

[KevinS @DoctorFateKS]

L'ingénierie IA, ou AI engineering, est le procédé qui consiste à créer des applications IA se servant de modèles de fondations (foundation model) déjà existant.

[KevinS @DoctorFateKS]

Le Réglage fin, ou finetuning, est le procédé consistant a "surentrainé" un modèle déjà entrainé, mais sur de nouvelles données de haute qualité.

[KevinS @DoctorFateKS]

Il est possible de connecter une base de données à un modèle pour que celui-ci l'utilise afin de générer de meilleurs résultats. Utiliser une base de données pour complémenter les instructions est une approche appelée la génération à enrichissement contextuel (RAG)

[KevinS @DoctorFateKS]

L'approche qui consiste à fournir à un modèle des instructions détaillés avec des exemples de résultat voulus est appelée l'ingénierie de prompt (prompt engineering)

[KevinS @DoctorFateKS]

Les modèles de fondations (foundation models), de par leur scalabilité et la façon dont ils sont entrainés, sont capables de réaliser un large éventail de tâches.

[KevinS @DoctorFateKS]

Open AI a utilisé une variante de l'apprentissage auto-supervisé qu'ils ont appelé "Natural Language Supervision" pour entrainer le modèle texte-image CLIP.

=> https://t.co/xSM7F474IU

[KevinS @DoctorFateKS]

La multimodalité permet à un modèle de générer le prochain token en utilisant des information venant de textes et de tokens visuels.

[KevinS @DoctorFateKS]

Un modèle qui peut travailler avec plusieurs type de données (texte, image, son, etc...) rentre dans le domaine de la multimodalité.

[KevinS @DoctorFateKS]

On a tendance a encore qualifier ChatGPT ou Gemini de Large Language Model (LLM), mais ils sont plutôt des modèles de fondation désormais. Cela reflète mieux leurs importances dans l'écosystème et leurs capacités.

[KevinS @DoctorFateKS]

Pourquoi les modèles les plus conséquent ont besoin d'encore plus de données ?

[KevinS @DoctorFateKS]

Un paramètre est une variable dans un modèle de Machine Learning qui est mis à jour durant le procédé d'entrainement du modèle. La taille d'un modèle est généralement définis par son nombre de paramètres.

[KevinS @DoctorFateKS]

A quel point un modèle de langage doit être grand pour pouvoir être qualifié de Grand Modèle de Langage (Large Language Model ou LLM) ?

[KevinS @DoctorFateKS]

Les modèles de langages peuvent être entrainé en utilisant l'apprentissage auto-supervisé tandis que d'autres modèles nécessitent un apprentissage supervisé.

[KevinS @DoctorFateKS]

Le mieux c'est de se matérialiser les modèles de langages comme une "machine à complétion": on lui donne un texte (le prompt) et il essaye de le compléter.

[KevinS @DoctorFateKS]

Un modèle conçus pour générer des données non prédéfinies est appelé génératif, d'où le terme d'IA générative. (ouais ils ne se sont pas trop fais chier pour le nom)

[KevinS @DoctorFateKS]

Un p'tit schéma des deux types de modèles de langage. L'autorégressif est le plus populaire aujourd'hui, c'est celui utilisé pour de la génération de texte parce qu'il peut produire un token après l'autre.

(je vous laisse compléter vous-même les prédictions...)

[KevinS @DoctorFateKS]

Un modèle de langage autorégressif est entrainé pour prédire le prochain token dans une séquence, mais en utilisant seulement les tokens précédents.

[KevinS @DoctorFateKS]

Un modèle de langage masqué (MLM) est entrainé pour prédire des tokens manquants n'importe où dans une séquence, en utilisant le contexte à la fois avant et après les tokens manquants. Grossièrement, il sait combler un texte à trous.

[KevinS @DoctorFateKS]

@mattieu_bsn Surement ouais 😅

[KevinS @DoctorFateKS]

Je vais arrêter de réfléchir à du révolutionnaire à ce compte là, je vais créer une app où tu prends en photo ton caca au fond des chiottes et ça analyse ta santé.... 💩

[Lois-AI @mattieu_bsn]

Quel est le Saas avec l'idée la plus nul que vous avez vu mais qui chiffre.

Je commence j'ai déja vu une app de réveil qui fait plus de 1M/month

[KevinS @DoctorFateKS]

Il existe deux types de modèle de langage: Les modèles de langage masqué (MLM) et les modèles de langage autorégressif.