L'ingénierie IA, ou AI engineering, est le procédé qui consiste à créer des applications IA se servant de modèles de fondations (foundation model) déjà existant.
Il est possible de connecter une base de données à un modèle pour que celui-ci l'utilise afin de générer de meilleurs résultats. Utiliser une base de données pour complémenter les instructions est une approche appelée la génération à enrichissement contextuel (RAG)
L'approche qui consiste à fournir à un modèle des instructions détaillés avec des exemples de résultat voulus est appelée l'ingénierie de prompt (prompt engineering)
Les modèles de fondations (foundation models), de par leur scalabilité et la façon dont ils sont entrainés, sont capables de réaliser un large éventail de tâches.
Open AI a utilisé une variante de l'apprentissage auto-supervisé qu'ils ont appelé "Natural Language Supervision" pour entrainer le modèle texte-image CLIP.
=> https://t.co/xSM7F474IU
On a tendance a encore qualifier ChatGPT ou Gemini de Large Language Model (LLM), mais ils sont plutôt des modèles de fondation désormais. Cela reflète mieux leurs importances dans l'écosystème et leurs capacités.
Un paramètre est une variable dans un modèle de Machine Learning qui est mis à jour durant le procédé d'entrainement du modèle. La taille d'un modèle est généralement définis par son nombre de paramètres.
Les modèles de langages peuvent être entrainé en utilisant l'apprentissage auto-supervisé tandis que d'autres modèles nécessitent un apprentissage supervisé.
Le mieux c'est de se matérialiser les modèles de langages comme une "machine à complétion": on lui donne un texte (le prompt) et il essaye de le compléter.
Un modèle conçus pour générer des données non prédéfinies est appelé génératif, d'où le terme d'IA générative. (ouais ils ne se sont pas trop fais chier pour le nom)
Un p'tit schéma des deux types de modèles de langage. L'autorégressif est le plus populaire aujourd'hui, c'est celui utilisé pour de la génération de texte parce qu'il peut produire un token après l'autre.
(je vous laisse compléter vous-même les prédictions...)
Un modèle de langage masqué (MLM) est entrainé pour prédire des tokens manquants n'importe où dans une séquence, en utilisant le contexte à la fois avant et après les tokens manquants. Grossièrement, il sait combler un texte à trous.
Je vais arrêter de réfléchir à du révolutionnaire à ce compte là, je vais créer une app où tu prends en photo ton caca au fond des chiottes et ça analyse ta santé.... 💩