Super

DeNoise, DeNoise, DeNoise, =Supersl6

[Super @SuperSl6]

Although we use it in RLHF it serves a different purpose :)

I hope in the future we wont rely on Autoregressive techniques to produce text (maybe something like text diffusion)

[Super @SuperSl6]

The most interesting thing about it is that LLMs use forward kl

The same as classification
((Even when generating new text it simply predicting a class))

Unlike image generation(DDPM, Vaes,…)

[Super @SuperSl6]

Forward KL vs Reversed KL

من أساسيات الـ
AI
اللي المفروض تعرفهم راح تشوفهم كثير: من الـ
Classification
إلى الـ
Generation

[Super @SuperSl6]

I hate mixing English with Arabic :(

[Super @SuperSl6]

Forward KL vs Reversed KL

من أساسيات الـ
AI
اللي المفروض تعرفهم راح تشوفهم كثير: من الـ
Classification
إلى الـ
Generation

[Super @SuperSl6]

If you want to perform a classification task (Supervised task)

Just remove the last fully connected layer and replace it with new one and fine-tune it.

The first CNN layers contains rich information it will do most of the job

اقوى من ال supervised train from scratch

[Super @SuperSl6]

Self supervised learning
تخيل عندك صورة غطيت جزء منها وخليت المودل يتوقع الجزء اللي صار له mask طيب تخيل عندك صورتين لنفس الشي وتبغا المودل يقرب هذي الصورتين من بعض لمن يسوي لهم Embedding
طيب تخيل عندك نص وتبغا الكلمة اللي ممكن تجي بعدها

كل هذي المهام بدون Human-labelled
يتبع.

[Super @SuperSl6]

الأفكار مره كثيرة لكن الهدف واحد
نجبر المودل يتعلم ال data distribution ويتعلم ال features بشكل ادق

طيب وش الخطوة اللي بعدها؟

[Super @SuperSl6]

Vision Transformer
تخيل مودل صور بس بدون conv ونتائجه افضل (if and u have enough data)
All because of attention

[Super @SuperSl6]

@leetm5n الله يبارك فيك يا أنس والشكر لك على كل ماقدمته لي خلال الرحله ❤️🫡

[Super @SuperSl6]

﴿ و آخرُ دَعْواهُمْ أَن الْحَمْدُ لِلَّهِ ربِّ الْعالمِينَ ﴾
الحمدالله ما انتهى درب و ما خُتمَ جهد ولا تم سعي إلا بفضله، و الحمدلله الذي يسّر لنا البدايات و بَلغنا النهايات، تم تخرجي من جامعة ام القرى بكلية الحاسبات
وحصولي على درجة البكالوريوس مع مرتبة الشرف في تخصص الـ AI

[Super @SuperSl6]

@0x1o1 ياهلاا فوااز ❤️
الله يبارك فيك يارب، وياك يارب 🤲

[Super @SuperSl6]

@YasserLuq @_Slenko @A_Alahmadi21 @M_Almufarriji @_vsoq @OP_KHH

[Super @SuperSl6]

عشوائيات:

@??
@YasserLuq
@_Slenko
@A_Alahmadi21
@M_Almufarriji
@SuperSl6
@_vsoq
@OP_KHH

[Super @SuperSl6]

It finally came out!

[Super @SuperSl6]

Classic image generation 😀
Before Diffusion models