Faraz Dadgostari

@FDadgostari

Assistant Professor, Operations Research, (Inverse) Reinforcement Learning, Computational Intelligence, Human-AI Systems, Game Theory, Law & Comp-Economics

Bozeman, MT

Joined December 2019

347 Following

91 Followers

120 Posts

FDadgostari retweeted

mehdi mahmoudian

@MahmoudianMe

5 months ago

‍ مسئول اصلی این روزگار هولناک شخص علی خامنه‌ای و ساختار فاسد نظام حاکم است بیانیه سوم ۱۷ تن مردم شریف، شجاع و داغدار ایران، 🔹کشتارِ ‌گسترده و جمعیِ جان‌به‌لب‌رسیدگانِ حق‌طلبی که شجاعانه راهی خیابان شدند تا به این نظام نامشروع پایان دهند، یک جنایت سازمان‌یافته حکومتی علیه بشریت بود. شلیک مستقیم گلوله‌های جنگی به مردم، ستاندنِ ده‌هاهزار جان، تعقیب و بازداشت چندده‌هزار تن، تعرض به زخمی‌ها، جلوگیری از درمان و حتی کشتن‌ آنان، نامی جز اقدام علیه امنیت ملت ایران و خیانت به وطن ندارد. مسئول اصلی این روزگار هولناک شخص رهبر جمهوری اسلامی و ساختار سرکوبگر نظام حاکم است؛ ساختار خودکامه‌ای که برای بقا از کشته پشته ساخت. بی‌اعتنا به اینکه خواست شهروندان حتی برای تغییر نظام سیاسی، از حقوق اساسی و بدیهی ملت است و حاکمیت حق ندارد با انگ‌های رسوایی چون «فتنه‌گر» «اغتشاش‌گر و تخریب‌گر» و یا «تروریست و وابسته به دشمن» حق بنیادین تعیین سرنوشت را از مردم سلب کند. 🔹تکرار تلخ تجارب چند دهه اخیر نشان داده است، که مانع اصلی نجات ایران از مهلکه‌ی حاضر شخص علی خامنه‌ای و نظام استبداد دینی است، که هر روز بقای آن، گرد مرگ و نابودی بیشتر می‌پاشد، فروپاشی جامعه را گسترده‌تر می‌کند و سقوط میهن را در ورطهٔ ویرانی عمیق‌تر. چنانچه دهه‌ها ایران را در میان بحران‌های ناشی از سیاست‌های ستیزه‌جویانه نگه داشت و اکنون احتمال جنگ در نتیجه‌ی تداوم این حاکمیت، بیش‌ از همیشه بر کشور سایه انداخته است. 🔹در این بزنگاه تاریخی که آتیه میهن تاریک‌تر از هر زمان دیگر شده است، وظیفه خود‌ میدانیم بر لزوم دادخواهی کشته‌شدگان و آزادی همه زندانیان سیاسی تاکید کنیم. ما با آنکه آگاهیم قدرت کور هرگز به تغییر تن‌ نخواهد داد، اما تنها راه نجات ایران را در محاکمه تمامی آمران و عاملان دستگاه سرکوب و پایان‌بخشی به نظام ناجمهوری و غیر انسانی حاکم می‌دانیم. تا با تشکیل جبهه فراگیر ملی برای برگزاری رفراندوم و تشکیل مجلس مؤسسان، همه مردم ایران از تمام سلایق سیاسی بتوانند در فرآیندی دموکراتیک و آگاهانه برای آینده سیاسی خود تصمیم بگیرند. 🔹هشدار که جز این، کشور دچار چرخه خشونت خانمان سوز خواهد شد. 🔹باشد که آفتاب آزادی بر مردم و میهن ما طلوع کند. 🔹۸ بهمن ۱۴۰۴ ✍️قربان بهزادیان‌نژاد، جعفر پناهی، امیرسالار داودی، ویدا ربانی، محمد رسول‌اف، حسین رزاق، نسرین ستوده، ابوالفضل قدیانی، حاتم قادری، عباس صادقی، منظر ضرابی، بنیاد نرگس، مهدی محمودیان، سعید مدنی، عبدالله مومنی، محمد نجفی، صدیقه وسمقی @MahmoudianMehdi

195

79K

FDadgostari retweeted

Narges Mohammadi | نرگس محمدی

@nargesfnd

5 months ago

مسئول اصلی این روزگار هولناک شخص علی خامنه‌ای و ساختار فاسد نظام حاکم است مردم شریف، شجاع و داغدار ایران، کشتارِ ‌گسترده و جمعیِ جان‌به‌لب‌رسیدگانِ حق‌طلبی که شجاعانه راهی خیابان شدند تا به این نظام نامشروع پایان دهند، یک جنایت سازمان‌یافته حکومتی علیه بشریت بود. شلیک مستقیم گلوله‌های جنگی به مردم، ستاندنِ ده‌هاهزار جان، تعقیب و بازداشت چندده‌هزار تن، تعرض به زخمی‌ها، جلوگیری از درمان و حتی کشتن‌ آنان، نامی جز اقدام علیه امنیت ملت ایران و خیانت به وطن ندارد. مسئول اصلی این روزگار هولناک شخص رهبر جمهوری اسلامی و ساختار سرکوبگر نظام حاکم است؛ ساختار خودکامه‌ای که برای بقا از کشته پشته ساخت. بی‌اعتنا به اینکه خواست شهروندان حتی برای تغییر نظام سیاسی، از حقوق اساسی و بدیهی ملت است و حاکمیت حق ندارد با انگ‌های رسوایی چون «فتنه‌گر» «اغتشاش‌گر و تخریب‌گر» و یا «تروریست و وابسته به دشمن» حق بنیادین تعیین سرنوشت را از مردم سلب کند. تکرار تلخ تجارب چند دهه اخیر نشان داده است، که مانع اصلی نجات ایران از مهلکه‌ی حاضر شخص علی خامنه‌ای و نظام استبداد دینی است، که هر روز بقای آن، گرد مرگ و نابودی بیشتر می‌پاشد، فروپاشی جامعه را گسترده‌تر می‌کند و سقوط میهن را در ورطهٔ ویرانی عمیق‌تر. چنانچه دهه‌ها ایران را در میان بحران‌های ناشی از سیاست‌های ستیزه‌جویانه نگه داشت و اکنون احتمال جنگ در نتیجه‌ی تداوم این حاکمیت، بیش‌ از همیشه بر کشور سایه انداخته است. در این بزنگاه تاریخی که آتیه میهن تاریک‌تر از هر زمان دیگر شده است، وظیفه خود‌ میدانیم بر لزوم دادخواهی کشته‌شدگان و آزادی همه زندانیان سیاسی تاکید کنیم. ما با آنکه آگاهیم قدرت کور هرگز به تغییر تن‌ نخواهد داد، اما تنها راه نجات ایران را در محاکمه تمامی آمران و عاملان دستگاه سرکوب و پایان‌بخشی به نظام ناجمهوری و غیر انسانی حاکم می‌دانیم. تا با تشکیل جبهه فراگیر ملی برای برگزاری رفراندوم و تشکیل مجلس مؤسسان، همه مردم ایران از تمام سلایق سیاسی بتوانند در فرآیندی دموکراتیک و آگاهانه برای آینده سیاسی خود تصمیم بگیرند. هشدار که جز این، کشور دچار چرخه خشونت خانمان سوز خواهد شد. باشد که آفتاب آزادی بر مردم و میهن ما طلوع کند. ۸ بهمن ۱۴۰۴ جعفر پناهی، قربان بهزادیان‌نژاد، امیرسالار داودی، ویدا ربانی، محمد رسول‌اف، حسین رزاق، نسرین ستوده، ابوالفضل قدیانی، حاتم قادری، عباس صادقی، منظر ضرابی، بنیاد نرگس، مهدی محمودیان، سعید مدنی، عبدالله مومنی، محمد نجفی، صدیقه وسمقی

nargesfnd's tweet photo. مسئول اصلی این روزگار هولناک شخص علی خامنه‌ای و ساختار فاسد نظام حاکم است

مردم شریف، شجاع و داغدار ایران،

کشتارِ ‌گسترده و جمعیِ جان‌به‌لب‌رسیدگانِ حق‌طلبی که شجاعانه راهی خیابان شدند تا به این نظام نامشروع پایان دهند، یک جنایت سازمان‌یافته حکومتی علیه بشریت بود. شلیک مستقیم گلوله‌های جنگی به مردم، ستاندنِ ده‌هاهزار جان، تعقیب و بازداشت چندده‌هزار تن، تعرض به زخمی‌ها، جلوگیری از درمان و حتی کشتن‌ آنان، نامی جز اقدام علیه امنیت ملت ایران و خیانت به وطن ندارد. مسئول اصلی این روزگار هولناک شخص رهبر جمهوری اسلامی و ساختار سرکوبگر نظام حاکم است؛ ساختار خودکامه‌ای که برای بقا از کشته پشته ساخت. بی‌اعتنا به اینکه خواست شهروندان حتی برای تغییر نظام سیاسی، از حقوق اساسی و بدیهی ملت است و حاکمیت حق ندارد با انگ‌های رسوایی چون «فتنه‌گر» «اغتشاش‌گر و تخریب‌گر» و یا «تروریست و وابسته به دشمن» حق بنیادین تعیین سرنوشت را از مردم سلب کند.

تکرار تلخ تجارب چند دهه اخیر نشان داده است، که مانع اصلی نجات ایران از مهلکه‌ی حاضر شخص علی خامنه‌ای و نظام استبداد دینی است، که هر روز بقای آن، گرد مرگ و نابودی بیشتر می‌پاشد، فروپاشی جامعه را گسترده‌تر می‌کند و سقوط میهن را در ورطهٔ ویرانی عمیق‌تر. چنانچه دهه‌ها ایران را در میان بحران‌های ناشی از سیاست‌های ستیزه‌جویانه نگه داشت و اکنون احتمال جنگ در نتیجه‌ی تداوم این حاکمیت، بیش‌ از همیشه بر کشور سایه انداخته است.

در این بزنگاه تاریخی که آتیه میهن تاریک‌تر از هر زمان دیگر شده است، وظیفه خود‌ میدانیم بر لزوم دادخواهی کشته‌شدگان و آزادی همه زندانیان سیاسی تاکید کنیم. ما با آنکه آگاهیم قدرت کور هرگز به تغییر تن‌ نخواهد داد، اما تنها راه نجات ایران را در محاکمه تمامی آمران و عاملان دستگاه سرکوب و پایان‌بخشی به نظام ناجمهوری و غیر انسانی حاکم می‌دانیم. تا با تشکیل جبهه فراگیر ملی برای برگزاری رفراندوم و تشکیل مجلس مؤسسان، همه مردم ایران از تمام سلایق سیاسی بتوانند در فرآیندی دموکراتیک و آگاهانه برای آینده سیاسی خود تصمیم بگیرند.

هشدار که جز این، کشور دچار چرخه خشونت خانمان سوز خواهد شد.

باشد که آفتاب آزادی بر مردم و میهن ما طلوع کند.

۸ بهمن ۱۴۰۴

جعفر پناهی، قربان بهزادیان‌نژاد، امیرسالار داودی، ویدا ربانی، محمد رسول‌اف، حسین رزاق، نسرین ستوده، ابوالفضل قدیانی، حاتم قادری، عباس صادقی، منظر ضرابی، بنیاد نرگس، مهدی محمودیان، سعید مدنی، عبدالله مومنی، محمد نجفی، صدیقه وسمقی

677

410

99K

FDadgostari retweeted

عبدالله مومنی Abdollah Momeni

@abmomeni

5 months ago

مسئول اصلی این روزگار هولناک شخص علی خامنه‌ای و ساختار فاسد نظام حاکم است بیانیه سوم ۱۷ تن مردم شریف، شجاع و داغدار ایران، کشتارِ ‌گسترده و جمعیِ جان‌به‌لب‌رسیدگانِ حق‌طلبی که شجاعانه راهی خیابان شدند تا به این نظام نامشروع پایان دهند، یک جنایت سازمان‌یافته حکومتی علیه بشریت بود. شلیک مستقیم گلوله‌های جنگی به مردم، ستاندنِ ده‌هاهزار جان، تعقیب و بازداشت چندده‌هزار تن، تعرض به زخمی‌ها، جلوگیری از درمان و حتی کشتن‌ آنان، نامی جز اقدام علیه امنیت ملت ایران و خیانت به وطن ندارد. مسئول اصلی این روزگار هولناک شخص رهبر جمهوری اسلامی و ساختار سرکوبگر نظام حاکم است؛ ساختار خودکامه‌ای که برای بقا از کشته پشته ساخت. بی‌اعتنا به اینکه خواست شهروندان حتی برای تغییر نظام سیاسی، از حقوق اساسی و بدیهی ملت است و حاکمیت حق ندارد با انگ‌های رسوایی چون «فتنه‌گر» «اغتشاش‌گر و تخریب‌گر» و یا «تروریست و وابسته به دشمن» حق بنیادین تعیین سرنوشت را از مردم سلب کند. تکرار تلخ تجارب چند دهه اخیر نشان داده است، که مانع اصلی نجات ایران از مهلکه‌ی حاضر شخص علی خامنه‌ای و نظام استبداد دینی است، که هر روز بقای آن، گرد مرگ و نابودی بیشتر می‌پاشد، فروپاشی جامعه را گسترده‌تر می‌کند و سقوط میهن را در ورطهٔ ویرانی عمیق‌تر. چنانچه دهه‌ها ایران را در میان بحران‌های ناشی از سیاست‌های ستیزه‌جویانه نگه داشت و اکنون احتمال جنگ در نتیجه‌ی تداوم این حاکمیت، بیش‌ از همیشه بر کشور سایه انداخته است. در این بزنگاه تاریخی که آتیه میهن تاریک‌تر از هر زمان دیگر شده است، وظیفه خود‌ میدانیم بر لزوم دادخواهی کشته‌شدگان و آزادی همه زندانیان سیاسی تاکید کنیم. ما با آنکه آگاهیم قدرت کور هرگز به تغییر تن‌ نخواهد داد، اما تنها راه نجات ایران را در محاکمه تمامی آمران و عاملان دستگاه سرکوب و پایان‌بخشی به نظام ناجمهوری و غیر انسانی حاکم می‌دانیم. تا با تشکیل جبهه فراگیر ملی برای برگزاری رفراندوم و تشکیل مجلس مؤسسان، همه مردم ایران از تمام سلایق سیاسی بتوانند در فرآیندی دموکراتیک و آگاهانه برای آینده سیاسی خود تصمیم بگیرند. هشدار که جز این، کشور دچار چرخه خشونت خانمان سوز خواهد شد. باشد که آفتاب آزادی بر مردم و میهن ما طلوع کند. ۸ بهمن ۱۴۰۴ قربان بهزادیان‌نژاد، جعفر پناهی، امیرسالار داودی، ویدا ربانی، محمد رسول‌اف، حسین رزاق، نسرین ستوده، ابوالفضل قدیانی، حاتم قادری، عباس صادقی، منظر ضرابی، بنیاد نرگس، مهدی محمودیان، سعید مدنی، عبدالله مومنی، محمد نجفی، صدیقه وسمقی

abmomeni's tweet photo. مسئول اصلی این روزگار هولناک شخص علی خامنه‌ای و ساختار فاسد نظام حاکم است

بیانیه سوم ۱۷ تن

مردم شریف، شجاع و داغدار ایران،

کشتارِ ‌گسترده و جمعیِ جان‌به‌لب‌رسیدگانِ حق‌طلبی که شجاعانه راهی خیابان شدند تا به این نظام نامشروع پایان دهند، یک جنایت سازمان‌یافته حکومتی علیه بشریت بود. شلیک مستقیم گلوله‌های جنگی به مردم، ستاندنِ ده‌هاهزار جان، تعقیب و بازداشت چندده‌هزار تن، تعرض به زخمی‌ها، جلوگیری از درمان و حتی کشتن‌ آنان، نامی جز اقدام علیه امنیت ملت ایران و خیانت به وطن ندارد. مسئول اصلی این روزگار هولناک شخص رهبر جمهوری اسلامی و ساختار سرکوبگر نظام حاکم است؛ ساختار خودکامه‌ای که برای بقا از کشته پشته ساخت. بی‌اعتنا به اینکه خواست شهروندان حتی برای تغییر نظام سیاسی، از حقوق اساسی و بدیهی ملت است و حاکمیت حق ندارد با انگ‌های رسوایی چون «فتنه‌گر» «اغتشاش‌گر و تخریب‌گر» و یا «تروریست و وابسته به دشمن» حق بنیادین تعیین سرنوشت را از مردم سلب کند.

تکرار تلخ تجارب چند دهه اخیر نشان داده است، که مانع اصلی نجات ایران از مهلکه‌ی حاضر شخص علی خامنه‌ای و نظام استبداد دینی است، که هر روز بقای آن، گرد مرگ و نابودی بیشتر می‌پاشد، فروپاشی جامعه را گسترده‌تر می‌کند و سقوط میهن را در ورطهٔ ویرانی عمیق‌تر. چنانچه دهه‌ها ایران را در میان بحران‌های ناشی از سیاست‌های ستیزه‌جویانه نگه داشت و اکنون احتمال جنگ در نتیجه‌ی تداوم این حاکمیت، بیش‌ از همیشه بر کشور سایه انداخته است.

در این بزنگاه تاریخی که آتیه میهن تاریک‌تر از هر زمان دیگر شده است، وظیفه خود‌ میدانیم بر لزوم دادخواهی کشته‌شدگان و آزادی همه زندانیان سیاسی تاکید کنیم. ما با آنکه آگاهیم قدرت کور هرگز به تغییر تن‌ نخواهد داد، اما تنها راه نجات ایران را در محاکمه تمامی آمران و عاملان دستگاه سرکوب و پایان‌بخشی به نظام ناجمهوری و غیر انسانی حاکم می‌دانیم. تا با تشکیل جبهه فراگیر ملی برای برگزاری رفراندوم و تشکیل مجلس مؤسسان، همه مردم ایران از تمام سلایق سیاسی بتوانند در فرآیندی دموکراتیک و آگاهانه برای آینده سیاسی خود تصمیم بگیرند.

هشدار که جز این، کشور دچار چرخه خشونت خانمان سوز خواهد شد.

باشد که آفتاب آزادی بر مردم و میهن ما طلوع کند.

۸ بهمن ۱۴۰۴

قربان بهزادیان‌نژاد، جعفر پناهی، امیرسالار داودی، ویدا ربانی، محمد رسول‌اف، حسین رزاق، نسرین ستوده، ابوالفضل قدیانی، حاتم قادری، عباس صادقی، منظر ضرابی، بنیاد نرگس، مهدی محمودیان، سعید مدنی، عبدالله مومنی، محمد نجفی، صدیقه وسمقی

212

235

85K

FDadgostari retweeted

Darden School at UVA

@DardenMBA

about 1 year ago

We’re excited to announce UVA Darden’s brand-new MBA concentration in AI, Data Analytics and Decision Sciences! With 25 cutting-edge courses, this marks a step forward in Darden’s mission to prepare students with the technical and ethical skills to lead in a data-driven world. Read more at The Darden Report: https://t.co/9RneGoyn10

559

Who to follow

midpage AI

@midpageAI

Research and Drafting for Litigators. https://t.co/cIOsg5fnZL

Arsalan Heydarian

@heydarianArslan

Associate Professor at UVA Engineering | Smart and healthy cities, Augmented and Virtual Reality | VT 🦃 & USC ✌️Alum | YNWA 🔴

Yilan Chen

@yilanchen06

CSE PhD student @UCSD interested in deep learning theory, theory for large language models and foundation models

FDadgostari retweeted

هجا

@iranianrepubli2

over 1 year ago

برخورد حراست دانشگاه علوم و تحقیقات به مثابه بازوی اجرایی نظم قانونی و عرفی تحمیل شده بر جامعه‌ ایی پویا در خیزش انقلابی #زن_زندگی_آزادی با یک زن دغدغه‌مند،باعث عکس العمل اعتراضی ناگهانی وی و استفاده نمادین وی از #حق_مالکیت بر بدنش و نمایش جسورانه تنش شده است ؛ تک تک ما شایسته است که این ویدئو ها را بازنشر کنیم و خواستارمشخص شدن نام این دانشجو و وضعیت سلامت جسمی او و بازگشتش به دانشگاه باشیم. #دختر_علوم_و_تحقیقات

Faraz Dadgostari @FDadgostari

almost 2 years ago

Had the University of Virginia been its own nation at the 2024 Summer Olympics, competing against the 200-plus other countries in France, it would have finished with the 16th-most medals, ahead of Uzbekistan and just behind Spain.

Virginia Cavaliers

@VirginiaSports

almost 2 years ago

🥇🥈🥉 𝘼𝙣 𝙊𝙡𝙮𝙢𝙥𝙞𝙘𝙨 𝙩𝙤 𝙧𝙚𝙢𝙚𝙢𝙗𝙚𝙧! 🔶⚔️🔷#GoHoos | #OlympiansMadeHere

248

13K

339

FDadgostari retweeted

Martina Fischetti @MartiFischetti

almost 2 years ago

What an interesting journey to academia! Shany Azaria worked in consultancy for court justice and at some point, inspired by her daughter, she decided to go back to academia and research the topics she experienced in industry. Result? A very new application of #orms 👏 #yw4or

MartiFischetti's tweet photo. What an interesting journey to academia! Shany Azaria worked in consultancy for court justice and at some point, inspired by her daughter, she decided to go back to academia and research the topics she experienced in industry. Result? A very new application of #orms 👏 #yw4or https://t.co/jw2RvHnvyN

406

FDadgostari retweeted

Bashir Sadjad بشیر سجاد @BashirSadjad

about 2 years ago

یک توضیح مختصر برای دوستان فارسی‌زبان: همان‌طور که اینجا نوشته‌ام، امروز به شکل عجیبی از ورود من به آمریکا برای یک سفر کاری جلوگیری شد. مطالب را تکرار نمی‌کنم، فقط دلیل نوشتنش روی توییتر، علاوه بر اعتراض به این وضع مسخره، این است که حسی دارم که این اتفاق عجیب با کنشگری‌های مربوط به ایران من بی‌ارتباط نیست. هنوز شاهدی قوی برایش ندارم ولی اگر به‌نتیجه رسیدم، همین‌جا اعلام می‌کنم (برای انتقال تجربه).

22K

FDadgostari retweeted

Rohan Paul

@rohanpaul_ai

about 2 years ago

This is really a 'WOW' paper. 🤯 Claims that MatMul operations can be completely eliminated from LLMs while maintaining strong performance at billion-parameter scales and by utilizing an optimized kernel during inference, their model’s memory consumption can be reduced by more than 10× compared to unoptimized models. 🤯 'Scalable MatMul-free Language Modeling' Concludes that it is possible to create the first scalable MatMul-free LLM that achieves performance on par with state-of-the-art Transformers at billion-parameter scales. 📌 The proposed MatMul-free LLM replaces MatMul operations in dense layers with ternary accumulations using weights constrained to {-1, 0, +1}. This reduces computational cost and memory utilization while preserving network expressiveness. 📌 To remove MatMul from self-attention, the Gated Recurrent Unit (GRU) is optimized to rely solely on element-wise products, creating the MatMul-free Linear GRU (MLGRU) token mixer. The MLGRU simplifies the GRU by removing hidden-state related weights, enabling parallel computation, and replacing remaining weights with ternary matrices. 📌 For MatMul-free channel mixing, the Gated Linear Unit (GLU) is adapted to use BitLinear layers with ternary weights, eliminating expensive MatMuls while maintaining effectiveness in mixing information across channels. 📌 The paper introduces a hardware-efficient fused BitLinear layer that optimizes RMSNorm and BitLinear operations. By fusing these operations and utilizing shared memory, training speed improves by 25.6% and memory consumption reduces by 61% over an unoptimized baseline. 📌 Experimental results show that the MatMul-free LLM achieves competitive performance compared to Transformer++ baselines on downstream tasks, with the performance gap narrowing as model size increases. The scaling law projections suggest MatMul-free LLM can outperform Transformer++ in efficiency and potentially in loss when scaled up. 📌 A custom FPGA accelerator is built to exploit the lightweight operations of the MatMul-free LLM. The accelerator processes billion-parameter scale models at 13W beyond human-readable throughput, demonstrating the potential for brain-like efficiency in future lightweight LLMs.

$rohanpaul_ai's tweet photo. This is really a 'WOW' paper. 🤯 Claims that MatMul operations can be completely eliminated from LLMs while maintaining strong performance at billion-parameter scales and by utilizing an optimized kernel during inference, their model’s memory consumption can be reduced by more than 10× compared to unoptimized models. 🤯 'Scalable MatMul-free Language Modeling' Concludes that it is possible to create the first scalable MatMul-free LLM that achieves performance on par with state-of-the-art Transformers at billion-parameter scales. 📌 The proposed MatMul-free LLM replaces MatMul operations in dense layers with ternary accumulations using weights constrained to {-1, 0, +1}. This reduces computational cost and memory utilization while preserving network expressiveness. 📌 To remove MatMul from self-attention, the Gated Recurrent Unit (GRU) is optimized to rely solely on element-wise products, creating the MatMul-free Linear GRU (MLGRU) token mixer. The MLGRU simplifies the GRU by removing hidden-state related weights, enabling parallel computation, and replacing remaining weights with ternary matrices. 📌 For MatMul-free channel mixing, the Gated Linear Unit (GLU) is adapted to use BitLinear layers with ternary weights, eliminating expensive MatMuls while maintaining effectiveness in mixing information across channels. 📌 The paper introduces a hardware-efficient fused BitLinear layer that optimizes RMSNorm and BitLinear operations. By fusing these operations and utilizing shared memory, training speed improves by 25.6% and memory consumption reduces by 61% over an unoptimized baseline. 📌 Experimental results show that the MatMul-free LLM achieves competitive performance compared to Transformer++ baselines on downstream tasks, with the performance gap narrowing as model size increases. The scaling law projections suggest MatMul-free LLM can outperform Transformer++ in efficiency and potentially in loss when scaled up. 📌 A custom FPGA accelerator is built to exploit the lightweight operations of the MatMul-free LLM. The accelerator processes billion-parameter scale models at 13W beyond human-readable throughput, demonstrating the potential for brain-like efficiency in future lightweight LLMs.$

105

827

FDadgostari retweeted

Find me on Bluesky @psmaldino

about 3 years ago

Hey look, you can now view (and download) the ToC and Chapter 1 from my forthcoming modeling book. This chapter provides something of a philosophical grounding before we get into the more technical weeds in the subsequent chapters. https://t.co/qVay0ELPq3

psmaldino's tweet photo. Hey look, you can now view (and download) the ToC and Chapter 1 from my forthcoming modeling book. This chapter provides something of a philosophical grounding before we get into the more technical weeds in the subsequent chapters.

https://t.co/qVay0ELPq3 https://t.co/jT10l6eY91

416

972

249K

FDadgostari retweeted

The PhD Place

@ThePhDPlace

over 2 years ago

Don’t get too attached to your methodology.

337

45K

Faraz Dadgostari @FDadgostari

over 2 years ago

@cheryyyx ریکام دادن وظیفه استادهاست. هر استادی باید معیار های مشخص برای ریکام دادن داشته باشه و به ۲-۵ درصد از بهترین دانشجو‌ها بر اساس اون معیارها ریکام بده. در غیر اینصورت وظیفه‌ی خودش رو انجام نمی‌ده. اینکه دانشجو بعد از فارغ‌التحصیلی چیکار می‌کنه، در هیچ‌کجای دنیا ربطی به استاد نداره.

383

FDadgostari retweeted

Michael Lenox

@Prof_Lenox

almost 3 years ago

Proud to see @DardenMBA's third place ranking! I feel so blessed to be a part of this amazing school. These are the best business schools in the US https://t.co/y7MPGPnLD4 via @BW

FDadgostari retweeted

Devin Harris @dharriscivil

about 3 years ago

Our mission will be to educate future engineers charged with conceptualizing, creating, and maintaining infrastructure that serves society and protects the environment, and to generate and disseminate knowledge that advances sustainable, resilient, and equitable communities.

dharriscivil's tweet photo. Our mission will be to educate future engineers charged with conceptualizing, creating, and maintaining infrastructure that serves society and protects the environment, and to generate and disseminate knowledge that advances sustainable, resilient, and equitable communities. https://t.co/UvPGLYPoWe

778

Faraz Dadgostari @FDadgostari

over 3 years ago

@arashtavak Congratulations Arash. You will be a great scholar, great teacher, great mentor, great advisor, and a great professor.

138

Faraz Dadgostari @FDadgostari

over 3 years ago

https://t.co/SVWeLd5V38

FDadgostari retweeted

Darden School at UVA

@DardenMBA

almost 4 years ago

WATCH LIVE: Women in Leadership summit awards! ➡️ https://t.co/gevsd83Zpg 🏆Natalia Alvarez Diaz, Trailblazer Award 🏆Angelica Alam, Recent Alumni Leader Award 🏆Lorraine Hariton, Women's Leadership Champion Award

FDadgostari retweeted

Martina Cerulli @CerulliMartina

almost 4 years ago · Florence

Women in OR + @mmonaci74 during #ods2022 in Florence🤩 @euro_wisdom #orms

FDadgostari retweeted

Darden School at UVA

@DardenMBA

almost 4 years ago

Why is the crypto market so volatile? What does this volatility mean for the future of our financial system? Get to know today's #FacultyFriday, @DardenMBA Professor Kinda Hachem, an expert in banking, macroeconomics + monetary economics. https://t.co/Q3CkIi0buV #cryptocurrency

Faraz Dadgostari

@FDadgostari

Who to follow

Last Seen Users on Sotwe

Trends for you

Most Popular Users