NullPointer_0x

return 0;

[NullPointer_0x @NullPointer_0x]

اینم منابع

[NullPointer_0x @NullPointer_0x]

توکن: به احتمال زیاد بیشتر (فارسی اسکریپت غیرلاتین داره؛ نزدیک‌ترین داده‌ی مستقیم که پیدا کردم، عربی با fertility حدود ۴ در توکنایزر قدیمی‌تر GPT-4 و ۱.۷۶ در نسخه‌ی جدیدتر o200k)

۳۴

[NullPointer_0x @NullPointer_0x]

و راهکار عملی که تقریباً همه‌ی این مقاله‌ها به یک نتیجه می‌رسن: نوشتن دستورالعمل/پرامپت به انگلیسی (حتی اگه کد یا داده‌ی خروجی ��ارسی باشه)، یا در حالت پیشرفته‌تر استفاده از تکنیک XLT (فکر‌کردن داخلی به انگلیسی).

[NullPointer_0x @NullPointer_0x]

@ToPassTheTimee توی این رشته توییت تاثیرش رو بر اساس یکسری از مقالات بررسی کردم

[NullPointer_0x @NullPointer_0x]

در مورد این بحث که آیا زبانی که از مدل سوال می‌پرسیم روی پاس�� تاثیر داره یا نه رو می‌خوام بر اساس مقالاتی که چاپ شده بررسی کنیم

۱

[NullPointer_0x @NullPointer_0x]

کیفیت: به‌طور بالقوه پایین‌تر؛ برای تسک‌های استدلالی/منطقی نزدیک به کدنویسی، در مطالعه‌ی فارسی افت حدود ۸ تا ۱۰ واحد درصد در دقت دیده شده؛ در مطالعات مشابه روی زبان‌های دیگه (چینی، زبان‌های هندی) افت Pass@1 در تولید کد از ۱۳٪ تا بیش از ۳۰٪ گزارش شده

۳۳

[NullPointer_0x @NullPointer_0x]

در مورد این بحث که آیا زبانی که از مدل سوال می‌پرسیم روی پاسخ تاثیر داره یا نه رو می‌خوام بر اساس مقالاتی که چاپ شده بررسی کنیم

۱

[Ali @ToPassTheTimee]

جدیدا یه بحثی شروع شده برا کد نو��سی 👇🏻

یه عده میگن چرا با Ai فارسی صحبت میکنین؟
یه عده هم میگن چه فرقی داره؟

شما تو کدوم دسته قرار میگیرین؟

[NullPointer_0x @NullPointer_0x]

حالا اگر بخوایم جمع‌بندی کنیم بر اساس شواهد بالا اگر دستورالعمل‌هارو به فارسی بپرسیم به جای انگلیسی:

۳۲

[NullPointer_0x @NullPointer_0x]

۳. implicit translation (دستور به مدل که «در پس‌زمینه» ترجمه کنه ولی ترجمه رو خروجی نده): در مطالعه‌ی Nag et al. این روش هزینه‌ی اضافه‌ی کمی داره ولی بخشی از بهبود کیفیت رو می‌گیره.

۳۱

[NullPointer_0x @NullPointer_0x]

۲. ترجمه‌ی صریح دستور/نمونه‌ها به انگلیسی: همون‌طور که در مطالعه‌ی فارسی و مطالعه‌ی هندی دیدیم، این ساده‌ترین و معمولاً موثرترین روشه، هم برای کیفیت هم برای هزینه (اگه از یک مترجم رایگان/جداگانه استفاده کنید نه از خودِ مدل گرون).

۳۰

[NullPointer_0x @NullPointer_0x]

طبق چند مرور مستقل (از جمله «The Prompt Report: A Systematic Survey of Prompt Engineering Techniques»)، این روش به‌طور پیوسته از حالت پایه بهتر عمل کرده، و روی تسک‌های استدلال ریاضی حدود ۱ تا ۱۰٪ بهبود دقت گزارش شده.

۲۹

[NullPointer_0x @NullPointer_0x]

۱. XLT / Cross-Lingual Thought Prompting (Huang et al. 2023، مقاله‌ی «Not all languages are created equal in LLMs»): به مدل دستور بدید که داخلی به انگلیسی فکر کنه و استدلال کنه، بعد به زبان مقصد جواب بده.

۲۸

[NullPointer_0x @NullPointer_0x]

حالا راهکار چیه ؟
اینکه ما صرفا از انگلیسی استفاده کنیم یا نه راهکار دیگه‌ای هم هست.

با بررسی مقالات جدید یکسری راهکار برای این مسئله دادن

که چندتا از اون هارو هم خلاصه بررسی میکنیم

۲۷

[NullPointer_0x @NullPointer_0x]

یه تحلیل مستقل دیگه (کاتانه ساب‌استک، با تحلیل روی توکنایزر o200k_base) عربی رو این‌جوری حساب کرده: با قیمت‌گذاری GPT-4o (۲.۵۰ دلار به ازای هر میلیون توکن ورودی)، هزینه‌ی پردازش هر ۱ میلیون کلمه‌ی عربی حدود ۷۰٪ بیشتر از انگلیسیه.

۲۶

[NullPointer_0x @NullPointer_0x]

زمان پاسخ: چیزی که در انگلیسی ۲ ثانیه طول می‌کشه، با fertility دو برابر معمولاً ۴ ثانیه می‌شه (چون تولید خروجی به‌صورت ترتیبی/توکن‌به‌توکنه)

۲۵

[NullPointer_0x @NullPointer_0x]

تولید ۱ میلیون توکن معادل انگلیسی با GPT-4o حدود ۵ - ۲۰ دلار هزینه داره؛ ولی همون محتوا در زبانی با fertility دوبرابر، هزینه را به حدود ۱۰ تا ۴۰ دلار افزایش می‌دهد.

۲۴

[NullPointer_0x @NullPointer_0x]

رقم‌های هزینه و سرعت به‌صورت مطلق

مقاله‌ی «The Token Tax: Systematic Bias in Multilingual Tokenization» این رو به دلار و ثانیه ترجمه کرده:

۲۳

[NullPointer_0x @NullPointer_0x]

این الگو (ترجمه به انگلیسی هم هزینه رو کم می‌کنه هم کیفیت رو بالا می‌بره) دقیقاً همون چیزیه که توی مطالعه‌ی فارسی هم دیدیم — یعنی این یه الگوی عمومی‌تره، نه فقط مخصوص فارسی.

۲۲

[NullPointer_0x @NullPointer_0x]

+ برای برخی زبان‌ها (مثلاً زبان‌های دراویدی جنوب هند)، این کاهش هزینه بیشتر از زبان‌های شمال هند مثل هندی بوده؛ نویسنده‌ها این رو نشونه‌ی این می‌دونن که GPT-4 روی بعضی زبون‌ها بهتر آموزش دیده ��ا بقیه

۲۱

[NullPointer_0x @NullPointer_0x]

ترجمه‌ی متن با یک ابزار ترجمه‌ی رایگان (نه با خودِ GPT-4) پیش از ارسال به مدل، هزینه رو تا ۹۰٪ کاهش می‌ده و همزمان کیفیت پاسخ رو هم بهتر می‌کنه (چون GPT-4 متن انگلیسی رو بهتر می‌فهمه)

۲۰

[NullPointer_0x @NullPointer_0x]

+ وقتی متن رو به اسکریپت لاتین (چه با ترجمه، چه با transliteration) تبدیل می‌کنن، تعداد توکن تولیدشده ۲ تا ۷ برابر کاهش پیدا می‌کنه، بسته به زبان

۱۹

[NullPointer_0x @NullPointer_0x]

این تیم مستقیماً روی GPT-4 API و ۱۵ زبان هندی/آسیایی (به‌علاوه عربی، تایلندی، سواحیلی، چینی برای بخش استدلال) کار کردن و یه معیار به اسم RTPCR (نسبت عملکرد به هزینه) تعریف کردن. یافته‌های ��لیدی‌شون:

۱۸