الگوریتم‌های بهینه سازی (Optimization Algorithms)

در یادگیری ماشین و به‌ویژه یادگیری عمیق، الگوریتم‌های بهینه‌سازی (Optimization Algorithms) نقش کلیدی در آموزش مدل‌ها دارند. این الگوریتم‌ها مسئول به‌روزرسانی وزن‌های شبکه عصبی به‌گونه‌ای هستند که تابع خطا (Loss Function)  کمینه شود. انتخاب الگوریتم مناسب می‌تواند تأثیر زیادی بر سرعت همگرایی، پایداری آموزش و دقت نهایی مدل داشته باشد.

در ادامه، مهم‌ترین الگوریتم‌های بهینه‌سازی به‌صورت کامل بررسی می‌شوند و کاربرد آن‌ها در شبکه‌های کم‌عمق و عمیق توضیح داده می‌شود.

---

الگوریتم‌های یادگیری مهم:

1. Gradient Descent (GD)

در گزادیان نزولی، گرادیان تابع خطا نسبت به تمام داده‌های آموزشی محاسبه شده و سپس وزن‌ها در جهت منفی گرادیان به‌روزرسانی می‌شوند:

$$w = w – \eta \nabla L(w)$$

که در آن:

• η$$ نرخ یادگیری (Learning Rate)
• L(w)$$ تابع خطا

مزایا: پایدار و دقیق و همگرایی یکنواخت

معایب: بسیار کند برای دیتاست‌های بزرگ با مصرف حافظه بالا که در نهایت برای یادگیری عمیق نامناسب می باشد

کاربرد: مسائل ساده شبکه‌های بسیار کوچک و آموزش‌های تئوریک

تمام الگوریتم‌های بعدی برای حل یکی از مشکلات GD طراحی شده‌اند:
سرعت، ناپایداری، تنظیم نرخ یادگیری یا گیر کردن در مینیمم‌های بد.

2. Stochastic Gradient Descent (SGD)

در SGD به‌جای استفاده از کل داده‌ها، وزن‌ها پس از دیدن هر نمونه به‌روزرسانی می‌شوند.

مزایا: سرعت بالاتر نسبت به GD و توانایی فرار از مینیمم‌های محلی

معایب: نوسان زیاد در مسیر همگرایی و نیازمند تنظیم دقیق نرخ یادگیری می باشد

کاربرد: شبکه‌های کم‌عمق آموزش‌های اولیه و مدل‌هایی با داده زیاد

3. Mini-batch Gradient Descent

داده‌ها به دسته‌های کوچک (Mini-batch) تقسیم می‌شوند و گرادیان روی هر دسته محاسبه می‌شود.

مزایا: تعادل بین سرعت و پایداری در نتیجه قابل پیاده سازی با GPU را دارد و همچنین کاهش نویز SGD

معایب: نیاز به انتخاب اندازه مناسب batch

کاربرد: استاندارد اصلی در یادگیری عمیق همچون CNN, RNN, Transformer

---

---

4. Momentum

Momentum از مفهوم اینرسی فیزیکی استفاده می‌کند تا جهت‌های مفید تقویت و نوسانات کاهش یابد. به زبان ساده تر Momentum به GD حافظه اضافه می‌کند و به‌روزرسانی وزن‌ها به گرادیان‌های قبلی وابسته است.

$$v_t = \gamma v_{t-1} + \eta \nabla L(w)$$

$$w=w-v$$

مزایا: همگرایی سریع‌ترالگوریتم و عبور راحت‌تر از saddle point‌ها

معایب: نیاز به تنظیم پارامتر momentum

کاربرد: شبکه های عمیق و مسایل با توابع پیچیده

5. Nesterov Accelerated Gradient (NAG)

نسخه پیشرفته Momentum که قبل از آپدیت وزن‌ها، موقعیت آینده را پیش‌بینی می‌کند.

مزایا: دقت بیشتر نسبت به Momentum و کاهش overshoot

معایب: پیچیدگی پیاده‌سازی بیشتر

کاربرد: در یادگیری عمیق و شبکه های حساس به نوسان

6. AdaGrad

برای هر وزن نرخ یادگیری جداگانه در نظر می‌گیرد و پارامترهایی که کمتر به‌روزرسانی می‌شوند، نرخ یادگیری بزرگ‌تری می‌گیرند.

مزایا: عالی برای داده‌های پراکنده (Sparse) و بدون نیاز به تنظیم دستی نرخ یادگیری

معایب: نرخ یادگیری به‌سرعت بسیار کوچک می‌شود بنابراین برای آموزش طولانی نامناسب می باشد

کاربرد: NLP کلاسیک و داده‌های Sparse

7. RMSProp

به علت مشکل کاهش بیش از حد نرخ یادگیری به دلیل جمع شدن بی‌نهایت مربعات گرادیان‌ها در AdaGrad برای بهبود عملکرد الگوریتم از میانگین نمایی مربعات گرادیان در RMSProp استفاده می شود.

مزایا: جلوگیری از کاهش بیش از حد نرخ یادگیری و همچنین پایدار و سریع همگرا می شود

معایب: فاقد bias correction

کاربرد: شبکه‌های عمیق همچون RNN و LSTM

ویژگی	AdaGrad	RMSProp
ذخیره گرادیان	مجموع کل	میانگین نمایی
رفتار LR	کاهش دائمی	پایدار
مناسب برای آموزش طولانی	❌	✅

8. Adam (Adaptive Moment Estimation)

Adam ترکیبی از Momentum (استفاده از میانگین گرادیان‌ها (جهت حرکت)) و RMSProp (استفاده از میانگین مربعات گرادیان‌ها (تنظیم اندازه گام)) است. به عبارت دیگر Adam هم جهت خوب حرکت را یاد می‌گیرد و هم اندازه مناسب گام را.

مزایا:

• تنظیم خودکار نرخ یادگیری
• همگرایی سریع
• عملکرد خوب در اکثر مسائل

معایب: گاهی تعمیم‌پذیری کمتر نسبت به SGD

کاربرد: محبوب‌ترین الگوریتم در یاگیری عمیق همچون CNN, Transformer, GAN, Autoencoder

ویژگی	Momentum	RMSProp	Adam
ایده اصلی	استفاده از اینرسی و جهت حرکت	تنظیم نرخ یادگیری با میانگین مربعات گرادیان	ترکیب Momentum و RMSProp
نوع حافظه	میانگین گرادیان‌ها	میانگین مربعات گرادیان‌ها	هر دو نوع حافظه
نرخ یادگیری	ثابت	تطبیقی (برای هر پارامتر)	تطبیقی (برای هر پارامتر)
تنظیم جهت حرکت	✅	❌	✅
کنترل اندازه گام	❌	✅	✅
تصحیح بایاس (Bias Correction)	❌	❌	✅
پایداری آموزش	متوسط	بالا	بسیار بالا
سرعت همگرایی	متوسط	بالا	بسیار بالا
مقاومت به نویز	متوسط	بالا	بسیار بالا
حساسیت به Learning Rate	زیاد	متوسط	کم
مناسب برای داده‌های Sparse	❌	متوسط	خوب

9. Adadelta

نسخه‌ای از AdaGrad که وابستگی به نرخ یادگیری ثابت را حذف می‌کند.

مزایا: بدون نیاز به learning rate و پایدار بالای الگورتیم

معایب: کمتر از Adam استفاده می‌شود

کاربرد: برخی مدل های عمیق و مسایل خاص

10. Nadam

ترکیب Adam با Nesterov Momentum.

مزایا: همگرایی سریع‌تر از Adam و دقت بالاتر در برخی مسائل

معایب: پیچیدگی بیشترو بهبود محدود نسبت به Adam در عمل

---

خلاصه کاربردها:

الگوریتم	بیشتر در کجا استفاده می‌شود
Gradient Descent	شبکه‌های کوچک و آموزش ساده
SGD	شبکه‌های کم‌عمق و آموزش اولیه
Mini-batch GD	استاندارد در یادگیری عمیق
Momentum & NAG	دیپ لرنینگ (شبکه‌های عمیق)
AdaGrad	داده‌های پراکنده، کمتر در دیپ لرنینگ
RMSProp	دیپ لرنینگ
Adam	پراستفاده‌ترین در دیپ لرنینگ
Adadelta & Nadam	دیپ لرنینگ

---