فلش‌کارت‌های آموزشی بهینه‌سازی و سفارشی‌سازی مدل‌های زبانی بزرگ برای کاربردهای خاص

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی و سفارشی‌سازی مدل‌های زبانی بزرگ برای کاربردهای خاص

موضوع کلی: هوش مصنوعی و یادگیری ماشین

موضوع میانی: مدل‌های زبانی بزرگ (LLMs)

📋 سرفصل‌های دوره

• 1. مبانی هوش مصنوعی و یادگیری ماشین
• 2. مقدمه‌ای بر مدل‌های زبانی
• 3. معماری ترنسفورمر و مکانیسم توجه
• 4. مفاهیم پایه در مدل‌های زبانی بزرگ
• 5. انواع مدل‌های زبانی بزرگ
• 6. کاربردهای مدل‌های زبانی بزرگ
• 7. مقدمه‌ای بر بهینه‌سازی مدل‌های زبانی
• 8. اهمیت سفارشی‌سازی مدل‌های زبانی
• 9. چالش‌های سفارشی‌سازی مدل‌های زبانی
• 10. مفاهیم اولیه بهینه‌سازی
• 11. انواع روش‌های بهینه‌سازی
• 12. بهینه‌سازی پارامترها
• 13. بهینه‌سازی هایپرپارامترها
• 14. تابع هزینه در بهینه‌سازی
• 15. گرادیان کاهشی و مشتقات آن
• 16. بهینه‌سازی با استفاده از گرادیان
• 17. انواع الگوریتم‌های گرادیان کاهشی
• 18. بهینه‌سازی دسته‌ای (Batch Optimization)
• 19. بهینه‌سازی تصادفی (Stochastic Optimization)
• 20. بهینه‌سازی مینی‌بچ (Mini-batch Optimization)
• 21. مقدمه‌ای بر تنظیم دقیق (Fine-tuning)
• 22. اهمیت تنظیم دقیق مدل‌های زبانی
• 23. فرایند تنظیم دقیق مدل‌های زبانی
• 24. داده‌های مورد نیاز برای تنظیم دقیق
• 25. پیش‌پردازش داده‌ها برای تنظیم دقیق
• 26. پاکسازی داده‌ها
• 27. نرمال‌سازی داده‌ها
• 28. تکه‌تکه کردن داده‌ها (Tokenization)
• 29. مقدمه‌ای بر مدل‌های از پیش آموزش‌دیده
• 30. انتخاب مدل از پیش آموزش‌دیده مناسب
• 31. معیارهای انتخاب مدل
• 32. معماری‌های محبوب مدل‌های زبانی بزرگ
• 33. مدل‌های مبتنی بر رمزگذار (Encoder-based)
• 34. مدل‌های مبتنی بر رمزگشا (Decoder-based)
• 35. مدل‌های مبتنی بر رمزگذار-رمزگشا (Encoder-Decoder)
• 36. مقدمه‌ای بر تنظیم دقیق نظارت‌شده (Supervised Fine-tuning)
• 37. فرایند تنظیم دقیق نظارت‌شده
• 38. تنظیم دقیق برای وظایف خاص
• 39. تنظیم دقیق برای طبقه‌بندی متن
• 40. تنظیم دقیق برای تولید متن
• 41. تنظیم دقیق برای پاسخ به سوال
• 42. تنظیم دقیق برای خلاصه سازی متن
• 43. تنظیم دقیق برای ترجمه ماشینی
• 44. مقدمه‌ای بر تنظیم دقیق بدون نظارت (Unsupervised Fine-tuning)
• 45. فرایند تنظیم دقیق بدون نظارت
• 46. تنظیم دقیق برای درک زبان
• 47. تنظیم دقیق برای تولید زبان طبیعی
• 48. مفاهیم اولیه تنظیم دقیق تقویتی (Reinforcement Learning Fine-tuning)
• 49. مقدمه‌ای بر تنظیم دقیق با بازخورد انسانی (RLHF)
• 50. فرایند RLHF
• 51. آموزش مدل پاداش
• 52. تنظیم دقیق مدل زبانی با استفاده از مدل پاداش
• 53. ارزیابی مدل‌های زبانی تنظیم شده
• 54. معیارهای ارزیابی کمی
• 55. معیارهای ارزیابی کیفی
• 56. ابزارهای ارزیابی مدل‌های زبانی
• 57. تنظیم دقیق برای زبان فارسی
• 58. چالش‌های تنظیم دقیق برای زبان فارسی
• 59. داده‌های فارسی برای تنظیم دقیق
• 60. مدل‌های زبانی بزرگ فارسی
• 61. کاربردهای مدل‌های زبانی در ایران
• 62. کاربرد در آموزش مجازی
• 63. کاربرد در خدمات مشتریان
• 64. کاربرد در تولید محتوا
• 65. کاربرد در تحلیل داده‌های متنی
• 66. کاربرد در سیستم‌های توصیه‌گر
• 67. کاربرد در پردازش زبان طبیعی فارسی
• 68. مقدمه‌ای بر مقیاس‌پذیری در مدل‌های زبانی
• 69. چالش‌های مقیاس‌پذیری در تنظیم دقیق
• 70. تکنیک‌های افزایش مقیاس‌پذیری
• 71. تنظیم دقیق پارامترهای کارآمد (Parameter-Efficient Fine-Tuning - PEFT)
• 72. مقدمه‌ای بر PEFT
• 73. روش‌های LoRA
• 74. روش‌های Prefix Tuning
• 75. روش‌های Prompt Tuning
• 76. روش‌های Adapter Tuning
• 77. مزایای PEFT
• 78. معایب PEFT
• 79. تنظیم دقیق روی سخت‌افزارهای محدود
• 80. مقدمه‌ای بر بهینه‌سازی حافظه
• 81. تکنیک‌های کاهش مصرف حافظه
• 82. کوچک‌سازی مدل (Model Compression)
• 83. تقطیر دانش (Knowledge Distillation)
• 84. هَرَس کردن (Pruning)
• 85. کوانتیزاسیون (Quantization)
• 86. ملاحظات اخلاقی در مدل‌های زبانی بزرگ
• 87. سوگیری در مدل‌های زبانی
• 88. کاهش سوگیری در تنظیم دقیق
• 89. امنیت و حریم خصوصی در مدل‌های زبانی
• 90. قابلیت تفسیرپذیری مدل‌های زبانی
• 91. مسئولیت‌پذیری در توسعه مدل‌های زبانی
• 92. مقررات و چارچوب‌های قانونی در ایران
• 93. اهمیت انطباق با قوانین
• 94. قوانین مربوط به محتوای دیجیتال
• 95. آیین‌نامه ساماندهی محتوای دیجیتال
• 96. مصوبات شورای عالی انقلاب فرهنگی
• 97. حدود شرعی در تولید محتوا
• 98. ملاحظات شرعی در مدل‌های زبانی
• 99. استفاده از داده‌های مجاز
• 100. اجتناب از محتوای حرام