فلش‌کارت‌های آموزشی LoRA: بهینه‌سازی حافظه و محاسبات در آموزش مدل‌های زبانی

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب LoRA: بهینه‌سازی حافظه و محاسبات در آموزش مدل‌های زبانی

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: LoRA (Low-Rank Adaptation)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه و اهمیت LoRA
• 2. تاریخچه و انگیزه LoRA
• 3. مشکلات آموزش کامل مدل‌های زبانی بزرگ
• 4. مفهوم Fine-tuning و چالش‌های آن
• 5. مفهوم Parameter-Efficient Fine-Tuning (PEFT)
• 6. LoRA به عنوان یک رویکرد PEFT
• 7. معرفی LoRA: Low-Rank Adaptation
• 8. ماتریس‌های رتبه پایین (Low-Rank Matrices)
• 9. تجزیه ماتریس (Matrix Decomposition)
• 10. کاربرد تجزیه ماتریس در LoRA
• 11. ساختار پایه LoRA
• 12. ماتریس‌های وزن اصلی مدل
• 13. ماتریس‌های آپدیت اضافه شده توسط LoRA
• 14. رتبه (Rank) در LoRA
• 15. پارامترهای قابل تنظیم در LoRA (Learnable Parameters)
• 16. نحوه اعمال LoRA به لایه‌های مدل
• 17. تغییرات در لایه‌های خطی (Linear Layers)
• 18. تغییرات در لایه‌های کانولوشن (Convolutional Layers) (در صورت کاربرد)
• 19. مکانیسم تزریق LoRA (LoRA Injection Mechanism)
• 20. تنظیمات و هایپرپارامترهای LoRA
• 21. مقدار رتبه (r) در LoRA
• 22. اهمیت انتخاب مقدار r
• 23. تأثیر r بر عملکرد و کارایی
• 24. مقدار آلفا (alpha) در LoRA
• 25. نقش alpha در مقیاس‌دهی آپدیت‌ها
• 26. ارتباط alpha و r
• 27. یادگیری نرخ (Learning Rate) در LoRA
• 28. استراتژی‌های بهینه‌سازی برای LoRA
• 29. معماری‌های پشتیبانی شده توسط LoRA
• 30. ترنسفورمرها (Transformers)
• 31. لایه‌های توجه (Attention Layers)
• 32. لایه‌های Feed-Forward
• 33. لایه‌های Embedding
• 34. لایه‌های خروجی (Output Layers)
• 35. مزایای LoRA
• 36. بهینه‌سازی حافظه
• 37. کاهش تعداد پارامترهای قابل آموزش
• 38. کاهش فضای ذخیره‌سازی مدل‌های Fine-tuned
• 39. کاهش نیاز به GPU RAM
• 40. بهینه‌سازی محاسبات
• 41. کاهش هزینه‌های آموزش
• 42. تسریع فرآیند Fine-tuning
• 43. قابلیت حمل و نقل مدل‌های Fine-tuned
• 44. استفاده همزمان از چندین LoRA adapter
• 45. نحوه بارگذاری و ادغام LoRA adapterها
• 46. کاربرد LoRA در سناریوهای مختلف
• 47. تولید متن (Text Generation)
• 48. خلاصه‌سازی (Summarization)
• 49. ترجمه ماشینی (Machine Translation)
• 50. پاسخگویی به سوالات (Question Answering)
• 51. طبقه‌بندی متن (Text Classification)
• 52. تحلیل احساسات (Sentiment Analysis)
• 53. تولید کد (Code Generation)
• 54. کاربردهای تخصصی LoRA
• 55. آموزش مدل‌های با اندازه متوسط با LoRA
• 56. آموزش مدل‌های بزرگ با LoRA
• 57. مقایسه LoRA با سایر روش‌های PEFT
• 58. مفهوم Prefix-Tuning
• 59. مفهوم Prompt-Tuning
• 60. مفهوم Adapter-Tuning
• 61. مقایسه LoRA با Prefix-Tuning
• 62. مقایسه LoRA با Prompt-Tuning
• 63. مقایسه LoRA با Adapter-Tuning
• 64. مزایای رقابتی LoRA
• 65. پیاده‌سازی LoRA
• 66. کتابخانه‌های محبوب برای LoRA (مانند PEFT Hugging Face)
• 67. نحوه ادغام LoRA در کد پایتون
• 68. مثال عملی پیاده‌سازی LoRA
• 69. تنظیمات پیشرفته LoRA
• 70. تنظیمات LoRA برای لایه‌های مختلف
• 71. تنظیمات LoRA برای مدل‌های مختلف
• 72. تنظیمات LoRA برای وظایف مختلف
• 73. تکنیک‌های ترکیب LoRA adapterها
• 74. آموزش LoRA با استفاده از داده‌های کم
• 75. تکنیک‌های افزایش داده (Data Augmentation) برای LoRA
• 76. استراتژی‌های تنظیم هایپرپارامترهای LoRA
• 77. ارزیابی عملکرد LoRA
• 78. معیارهای ارزیابی مدل‌های Fine-tuned
• 79. مقایسه عملکرد LoRA با Fine-tuning کامل
• 80. مقایسه عملکرد LoRA با سایر روش‌های PEFT
• 81. تحلیل حساسیت LoRA به هایپرپارامترها
• 82. چالش‌ها و محدودیت‌های LoRA
• 83. محدودیت در رتبه (Rank Limitation)
• 84. تأثیر بر قابلیت‌های مدل (Expressiveness)
• 85. مدیریت چندین LoRA adapter
• 86. پتانسیل برای Overfitting
• 87. تکنیک‌های کاهش Overfitting در LoRA
• 88. آینده LoRA و PEFT
• 89. توسعه‌های جدید در LoRA
• 90. ترکیب LoRA با روش‌های دیگر
• 91. کاربردهای آینده LoRA
• 92. LoRA برای مدل‌های مولتی‌مدال (Multimodal Models)
• 93. LoRA برای مدل‌های گراف (Graph Models)
• 94. مطالعات موردی (Case Studies) موفق LoRA
• 95. مثال‌هایی از استفاده LoRA در پروژه‌های واقعی
• 96. نتایج آماری و مقایسه‌ای از مطالعات موردی
• 97. نکات عملی و بهترین شیوه‌ها (Best Practices) برای استفاده از LoRA
• 98. مدیریت حافظه در زمان آموزش با LoRA
• 99. انتخاب هایپرپارامترهای مناسب
• 100. عیب‌یابی مشکلات رایج در LoRA