فلش‌کارت‌های آموزشی مدل‌های زبانی کم‌مصرف: رویکرد هرس

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب مدل‌های زبانی کم‌مصرف: رویکرد هرس

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Model Pruning

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه ای بر مدل های زبانی
• 2. مقدمه ای بر مدل های زبانی بزرگ (LLMs)
• 3. چالش های LLMs: هزینه محاسباتی
• 4. چالش های LLMs: مصرف انرژی
• 5. چالش های LLMs: حافظه
• 6. چالش های LLMs: تأخیر
• 7. چالش های LLMs: اندازه مدل
• 8. نیاز به مدل های زبانی کم مصرف
• 9. مقدمه ای بر هرس (Pruning)
• 10. مفهوم هرس در یادگیری ماشین
• 11. انواع هرس: ساختاریافته و غیرساختاریافته
• 12. مزایای هرس: کاهش اندازه مدل
• 13. مزایای هرس: کاهش مصرف حافظه
• 14. مزایای هرس: افزایش سرعت استنتاج
• 15. مزایای هرس: کاهش مصرف انرژی
• 16. مزایای هرس: امکان استقرار بر روی دستگاه های محدود
• 17. معایب هرس: پیچیدگی پیاده سازی
• 18. معایب هرس: احتمال افت دقت
• 19. معایب هرس: نیاز به تنظیم پارامترها
• 20. تاریخچه هرس در شبکه های عصبی
• 21. هرس در مدل های کلاسیک
• 22. هرس در شبکه های عصبی عمیق
• 23. کاربرد هرس در مدل های زبانی
• 24. مدل های زبانی سنتی و هرس
• 25. مدل های ترنسفورمر و هرس
• 26. معماری ترنسفورمر: بررسی اجمالی
• 27. لایه های توجه (Attention Layers)
• 28. لایه های Feed-Forward
• 29. مکانیزم های توجه و هرس
• 30. هرس کردن وزن ها در لایه های توجه
• 31. هرس کردن سرها (Heads) در لایه های توجه
• 32. هرس کردن در لایه های Feed-Forward
• 33. انواع روش های هرس برای مدل های زبانی
• 34. هرس مبتنی بر اهمیت وزن (Magnitude-based Pruning)
• 35. هرس مبتنی بر گرادیان
• 36. هرس مبتنی بر آنتروپی
• 37. هرس مبتنی بر اطلاعات متقابل
• 38. هرس مبتنی بر حساسیت (Sensitivity-based Pruning)
• 39. هرس مبتنی بر کارایی (Efficiency-based Pruning)
• 40. هرس مبتنی بر ساختار (Structured Pruning)
• 41. هرس کردن کانال ها (Channel Pruning)
• 42. هرس کردن نورون ها (Neuron Pruning)
• 43. هرس کردن لایه ها (Layer Pruning)
• 44. هرس کردن بلوک ها (Block Pruning)
• 45. هرس کردن غیرساختاریافته (Unstructured Pruning)
• 46. مزایای هرس غیرساختاریافته
• 47. معایب هرس غیرساختاریافته
• 48. مزایای هرس ساختاریافته
• 49. معایب هرس ساختاریافته
• 50. روش های اجرای هرس
• 51. هرس یکباره (One-shot Pruning)
• 52. هرس تکراری (Iterative Pruning)
• 53. چرخه آموزش-هرس-تنظیم مجدد (Train-Prune-Fine-tune)
• 54. تنظیم مجدد (Fine-tuning) پس از هرس
• 55. اهمیت تنظیم مجدد
• 56. روش های تنظیم مجدد
• 57. تنظیم مجدد کامل
• 58. تنظیم مجدد لایه های خاص
• 59. تنظیم مجدد با نرخ یادگیری پایین
• 60. تکنیک های پیشرفته هرس
• 61. هرس دینامیک (Dynamic Pruning)
• 62. هرس تطبیقی (Adaptive Pruning)
• 63. هرس مبتنی بر یادگیری تقویتی (Reinforcement Learning-based Pruning)
• 64. هرس مبتنی بر بهینه سازی (Optimization-based Pruning)
• 65. هرس خودکار (Automated Pruning)
• 66. ابزارها و فریمورک های هرس
• 67. TensorFlow Model Optimization Toolkit
• 68. PyTorch Pruning Utilities
• 69. Nervana Systems Pruning Library
• 70. OpenVINO Pruning Tools
• 71. ملاحظات عملی در هرس مدل های زبانی
• 72. انتخاب مدل پایه برای هرس
• 73. انتخاب معماری هرس
• 74. تعیین نرخ هرس
• 75. تعیین معیار هرس
• 76. انتخاب مجموعه داده برای تنظیم مجدد
• 77. ارزیابی مدل هرس شده
• 78. معیارهای ارزیابی: دقت
• 79. معیارهای ارزیابی: اندازه مدل
• 80. معیارهای ارزیابی: سرعت استنتاج
• 81. معیارهای ارزیابی: مصرف حافظه
• 82. معیارهای ارزیابی: مصرف انرژی
• 83. مطالعات موردی (Case Studies)
• 84. هرس مدل های GPT
• 85. هرس مدل های BERT
• 86. هرس مدل های RoBERTa
• 87. هرس مدل های T5
• 88. هرس مدل های LLAMA
• 89. کاربرد هرس در دستگاه های محدود (Edge Devices)
• 90. مزایای هرس برای استقرار بر روی موبایل
• 91. مزایای هرس برای استقرار بر روی IOT
• 92. چالش های هرس برای دستگاه های محدود
• 93. آینده هرس در مدل های زبانی
• 94. روندهای تحقیقاتی فعلی
• 95. جهت گیری های تحقیقاتی آینده
• 96. تاثیر هرس بر قابلیت تفسیر (Interpretability)
• 97. تاثیر هرس بر مقاومت در برابر حملات (Robustness)
• 98. مقایسه هرس با سایر روش های فشرده سازی مدل
• 99. کوانتیزاسیون (Quantization)
• 100. تقطیر دانش (Knowledge Distillation)