کتاب صوتی اصول فنی جامع هرس در مدل‌های زبانی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره اصول فنی جامع هرس در مدل‌های زبانی

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Model Pruning

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر هرس مدل‌های زبانی
• 2. مبانی نظری هرس در یادگیری عمیق
• 3. انواع تکنیک‌های هرس مدل‌های زبانی
• 4. هرس مبتنی بر وزن (Weight Pruning)
• 5. هرس مبتنی بر نورون (Neuron Pruning)
• 6. هرس مبتنی بر کانال (Channel Pruning)
• 7. هرس مبتنی بر ساختار (Structured Pruning)
• 8. هرس نامتقارن (Unstructured Pruning)
• 9. هرس متقارن (Structured Pruning)
• 10. هرس مبتنی بر اهمیت پارامتر
• 11. ارزیابی اهمیت پارامترها
• 12. آستانه‌گذاری وزن‌ها
• 13. تنظیم آستانه هرس
• 14. هرس تکراری (Iterative Pruning)
• 15. مزایای هرس تکراری
• 16. معایب هرس تکراری
• 17. هرس یک‌باره (One-Shot Pruning)
• 18. مزایای هرس یک‌باره
• 19. معایب هرس یک‌باره
• 20. هرس در مرحله آموزش (Pruning During Training)
• 21. تنظیم نرخ هرس در طول آموزش
• 22. تأثیر هرس بر فرآیند آموزش
• 23. هرس پس از آموزش (Post-Training Pruning)
• 24. تنظیمات پس از آموزش برای هرس
• 25. بازیابی عملکرد پس از هرس
• 26. روش‌های بازسازی مدل پس از هرس
• 27. تقطیر دانش (Knowledge Distillation)
• 28. ارتباط تقطیر دانش با هرس
• 29. مدل معلم و دانش‌آموز در تقطیر
• 30. هرس مبتنی بر مؤلفه‌های اصلی (PCA Pruning)
• 31. کاربرد PCA در هرس مدل‌های زبانی
• 32. هرس مبتنی بر تجزیه مقادیر منفرد (SVD Pruning)
• 33. کاربرد SVD در هرس مدل‌های زبانی
• 34. هرس مبتنی بر گرافی (Graph-based Pruning)
• 35. نمایش مدل به صورت گراف
• 36. الگوریتم‌های هرس مبتنی بر گراف
• 37. هرس در مدل‌های ترنسفورمر
• 38. بررسی لایه‌های ترنسفورمر برای هرس
• 39. هرس سرها (Head Pruning) در ترنسفورمرها
• 40. هرس لایه‌های ترنسفورمر
• 41. کاربرد هرس در مدل‌های زبانی بزرگ (LLMs)
• 42. چالش‌های هرس LLMs
• 43. راهکارهای هرس LLMs
• 44. هرس مبتنی بر بازده محاسباتی (Compute Efficiency)
• 45. کاهش زمان استنتاج با هرس
• 46. کاهش مصرف حافظه با هرس
• 47. هرس برای کاربردهای موبایل و دستگاه‌های لبه
• 48. بهینه‌سازی مدل برای دستگاه‌های محدود
• 49. تست و ارزیابی مدل‌های هرس شده
• 50. معیارهای ارزیابی عملکرد مدل‌های هرس شده
• 51. دقت، صحت و بازیابی در مدل‌های هرس شده
• 52. تأثیر هرس بر تعمیم‌پذیری مدل
• 53. روش‌های جلوگیری از بیش‌برازش (Overfitting) با هرس
• 54. تنظیم پارامترهای هرس برای تعادل
• 55. هرس و تأثیر آن بر قابلیت تفسیر (Interpretability)
• 56. افزایش قابلیت تفسیر با حذف پارامترهای غیرضروری
• 57. ابزارها و کتابخانه‌های هرس مدل
• 58. معرفی PyTorch Pruning
• 59. معرفی TensorFlow Model Optimization Toolkit
• 60. پیاده‌سازی عملی هرس در یک مدل زبانی ساده
• 61. مراحل گام به گام هرس
• 62. انتخاب مدل پایه برای هرس
• 63. تعیین استراتژی هرس
• 64. انجام فرآیند هرس
• 65. ارزیابی مدل نهایی
• 66. مطالعات موردی هرس مدل‌های زبانی
• 67. مثال‌هایی از هرس موفق
• 68. چالش‌های عملی در پیاده‌سازی هرس
• 69. راهکارها برای غلبه بر چالش‌ها
• 70. هرس و تأثیر آن بر مصرف انرژی
• 71. کاهش مصرف انرژی با مدل‌های کوچک‌تر
• 72. اخلاق در هرس مدل‌های زبانی
• 73. مسئولیت‌پذیری در استفاده از مدل‌های هرس شده
• 74. آینده هرس مدل‌های زبانی
• 75. روندهای نوظهور در هرس
• 76. هرس خودکار (Automated Pruning)
• 77. یادگیری تقویتی برای هرس
• 78. ترکیب هرس با کوانتیزاسیون (Quantization)
• 79. کوانتیزاسیون مدل‌های زبانی
• 80. مزایای ترکیب هرس و کوانتیزاسیون
• 81. هرس و تأثیر آن بر پایداری مدل
• 82. حفظ پایداری مدل پس از هرس
• 83. تکنیک‌های پیشرفته هرس
• 84. هرس مبتنی بر اطلاعات متقابل (Mutual Information Pruning)
• 85. هرس مبتنی بر گرادیان (Gradient-based Pruning)
• 86. هرس انتخابی (Selective Pruning)
• 87. هرس تطبیقی (Adaptive Pruning)
• 88. هرس مبتنی بر ساختار باینری (Binary Weight Pruning)
• 89. هرس در شبکه‌های عصبی کانولوشنال (CNNs)
• 90. هرس در شبکه‌های عصبی بازگشتی (RNNs)
• 91. کاربرد هرس در پردازش زبان طبیعی (NLP)
• 92. هرس برای وظایف خاص NLP
• 93. ترجمه ماشینی با مدل‌های هرس شده
• 94. خلاصه‌سازی متن با مدل‌های هرس شده
• 95. تحلیل احساسات با مدل‌های هرس شده
• 96. مدل‌های زبانی کوچک‌تر برای وظایف خاص
• 97. بهینه‌سازی مدل‌های از پیش آموزش‌دیده
• 98. هرس و قابلیت اطمینان مدل
• 99. تست استحکام (Robustness) مدل‌های هرس شده
• 100. مقایسه عملکرد مدل‌های هرس شده با مدل‌های اصلی