فلش‌کارت‌های آموزشی راهنمای جامع Knowledge Distillation برای متخصصان هوش مصنوعی

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب راهنمای جامع Knowledge Distillation برای متخصصان هوش مصنوعی

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Knowledge Distillation

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه ای بر تقطیر دانش
• 2. تاریخچه تقطیر دانش
• 3. چرا تقطیر دانش؟
• 4. مزایای تقطیر دانش
• 5. کاربردها و موارد استفاده تقطیر دانش
• 6. انواع تقطیر دانش
• 7. تقطیر دانش معلم-دانش آموز
• 8. تقطیر دانش مبتنی بر تابع هزینه
• 9. تقطیر دانش مبتنی بر خروجی
• 10. تقطیر دانش مبتنی بر واسطه (میانی)
• 11. تقطیر دانش مبتنی بر شباهت
• 12. تقطیر دانش مبتنی بر گرام
• 13. تقطیر دانش مبتنی بر اتنشن
• 14. تقطیر دانش مبتنی بر دانش ضمنی
• 15. تقطیر دانش مبتنی بر تفاوت
• 16. تقطیر دانش مبتنی بر تناظر
• 17. تقطیر دانش مبتنی بر یادگیری خودکار
• 18. تقطیر دانش در یادگیری عمیق
• 19. نقش مدل معلم در تقطیر دانش
• 20. ویژگی های یک مدل معلم خوب
• 21. روش های آموزش مدل معلم
• 22. حجم و پیچیدگی مدل معلم
• 23. نقش مدل دانش آموز در تقطیر دانش
• 24. انتخاب معماری مدل دانش آموز
• 25. اندازه و پیچیدگی مدل دانش آموز
• 26. آموزش مدل دانش آموز با تقطیر دانش
• 27. توابع هزینه در تقطیر دانش
• 28. تابع هزینه تقطیر دانش (KD Loss)
• 29. تابع هزینه نرمال شده (Soft Target Loss)
• 30. تابع هزینه سخت (Hard Target Loss)
• 31. تابع هزینه ترکیبی (Combined Loss)
• 32. وزن دهی توابع هزینه
• 33. کالیبراسیون خروجی های نرم
• 34. اهمیت دمای نرمال سازی (Temperature Scaling)
• 35. تأثیر دما بر توزیع احتمال
• 36. انتخاب دمای بهینه
• 37. روش های تنظیم دما
• 38. تقطیر دانش در شبکه های عصبی کانولوشنال (CNN)
• 39. کاربرد تقطیر دانش در CNN برای تشخیص تصویر
• 40. تقطیر دانش در CNN برای بخش بندی تصویر
• 41. تقطیر دانش در CNN برای تشخیص اشیاء
• 42. تقطیر دانش در شبکه های عصبی بازگشتی (RNN)
• 43. کاربرد تقطیر دانش در RNN برای پردازش زبان طبیعی (NLP)
• 44. تقطیر دانش در RNN برای ترجمه ماشینی
• 45. تقطیر دانش در RNN برای تولید متن
• 46. تقطیر دانش در مدل های ترنسفورمر
• 47. کاربرد تقطیر دانش در ترنسفورمر برای NLP
• 48. تقطیر دانش در ترنسفورمر برای بینایی کامپیوتر
• 49. تقطیر دانش در مدل های بزرگ زبان (LLMs)
• 50. چالش ها و راه حل ها در تقطیر دانش LLMs
• 51. تقطیر دانش برای مدل های کوچک و فشرده
• 52. تقطیر دانش در یادگیری تقویتی (RL)
• 53. کاربرد تقطیر دانش در RL برای آموزش عامل ها
• 54. تقطیر دانش در RL برای انتقال سیاست
• 55. تقطیر دانش در یادگیری انتقالی (Transfer Learning)
• 56. ارتباط تقطیر دانش و یادگیری انتقالی
• 57. استفاده از تقطیر دانش در فاز تنظیم دقیق (Fine-tuning)
• 58. تقطیر دانش در یادگیری چند وظیفه ای (Multi-task Learning)
• 59. کاربرد تقطیر دانش در مدل های چند وظیفه ای
• 60. بهبود عملکرد مدل های چند وظیفه ای با تقطیر دانش
• 61. تقطیر دانش در سیستم های توصیه گر (Recommender Systems)
• 62. کاربرد تقطیر دانش در توصیه گرها
• 63. بهبود دقت و سرعت توصیه گرها با تقطیر دانش
• 64. تقطیر دانش برای داده های حجیم
• 65. راهکارهای تقطیر دانش برای داده های حجیم
• 66. مدیریت حافظه و محاسبات در تقطیر دانش
• 67. تقطیر دانش برای داده های نامتوازن (Imbalanced Data)
• 68. چالش های تقطیر دانش با داده های نامتوازن
• 69. روش های مقابله با داده های نامتوازن در تقطیر دانش
• 70. تقطیر دانش برای داده های نویزدار (Noisy Data)
• 71. تأثیر نویز بر تقطیر دانش
• 72. استراتژی های تقطیر دانش برای داده های نویزدار
• 73. تقطیر دانش برای داده های کم (Few-shot Learning)
• 74. کاربرد تقطیر دانش در یادگیری با داده های کم
• 75. بهبود عملکرد مدل ها با داده های کم با تقطیر دانش
• 76. تقطیر دانش در یادگیری فدرال (Federated Learning)
• 77. چالش های تقطیر دانش در یادگیری فدرال
• 78. پیاده سازی تقطیر دانش در یادگیری فدرال
• 79. تقطیر دانش برای مدل های مبتنی بر گراف (Graph Neural Networks - GNNs)
• 80. کاربرد تقطیر دانش در GNNs
• 81. بهبود عملکرد GNNs با تقطیر دانش
• 82. تقطیر دانش در زمان واقعی (Real-time Knowledge Distillation)
• 83. چالش ها و راه حل های تقطیر دانش در زمان واقعی
• 84. کاربردهای تقطیر دانش در زمان واقعی
• 85. تقطیر دانش در سخت افزار محدود (Edge Devices)
• 86. بهینه سازی مدل ها برای دستگاه های لبه با تقطیر دانش
• 87. ملاحظات پیاده سازی تقطیر دانش بر روی دستگاه های لبه
• 88. تقطیر دانش خودکار (Automated Knowledge Distillation)
• 89. روش های خودکارسازی فرآیند تقطیر دانش
• 90. انتخاب خودکار مدل معلم و دانش آموز
• 91. ارزیابی و معیارهای سنجش تقطیر دانش
• 92. معیارهای رایج ارزیابی مدل دانش آموز
• 93. مقایسه عملکرد مدل دانش آموز با مدل معلم
• 94. تحلیل حساسیت تقطیر دانش به پارامترها
• 95. مطالعات موردی و مثال های عملی تقطیر دانش
• 96. تقطیر دانش در صنعت
• 97. تقطیر دانش در تحقیقات دانشگاهی
• 98. آینده تقطیر دانش
• 99. روندهای نوظهور در تقطیر دانش
• 100. چالش های باز و تحقیقات آتی