فلش‌کارت‌های آموزشی تکنیک‌های پیشرفته تقطیر دانش برای مدل‌های زبانی بزرگ

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب تکنیک‌های پیشرفته تقطیر دانش برای مدل‌های زبانی بزرگ

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Knowledge Distillation

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه ای بر تقطیر دانش
• 2. تقطیر دانش سنتی
• 3. مدل های معلم و دانش آموز
• 4. اهداف تقطیر دانش
• 5. چالش های تقطیر دانش
• 6. مفاهیم کلیدی در تقطیر دانش
• 7. مدل های زبانی بزرگ (LLMs)
• 8. معماری های LLM
• 9. پیچیدگی LLMs
• 10. کاربردهای LLMs
• 11. نیاز به مدل های کوچکتر و کارآمدتر
• 12. تقطیر دانش برای LLMs
• 13. انواع تقطیر دانش
• 14. تقطیر مبتنی بر خروجی (Logit Distillation)
• 15. تقطیر مبتنی بر ویژگی (Feature Distillation)
• 16. تقطیر مبتنی بر رابطه (Relation Distillation)
• 17. تقطیر مبتنی بر دانش ضمنی (Implicit Knowledge Distillation)
• 18. تقطیر مبتنی بر دانش صریح (Explicit Knowledge Distillation)
• 19. تقطیر معلم-دانش آموز
• 20. معماری های معلم-دانش آموز
• 21. انتخاب مدل معلم
• 22. انتخاب مدل دانش آموز
• 23. مراحل تقطیر معلم-دانش آموز
• 24. توابع زیان در تقطیر معلم-دانش آموز
• 25. تابع زیان کل (Total Loss Function)
• 26. تابع زیان دانش آموز (Student Loss Function)
• 27. تابع زیان تقطیر (Distillation Loss Function)
• 28. وزن دهی توابع زیان
• 29. تنظیم ابرپارامترها (Hyperparameter Tuning)
• 30. تقطیر مبتنی بر خروجی (Logit Distillation)
• 31. تابع زیان کراس آنتروپی (Cross-Entropy Loss)
• 32. نرمال سازی خروجی (Softmax Normalization)
• 33. دمای نرمال سازی (Temperature Scaling)
• 34. اهمیت دمای نرمال سازی
• 35. تنظیم دما
• 36. پیاده سازی تقطیر مبتنی بر خروجی
• 37. مزایای تقطیر مبتنی بر خروجی
• 38. محدودیت های تقطیر مبتنی بر خروجی
• 39. تقطیر مبتنی بر ویژگی (Feature Distillation)
• 40. استخراج ویژگی ها از لایه های میانی
• 41. انتخاب لایه های میانی
• 42. تابع زیان فاصله بین ویژگی ها
• 43. L2 Loss
• 44. Cosine Similarity Loss
• 45. MSE Loss
• 46. اهمیت مقیاس گذاری ویژگی ها
• 47. تکنیک های هم ترازی ویژگی ها (Feature Alignment)
• 48. Pondering Distillation
• 49. Attention Transfer
• 50. Layer Normalization Transfer
• 51. پیاده سازی تقطیر مبتنی بر ویژگی
• 52. مزایای تقطیر مبتنی بر ویژگی
• 53. محدودیت های تقطیر مبتنی بر ویژگی
• 54. تقطیر مبتنی بر رابطه (Relation Distillation)
• 55. روابط بین داده ها
• 56. روابط بین نمونه ها (Instance-level Relations)
• 57. روابط بین کلاس ها (Class-level Relations)
• 58. استخراج روابط از مدل معلم
• 59. تابع زیان مبتنی بر رابطه
• 60. پیاده سازی تقطیر مبتنی بر رابطه
• 61. مزایای تقطیر مبتنی بر رابطه
• 62. محدودیت های تقطیر مبتنی بر رابطه
• 63. تقطیر دانش ضمنی (Implicit Knowledge Distillation)
• 64. دانش ضمنی در LLMs
• 65. کدگذاری معنایی (Semantic Embeddings)
• 66. دانش ساختاری (Structural Knowledge)
• 67. استخراج دانش ضمنی
• 68. تکنیک های تقطیر دانش ضمنی
• 69. Knowledge Graph Distillation
• 70. Concept Distillation
• 71. Relation Extraction Distillation
• 72. پیاده سازی تقطیر دانش ضمنی
• 73. مزایای تقطیر دانش ضمنی
• 74. محدودیت های تقطیر دانش ضمنی
• 75. تقطیر دانش صریح (Explicit Knowledge Distillation)
• 76. دانش صریح در LLMs
• 77. قوانین، حقایق، استدلال ها
• 78. استخراج دانش صریح
• 79. تکنیک های تقطیر دانش صریح
• 80. Rule Distillation
• 81. Fact Distillation
• 82. Reasoning Distillation
• 83. پیاده سازی تقطیر دانش صریح
• 84. مزایای تقطیر دانش صریح
• 85. محدودیت های تقطیر دانش صریح
• 86. تکنیک های پیشرفته تقطیر دانش
• 87. تقطیر مرحله ای (Stage-wise Distillation)
• 88. تقطیر سلسله مراتبی (Hierarchical Distillation)
• 89. تقطیر چند معلمی (Multi-teacher Distillation)
• 90. تقطیر دانش تقویتی (Reinforcement Learning for Distillation)
• 91. تقطیر مبتنی بر عدم قطعیت (Uncertainty-based Distillation)
• 92. تقطیر دانش با داده های مصنوعی (Synthetic Data Distillation)
• 93. تقطیر دانش با داده های کم (Few-shot Distillation)
• 94. تقطیر دانش با داده های بدون برچسب (Unsupervised Distillation)
• 95. تقطیر دانش برای وظایف خاص
• 96. تقطیر برای پردازش زبان طبیعی (NLP Tasks)
• 97. تقطیر برای ترجمه ماشینی (Machine Translation)
• 98. تقطیر برای تولید متن (Text Generation)
• 99. تقطیر برای پاسخگویی به سوالات (Question Answering)
• 100. تقطیر برای تحلیل احساسات (Sentiment Analysis)