فلش‌کارت‌های آموزشی مکانیسم توجه در مدل‌های زبانی بزرگ: مبانی تا کاربردها

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب مکانیسم توجه در مدل‌های زبانی بزرگ: مبانی تا کاربردها

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: مکانیسم توجه در LLMs

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مبانی مدل‌های زبانی
• 2. تاریخچه مدل‌های زبانی
• 3. انواع مدل‌های زبانی
• 4. مدل‌های آماری زبانی
• 5. مدل‌های مبتنی بر قواعد
• 6. مدل‌های مبتنی بر یادگیری ماشین
• 7. مقدمه‌ای بر شبکه‌های عصبی
• 8. شبکه‌های عصبی پرسپترون چندلایه
• 9. شبکه‌های عصبی بازگشتی (RNN)
• 10. شبکه‌های عصبی حافظه طولانی کوتاه (LSTM)
• 11. شبکه‌های عصبی واحد بازگشتی دروازه‌ای (GRU)
• 12. محدودیت‌های مدل‌های زبانی سنتی
• 13. نیاز به مدل‌های زبانی پیشرفته‌تر
• 14. ظهور مدل‌های زبانی بزرگ (LLMs)
• 15. معماری ترنسفورمر
• 16. مبانی ترنسفورمر
• 17. مکانیسم توجه (Attention Mechanism)
• 18. انواع مکانیسم توجه
• 19. توجه خودی (Self-Attention)
• 20. توجه متقابل (Cross-Attention)
• 21. توجه چند سر (Multi-Head Attention)
• 22. رمزگذار-رمزگشا (Encoder-Decoder)
• 23. نقش رمزگذار در ترنسفورمر
• 24. نقش رمزگشا در ترنسفورمر
• 25. مبانی ترنسفورمرهای فقط رمزگذار (Encoder-only Transformers)
• 26. مبانی ترنسفورمرهای فقط رمزگشا (Decoder-only Transformers)
• 27. مدل‌های زبانی بزرگ: تعریف و ویژگی‌ها
• 28. معیارهای مقایسه مدل‌های زبانی بزرگ
• 29. مقیاس‌پذیری در مدل‌های زبانی بزرگ
• 30. داده‌های آموزشی عظیم
• 31. معماری‌های پیشرفته
• 32. توانایی‌های نوظهور (Emergent Abilities)
• 33. انواع مدل‌های زبانی بزرگ
• 34. مدل‌های مبتنی بر رمزگذار-رمزگشا
• 35. مدل‌های مبتنی بر فقط رمزگذار
• 36. مدل‌های مبتنی بر فقط رمزگشا
• 37. برخی از مدل‌های زبانی بزرگ مشهور
• 38. GPT (Generative Pre-trained Transformer)
• 39. BERT (Bidirectional Encoder Representations from Transformers)
• 40. RoBERTa
• 41. XLNet
• 42. T5 (Text-to-Text Transfer Transformer)
• 43. LLaMA
• 44. Mistral
• 45. مکانیسم توجه در مدل‌های زبانی بزرگ
• 46. اهمیت مکانیسم توجه
• 47. چرا توجه لازم است؟
• 48. جبران محدودیت‌های RNN
• 49. پردازش توالی‌های طولانی
• 50. یادگیری وابستگی‌های دوربرد
• 51. نحوه کارکرد توجه خودی
• 52. محاسبه امتیازات توجه (Attention Scores)
• 53. محاسبه وزن‌های توجه (Attention Weights)
• 54. ترکیب اطلاعات وزن‌دار
• 55. مکانیسم توجه در رمزگذار
• 56. مکانیسم توجه در رمزگشا
• 57. مکانیسم توجه متقابل در رمزگشا
• 58. توجه چند سر: مزایا و عملکرد
• 59. چندین لایه توجه موازی
• 60. استخراج ویژگی‌های مختلف
• 61. بهبود نمایش معنایی
• 62. پیاده‌سازی مکانیسم توجه
• 63. کتابخانه‌های نرم‌افزاری برای پیاده‌سازی
• 64. TensorFlow و Keras
• 65. PyTorch
• 66. Hugging Face Transformers
• 67. مبانی ریاضی مکانیسم توجه
• 68. ضرب ماتریسی
• 69. تابع Softmax
• 70. محاسبات برداری
• 71. مفهوم Query, Key, Value
• 72. مراحل محاسبه توجه
• 73. محاسبات مربوط به Query, Key, Value
• 74. محاسبه امتیازات تشابه
• 75. نرمال‌سازی امتیازات
• 76. محاسبه خروجی وزن‌دار
• 77. کاربردها و مزایای مکانیسم توجه
• 78. خلاصه‌سازی متن
• 79. ترجمه ماشینی
• 80. پاسخ به سوال (Question Answering)
• 81. تولید متن (Text Generation)
• 82. طبقه‌بندی متن (Text Classification)
• 83. تشخیص موجودیت نام‌گذاری شده (Named Entity Recognition - NER)
• 84. استخراج رابطه (Relation Extraction)
• 85. تحلیل احساسات (Sentiment Analysis)
• 86. تشخیص گفتار (Speech Recognition)
• 87. تولید موسیقی
• 88. تولید کد
• 89. مکانیسم توجه در مدل‌های زبانی بزرگ: جزئیات عمیق‌تر
• 90. انواع مختلف مکانیسم توجه (ادامه)
• 91. توجه محلی (Local Attention)
• 92. توجه پراکنده (Sparse Attention)
• 93. توجه خطی (Linear Attention)
• 94. توجه مبتنی بر حافظه (Memory-based Attention)
• 95. توجه مبتنی بر گراف (Graph-based Attention)
• 96. توجه سلسله مراتبی (Hierarchical Attention)
• 97. بهینه‌سازی مکانیسم توجه
• 98. کاهش پیچیدگی محاسباتی
• 99. تکنیک‌های کوانتیزاسیون (Quantization)
• 100. تقطیر دانش (Knowledge Distillation)