فلش‌کارت‌های آموزشی ساخت مدل‌های زبان قدرتمند با معماری ترنسفورمر

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب ساخت مدل‌های زبان قدرتمند با معماری ترنسفورمر

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مبانی یادگیری عمیق
• 2. مقدمه ای بر شبکه‌های عصبی
• 3. توابع فعال‌سازی
• 4. پس‌انتشار خطا
• 5. بهینه‌سازها
• 6. تنظیم ابرپارامترها
• 7. مقدمه ای بر پردازش زبان طبیعی (NLP)
• 8. وظایف اصلی NLP
• 9. نمایش متن
• 10. کلمات گمشده (Word Embeddings)
• 11. Word2Vec
• 12. GloVe
• 13. FastText
• 14. مقدمه ای بر شبکه‌های عصبی بازگشتی (RNN)
• 15. حافظه کوتاه‌مدت طولانی (LSTM)
• 16. واحد بازگشتی دروازه‌دار (GRU)
• 17. محدودیت‌های RNN ها
• 18. مقدمه ای بر معماری ترنسفورمر
• 19. مفهوم توجه (Attention)
• 20. مکانیسم توجه خودی (Self-Attention)
• 21. توجه چند سر (Multi-Head Attention)
• 22. کدگذار (Encoder) ترنسفورمر
• 23. کدگشا (Decoder) ترنسفورمر
• 24. ساختار کلی ترنسفورمر
• 25. موقعیت‌یابی رمزگذاری (Positional Encoding)
• 26. لایه نرمال‌سازی (Layer Normalization)
• 27. اتصال باقی‌مانده (Residual Connections)
• 28. تابع فعال‌سازی GELU
• 29. کاربرد ترنسفورمر در ترجمه ماشینی
• 30. کاربرد ترنسفورمر در تولید متن
• 31. کاربرد ترنسفورمر در خلاصه‌سازی متن
• 32. کاربرد ترنسفورمر در پاسخگویی به سوالات
• 33. کاربرد ترنسفورمر در طبقه‌بندی متن
• 34. کاربرد ترنسفورمر در تشخیص موجودیت نام‌گذاری شده (NER)
• 35. کاربرد ترنسفورمر در تحلیل احساسات
• 36. معماری BERT
• 37. مفهوم مدل‌سازی زبان پیش‌بینی‌کننده (Masked Language Model)
• 38. مفهوم پیش‌بینی جمله بعدی (Next Sentence Prediction)
• 39. آموزش ترانسفر (Transfer Learning)
• 40. تنظیم دقیق (Fine-tuning) مدل‌های ترنسفورمر
• 41. تکنیک‌های پیش‌پردازش متن برای ترنسفورمرها
• 42. توکن‌سازی (Tokenization)
• 43. توکن‌ساز Byte-Pair Encoding (BPE)
• 44. توکن‌ساز WordPiece
• 45. توکن‌ساز SentencePiece
• 46. مدل‌های مبتنی بر BERT (مانند RoBERTa، ALBERT، DistilBERT)
• 47. مفهوم ترانسفورمرهای متقارن (Symmetric Transformers)
• 48. مفهوم ترانسفورمرهای نامتقارن (Asymmetric Transformers)
• 49. معماری GPT
• 50. مفهوم تولید متن با مدل‌های زبانی
• 51. معماری GPT-2
• 52. معماری GPT-3
• 53. معماری T5
• 54. معماری BART
• 55. معماری XLNet
• 56. مفهوم مدل‌سازی زبان مبتنی بر شبیه‌سازی (Permutation Language Modeling)
• 57. مفهوم مدل‌سازی زبان مبتنی بر پیش‌بینی بخش (Span Prediction)
• 58. تفاوت‌های کلیدی بین BERT و GPT
• 59. تفاوت‌های کلیدی بین GPT و T5
• 60. تفاوت‌های کلیدی بین T5 و BART
• 61. مقدمه ای بر مدل‌های زبانی بزرگ (LLMs)
• 62. چالش‌های آموزش مدل‌های زبانی بزرگ
• 63. مقیاس‌پذیری در آموزش مدل‌های ترنسفورمر
• 64. توزیع آموزش (Distributed Training)
• 65. موازی‌سازی داده (Data Parallelism)
• 66. موازی‌سازی مدل (Model Parallelism)
• 67. موازی‌سازی خط لوله (Pipeline Parallelism)
• 68. سخت‌افزار مورد نیاز برای آموزش LLMs
• 69. GPU ها و TPU ها
• 70. حافظه و پهنای باند
• 71. مدیریت داده‌های بزرگ
• 72. جمع‌آوری داده
• 73. پاکسازی داده
• 74. پیش‌پردازش داده
• 75. تنظیم دقیق مدل‌های ترنسفورمر برای وظایف خاص
• 76. تنظیم دقیق برای ترجمه ماشینی
• 77. تنظیم دقیق برای تولید متن خلاقانه
• 78. تنظیم دقیق برای چت‌بات‌ها
• 79. تنظیم دقیق برای سیستم‌های توصیه‌گر
• 80. ارزیابی مدل‌های زبان
• 81. معیارهای ارزیابی برای وظایف NLP
• 82. BLEU، ROUGE، METEOR
• 83. Perplexity
• 84. F1-Score، Accuracy
• 85. چالش‌های ارزیابی LLMs
• 86. سوگیری (Bias) در مدل‌های زبان
• 87. تشخیص و کاهش سوگیری
• 88. اخلاق در مدل‌های زبان
• 89. مسئولیت‌پذیری و شفافیت
• 90. کاربردهای پیشرفته مدل‌های ترنسفورمر
• 91. تولید کد
• 92. تشخیص و رفع اشکال کد
• 93. استدلال در زبان طبیعی
• 94. یادگیری چندوظیفه‌ای (Multi-task Learning)
• 95. یادگیری انتقال (Few-shot Learning)
• 96. یادگیری صفرشات (Zero-shot Learning)
• 97. تفسیرپذیری مدل‌های ترنسفورمر
• 98. روش‌های تفسیرپذیری
• 99. تحلیل نقشه‌های توجه (Attention Maps)
• 100. نقشه‌برداری ویژگی (Feature Visualization)