دوره ترنسفورمرها: ستون فقرات مدل‌های زبانی بزرگ همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ترنسفورمرها: ستون فقرات مدل‌های زبانی بزرگ

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مدل‌های زبانی بزرگ
• 2. مبانی ترنسفورمرها: از کجا شروع کنیم؟
• 3. ساختار معماری ترنسفورمر
• 4. مکانیزم توجه (Attention Mechanism) چیست؟
• 5. خود-توجهی (Self-Attention) و اهمیت آن
• 6. توجه چند-سری (Multi-Head Attention)
• 7. لایه انکودر در ترنسفورمر
• 8. لایه دیکودر در ترنسفورمر
• 9. رمزگذاری موقعیتی (Positional Encoding)
• 10. جاسازی کلمه (Word Embeddings)
• 11. جاسازی‌های موقعیتی (Positional Embeddings)
• 12. شبکه‌های عصبی بازگشتی (RNNs) و محدودیت‌هایشان
• 13. شبکه‌های حافظه طولانی کوتاه-مدت (LSTMs)
• 14. شبکه‌های حافظه کوتاه-مدت (GRUs)
• 15. چرا ترنسفورمرها جایگزین RNN ها شدند؟
• 16. کاربرد ترنسفورمرها در پردازش زبان طبیعی (NLP)
• 17. ترنسفورمرها برای ترجمه ماشینی
• 18. ترنسفورمرها برای خلاصه‌سازی متن
• 19. ترنسفورمرها برای تولید متن
• 20. ترنسفورمرها برای پاسخ به سوالات
• 21. ترنسفورمرها برای تحلیل احساسات
• 22. ترنسفورمرها برای طبقه‌بندی متن
• 23. ترنسفورمرها برای تشخیص موجودیت نام‌گذاری شده (NER)
• 24. مدل‌های پیش‌آموزش‌دیده (Pre-trained Models)
• 25. نکات کلیدی در پیش‌آموزش ترنسفورمرها
• 26. تکنیک‌های پیش‌آموزش: Masked Language Modeling (MLM)
• 27. تکنیک‌های پیش‌آموزش: Next Sentence Prediction (NSP)
• 28. معماری BERT (Bidirectional Encoder Representations from Transformers)
• 29. کاربرد BERT در وظایف NLP
• 30. تنظیم دقیق (Fine-tuning) مدل BERT
• 31. مدل GPT (Generative Pre-trained Transformer)
• 32. کاربرد GPT در تولید متن
• 33. تفاوت‌های کلیدی بین BERT و GPT
• 34. معماری RoBERTa
• 35. بهینه‌سازی‌های RoBERTa نسبت به BERT
• 36. معماری XLNet
• 37. مزایای XLNet نسبت به مدل‌های قبلی
• 38. معماری T5 (Text-to-Text Transfer Transformer)
• 39. مدل‌سازی متن به متن در T5
• 40. کاربرد T5 در وظایف مختلف
• 41. معماری BART (Bidirectional and Auto-Regressive Transformer)
• 42. مفاهیم کلیدی در BART
• 43. کاربرد BART در وظایف تولیدی
• 44. معماری ELECTRA
• 45. روش‌های پیش‌آموزش در ELECTRA
• 46. مزایای ELECTRA
• 47. معماری Longformer
• 48. مدیریت توالی‌های طولانی در Longformer
• 49. کاربرد Longformer
• 50. معماری Reformer
• 51. بهینه‌سازی حافظه در Reformer
• 52. کاربرد Reformer
• 53. معماری Performer
• 54. توجه تقریبی در Performer
• 55. کاربرد Performer
• 56. معماری Linformer
• 57. کاهش پیچیدگی در Linformer
• 58. کاربرد Linformer
• 59. معماری BigBird
• 60. توجه پراکنده در BigBird
• 61. کاربرد BigBird
• 62. معماری GPT-2
• 63. تولید متن خلاقانه با GPT-2
• 64. محدودیت‌های GPT-2
• 65. معماری GPT-3
• 66. مقیاس‌پذیری در GPT-3
• 67. توانایی‌های GPT-3 (Few-shot learning)
• 68. معماری LaMDA
• 69. هدف LaMDA: مکالمه طبیعی
• 70. کاربرد LaMDA
• 71. معماری PaLM
• 72. توانایی‌های PaLM در استدلال
• 73. کاربرد PaLM
• 74. معماری BLOOM
• 75. BLOOM: یک مدل زبانی چندزبانه
• 76. کاربرد BLOOM
• 77. معماری OPT (Open Pre-trained Transformer)
• 78. هدف OPT: دسترسی آزاد
• 79. کاربرد OPT
• 80. مفهوم Embeddings در ترنسفورمرها
• 81. روش‌های تولید Embeddings
• 82. آموزش Embeddings سفارشی
• 83. تنظیم پارامترهای ترنسفورمر
• 84. بهینه‌سازی مدل‌های ترنسفورمر
• 85. کاهش ابعاد در ترنسفورمرها
• 86. تکنیک‌های Regularization
• 87. جلوگیری از Overfitting
• 88. ارزیابی مدل‌های ترنسفورمر
• 89. معیارهای ارزیابی برای وظایف مختلف
• 90. چالش‌های اخلاقی در مدل‌های زبانی بزرگ
• 91. سوگیری (Bias) در مدل‌های زبانی
• 92. راهکارهای کاهش سوگیری
• 93. امنیت مدل‌های زبانی
• 94. ملاحظات امنیتی در پیاده‌سازی
• 95. کاربردهای نوین ترنسفورمرها
• 96. ترنسفورمرها در بینایی ماشین (Vision Transformers)
• 97. کاربرد Vision Transformers
• 98. ترنسفورمرها در بیوانفورماتیک
• 99. کاربرد ترنسفورمرها در کشف دارو
• 100. ترنسفورمرها و هوش مصنوعی مولد