فلش‌کارت‌های آموزشی معماری ترنسفورمر در پردازش زبان طبیعی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره معماری ترنسفورمر در پردازش زبان طبیعی

موضوع کلی: هوش مصنوعی و یادگیری ماشین

موضوع میانی: شبکه‌های عصبی عمیق

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش زبان طبیعی
• 2. مبانی یادگیری ماشین
• 3. مروری بر شبکه‌های عصبی
• 4. مفهوم توالی و مدل‌سازی آن
• 5. شبکه‌های عصبی بازگشتی (RNN)
• 6. شبکه‌های حافظه کوتاه‌مدت بلند (LSTM)
• 7. شبکه‌های حافظه کوتاه‌مدت (GRU)
• 8. چالش‌های مدل‌سازی توالی‌های طولانی
• 9. مفهوم توجه (Attention) در یادگیری ماشین
• 10. پیش‌نیازهای معماری ترنسفورمر
• 11. معرفی معماری ترنسفورمر
• 12. اجزای اصلی ترنسفورمر
• 13. رمزگذار (Encoder) در ترنسفورمر
• 14. رمزگشا (Decoder) در ترنسفورمر
• 15. مکانیزم توجه خودی (Self-Attention)
• 16. توجه چندسر (Multi-Head Attention)
• 17. لایه‌های موقعیت‌یابی (Positional Encoding)
• 18. ورودی و خروجی ترنسفورمر
• 19. لایه‌های فیدفوروارد (Feed-Forward Layers)
• 20. اتصالات باقی‌مانده (Residual Connections)
• 21. نرمال‌سازی لایه‌ای (Layer Normalization)
• 22. تفاوت ترنسفورمر با RNN و LSTM
• 23. کاربرد ترنسفورمر در ترجمه ماشینی
• 24. ترجمه ماشینی آماری در مقابل ترنسفورمر
• 25. مدل‌سازی زبانی با ترنسفورمر
• 26. تولید متن با ترنسفورمر
• 27. کاربرد ترنسفورمر در خلاصه‌سازی متن
• 28. خلاصه‌سازی انتزاعی و استخراجی
• 29. ترنسفورمر برای پاسخ به پرسش
• 30. طبقه‌بندی متن با ترنسفورمر
• 31. شناسایی موجودیت نام‌گذاری شده (NER)
• 32. تحلیل احساسات با ترنسفورمر
• 33. مدل‌های زبانی بزرگ (LLM)
• 34. معرفی مدل BERT
• 35. معماری BERT
• 36. آموزش پیش‌فرض BERT
• 37. کاربرد BERT در وظایف NLP
• 38. مدل GPT و خانواده آن
• 39. معماری GPT
• 40. آموزش پیش‌فرض GPT
• 41. کاربرد GPT در تولید متن
• 42. مدل‌های ترنسفورمر دیگر
• 43. اهمیت داده در آموزش ترنسفورمر
• 44. پیش‌پردازش داده برای ترنسفورمر
• 45. توکنیزاسیون (Tokenization)
• 46. انواع توکنیزاسیون
• 47. مدل‌های زبانی مبتنی بر زیرکلمه
• 48. مفاهیم مربوط به واژگان (Vocabulary)
• 49. تعبیه‌های کلمه (Word Embeddings)
• 50. تعبیه‌های موقعیتی (Positional Embeddings)
• 51. تفاوت تعبیه‌ها
• 52. بهینه‌سازی در آموزش ترنسفورمر
• 53. انتخاب نرخ یادگیری (Learning Rate)
• 54. انواع بهینه‌سازها (Optimizers)
• 55. تنظیم فراپارامترها (Hyperparameter Tuning)
• 56. ارزیابی مدل ترنسفورمر
• 57. معیارهای ارزیابی در NLP
• 58. معیار BLEU برای ترجمه
• 59. معیار ROUGE برای خلاصه‌سازی
• 60. معیار Perplexity در مدل‌سازی زبانی
• 61. مفاهیم Overfitting و Underfitting
• 62. تکنیک‌های جلوگیری از Overfitting
• 63. تنظیم‌گری (Regularization)
• 64. حذف تصادفی (Dropout)
• 65. انتقال یادگیری (Transfer Learning)
• 66. تنظیم دقیق (Fine-tuning) مدل‌های ترنسفورمر
• 67. استفاده از مدل‌های از پیش آموزش‌دیده
• 68. ترنسفورمر برای پردازش گفتار
• 69. ترنسفورمر برای بینایی ماشین
• 70. کاربردهای پیشرفته ترنسفورمر
• 71. پردازش زبان طبیعی فارسی
• 72. چالش‌های NLP فارسی
• 73. مدل‌های ترنسفورمر برای زبان فارسی
• 74. ملاحظات اخلاقی در AI
• 75. تعصب در مدل‌های زبانی
• 76. شفافیت و قابلیت تفسیر مدل‌ها
• 77. امنیت و حریم خصوصی در NLP
• 78. آینده ترنسفورمر در NLP
• 79. مباحث پیشرفته در توجه
• 80. مدل‌های ترنسفورمر کارآمدتر
• 81. ترنسفورمرهای سبک (Lightweight Transformers)
• 82. محدودیت‌های فعلی ترنسفورمر
• 83. تحقیقات جاری در معماری ترنسفورمر
• 84. ترنسفورمرهای گراف (Graph Transformers)
• 85. ترنسفورمرهای مولتی‌مودال (Multimodal Transformers)
• 86. کاربرد ترنسفورمر در علوم زیستی
• 87. کاربرد ترنسفورمر در مالی
• 88. کاربرد ترنسفورمر در حقوق
• 89. کاربرد ترنسفورمر در آموزش
• 90. اصول طراحی معماری‌های نوین
• 91. خلاصه‌ای از معماری ترنسفورمر
• 92. مروری بر پیشرفت‌های اخیر
• 93. مسیرهای تحقیقاتی آینده
• 94. ترنسفورمر و هوش مصنوعی عمومی (AGI)
• 95. جمع‌بندی و نتیجه‌گیری
• 96. مبانی ریاضی ترنسفورمر
• 97. جبر خطی برای ترنسفورمر
• 98. حساب دیفرانسیل برای ترنسفورمر
• 99. آمار و احتمالات برای ترنسفورمر