اپلیکیشن اندرویدی فلش‌کارت آموزشی معماری‌های ترنسفورمر و آموزش پیش‌زمینه LLM

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره معماری‌های ترنسفورمر و آموزش پیش‌زمینه LLM

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: آموزش پیش‌زمینه (Pre-training) LLMs

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر معماری ترنسفورمر
• 2. اجزای اصلی ترنسفورمر: توجه (Attention)
• 3. مکانیسم توجه خودی (Self-Attention)
• 4. توجه چندسر (Multi-Head Attention)
• 5. رمزگذار ترنسفورمر (Transformer Encoder)
• 6. رمزگشا ترنسفورمر (Transformer Decoder)
• 7. کاربرد ترنسفورمر در پردازش زبان طبیعی
• 8. آموزش مدل‌های زبان بزرگ (LLM)
• 9. مفاهیم پایه در آموزش پیش‌زمینه
• 10. داده‌های مورد نیاز برای آموزش LLM
• 11. پیش‌پردازش متن برای LLM
• 12. توکن‌سازی (Tokenization)
• 13. انواع روش‌های توکن‌سازی
• 14. کدهای ویژه در توکن‌سازی
• 15. مدل‌های زبانی آماری
• 16. مدل‌های زبانی عصبی
• 17. شبکه‌های عصبی بازگشتی (RNN)
• 18. شبکه‌های حافظه بلند کوتاه (LSTM)
• 19. شبکه‌های حافظه کوتاه مدت (GRU)
• 20. معماری‌های مبتنی بر ترنسفورمر برای LLM
• 21. مدل‌های زبانی از پیش آموزش‌دیده (Pre-trained Language Models)
• 22. BERT: Bidirectional Encoder Representations from Transformers
• 23. GPT: Generative Pre-trained Transformer
• 24. کاربردهای BERT
• 25. کاربردهای GPT
• 26. آموزش پیش‌زمینه BERT
• 27. آموزش پیش‌زمینه GPT
• 28. تنظیم دقیق (Fine-tuning) مدل‌های LLM
• 29. تنظیم دقیق برای وظایف طبقه‌بندی متن
• 30. تنظیم دقیق برای وظایف استخراج اطلاعات
• 31. تنظیم دقیق برای وظایف تولید متن
• 32. تنظیم دقیق برای وظایف ترجمه ماشینی
• 33. تنظیم دقیق برای وظایف پرسش و پاسخ
• 34. تنظیم دقیق برای وظایف خلاصه‌سازی متن
• 35. معیارهای ارزیابی مدل‌های LLM
• 36. امتیاز BLEU برای ترجمه ماشینی
• 37. امتیاز ROUGE برای خلاصه‌سازی
• 38. معیارهای ارزیابی وظایف تولید متن
• 39. معیارهای ارزیابی وظایف طبقه‌بندی
• 40. آموزش تقویتی از بازخورد انسانی (RLHF)
• 41. مراحل RLHF
• 42. کاربرد RLHF در بهبود پاسخ‌های LLM
• 43. اخلاق در هوش مصنوعی و LLM
• 44. سوگیری (Bias) در مدل‌های زبانی
• 45. شناسایی و کاهش سوگیری
• 46. شفافیت و قابلیت تفسیرپذیری LLM
• 47. مسئولیت‌پذیری در استفاده از LLM
• 48. حفظ حریم خصوصی در LLM
• 49. امنیت مدل‌های LLM
• 50. مقیاس‌پذیری در آموزش LLM
• 51. سخت‌افزار مورد نیاز برای آموزش LLM
• 52. پردازنده‌های گرافیکی (GPU)
• 53. شتاب‌دهنده‌های تخصصی هوش مصنوعی
• 54. توزیع آموزش بر روی چندین GPU
• 55. تکنیک‌های کاهش حافظه در آموزش LLM
• 56. بهینه‌سازی پارامترهای مدل
• 57. تنظیم نرخ یادگیری (Learning Rate Scheduling)
• 58. استفاده از بهینه‌سازهای پیشرفته
• 59. مدل‌های زبانی با پارامترهای کمتر
• 60. معماری‌های بهینه‌تر برای LLM
• 61. ترنسفورمرهای کارآمد (Efficient Transformers)
• 62. محدودیت‌های معماری ترنسفورمر
• 63. راهکارهای غلبه بر محدودیت‌ها
• 64. مدل‌های زبانی با حافظه بلند مدت
• 65. ترنسفورمرهای خطی (Linear Transformers)
• 66. توجه پراکنده (Sparse Attention)
• 67. مدل‌های زبانی با دانش بیرونی (External Knowledge)
• 68. ترکیب LLM با پایگاه‌های دانش
• 69. نحوه پرس‌وجو از پایگاه‌های دانش
• 70. مدل‌های زبانی چندوجهی (Multimodal LLMs)
• 71. پردازش همزمان متن و تصویر
• 72. پردازش همزمان متن و صدا
• 73. کاربرد LLM در حوزه‌های مختلف
• 74. LLM در آموزش و پرورش
• 75. LLM در پزشکی و سلامت
• 76. LLM در امور مالی و اقتصادی
• 77. LLM در حقوق و قانون‌گذاری
• 78. LLM در تولید محتوا و رسانه
• 79. LLM در خدمات مشتریان
• 80. LLM در پژوهش و توسعه
• 81. مدل‌های زبانی کوچک‌تر و تخصصی‌تر
• 82. کاربرد LLM در دستگاه‌های کم‌توان
• 83. بهینه‌سازی مدل‌های LLM برای استنتاج (Inference)
• 84. کوانتیزاسیون (Quantization) مدل‌ها
• 85. هرس کردن (Pruning) مدل‌ها
• 86. کشتی‌سازی (Knowledge Distillation)
• 87. فشرده‌سازی مدل‌های LLM
• 88. تکنیک‌های اجرای سریع‌تر LLM
• 89. مدل‌های زبانی برای زبان فارسی
• 90. چالش‌های آموزش LLM برای زبان فارسی
• 91. داده‌های فارسی برای آموزش LLM
• 92. معماری‌های مناسب برای زبان فارسی
• 93. تنظیم دقیق LLM برای وظایف فارسی
• 94. ارزیابی LLM برای زبان فارسی
• 95. آیندهٔ معماری‌های ترنسفورمر و LLM
• 96. پیشرفت‌های آتی در معماری‌های زبانی
• 97. نقش LLM در هوش مصنوعی عمومی
• 98. آموزش و توسعهٔ مسئولانهٔ LLM
• 99. اهمیت چارچوب‌های قانونی در LLM