فلش‌کارت‌های آموزشی راهنمای جامع یادگیری انتقالی در حوزه مدل‌های زبانی

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب راهنمای جامع یادگیری انتقالی در حوزه مدل‌های زبانی

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: یادگیری انتقالی (Transfer Learning)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه و مفاهیم پایه یادگیری انتقالی
• 2. تعریف یادگیری انتقالی
• 3. اهمیت یادگیری انتقالی در مدل‌های زبانی
• 4. انواع یادگیری انتقالی (همگن، ناهمگن، ناهمگون)
• 5. مفاهیم مرتبط: یادگیری چند وظیفه‌ای، تنظیم دقیق، پیش‌بینی
• 6. تاریخچه مختصر یادگیری انتقالی در پردازش زبان طبیعی
• 7. چالش‌های یادگیری انتقالی در مدل‌های زبانی
• 8. کاربردهای یادگیری انتقالی در مدل‌های زبانی
• 9. مروری بر مدل‌های زبانی سنتی
• 10. مدل‌های زبانی مبتنی بر آمارهای آماری (N-gram)
• 11. مدل‌های زبانی مبتنی بر شبکه‌های عصبی
• 12. شبکه‌های عصبی بازگشتی (RNN)
• 13. حافظه طولانی کوتاه مدت (LSTM)
• 14. شبکه‌های عصبی کانولوشنی (CNN) برای زبان
• 15. معرفی مدل‌های ترنسفورمر
• 16. معماری ترنسفورمر
• 17. مکانیزم توجه (Attention Mechanism)
• 18. توجه خودی (Self-Attention)
• 19. توجه متقابل (Cross-Attention)
• 20. کدگذار (Encoder) و رمزگشا (Decoder) ترنسفورمر
• 21. مزایای مدل‌های ترنسفورمر
• 22. معرفی مدل‌های زبانی از پیش آموزش دیده (Pre-trained Language Models)
• 23. مفهوم پیش آموزش (Pre-training)
• 24. مفهوم تنظیم دقیق (Fine-tuning)
• 25. مدل‌های زبانی پیش آموزش دیده مبتنی بر ترنسفورمر
• 26. BERT
• 27. GPT (Generative Pre-trained Transformer)
• 28. RoBERTa
• 29. XLNet
• 30. ELECTRA
• 31. ALBERTa
• 32. DistilBERT
• 33. مراحل پیش آموزش مدل‌های زبانی
• 34. مجموعه داده‌های مورد استفاده در پیش آموزش
• 35. وظایف پیش آموزش (Pre-training Tasks)
• 36. مدل‌سازی زبان (Language Modeling)
• 37. پیش‌بینی کلمه ماسک شده (Masked Language Modeling - MLM)
• 38. پیش‌بینی جمله بعدی (Next Sentence Prediction - NSP)
• 39. پیش‌بینی کلمه بعدی (Causal Language Modeling - CLM)
• 40. توضیح وظایف پیش آموزش
• 41. مفاهیم کلیدی در پیش آموزش
• 42. اندازه مجموعه داده
• 43. کیفیت مجموعه داده
• 44. معماری مدل
• 45. هایپرپارامترهای پیش آموزش
• 46. مراحل تنظیم دقیق مدل‌های زبانی
• 47. تنظیم دقیق برای وظایف پایین‌دستی (Downstream Tasks)
• 48. انواع وظایف پایین‌دستی
• 49. طبقه‌بندی متن (Text Classification)
• 50. تشخیص احساسات (Sentiment Analysis)
• 51. تشخیص موضوع (Topic Classification)
• 52. تشخیص اسپم (Spam Detection)
• 53. پاسخ به سوال (Question Answering - QA)
• 54. استخراج اطلاعات (Information Extraction)
• 55. ترجمه ماشینی (Machine Translation)
• 56. خلاصه‌سازی متن (Text Summarization)
• 57. تولید متن (Text Generation)
• 58. تشخیص موجودیت نام‌گذاری شده (Named Entity Recognition - NER)
• 59. رابطه استخراجی (Relation Extraction)
• 60. تطبیق متن (Text Matching)
• 61. تشخیص مغایرت (Natural Language Inference - NLI)
• 62. تنظیم دقیق نیمه نظارتی (Semi-Supervised Fine-tuning)
• 63. تنظیم دقیق چند وظیفه‌ای (Multi-task Fine-tuning)
• 64. تنظیم دقیق در حوزه خاص (Domain-specific Fine-tuning)
• 65. تنظیم دقیق برای زبان‌های کم‌منبع (Low-resource Languages)
• 66. تکنیک‌های تنظیم دقیق
• 67. تنظیم دقیق کامل (Full Fine-tuning)
• 68. تنظیم دقیق پارامترهای انتخابی (Parameter-Efficient Fine-tuning - PEFT)
• 69. تنظیم دقیق با استفاده از لایه‌های اضافی (Adding Output Layers)
• 70. تنظیم دقیق با استفاده از ماسک (Adapter Layers)
• 71. LoRA (Low-Rank Adaptation)
• 72. Prefix Tuning
• 73. Prompt Tuning
• 74. نکات مهم در تنظیم دقیق
• 75. انتخاب مدل پیش آموزش دیده مناسب
• 76. انتخاب وظیفه پیش آموزش مناسب
• 77. انتخاب مجموعه داده تنظیم دقیق
• 78. انتخاب هایپرپارامترهای تنظیم دقیق
• 79. اندازه بچ (Batch Size)
• 80. نرخ یادگیری (Learning Rate)
• 81. تعداد دوره‌های آموزشی (Epochs)
• 82. بهینه‌ساز (Optimizer)
• 83. تنظیم دقیق تدریجی (Gradual Unfreezing)
• 84. نظارت بر عملکرد در طول تنظیم دقیق
• 85. ارزیابی مدل‌های تنظیم شده
• 86. معیارهای ارزیابی برای وظایف مختلف
• 87. دقت (Accuracy)
• 88. امتیاز F1 (F1-Score)
• 89. امتیاز رو-ک (ROUGE)
• 90. امتیاز BLEU
• 91. امتیاز METEOR
• 92. امتیاز GLUE
• 93. امتیاز SuperGLUE
• 94. مدل‌های زبانی برای یادگیری انتقالی
• 95. انواع مدل‌های زبانی برای یادگیری انتقالی
• 96. مدل‌های مبتنی بر کدگذار (Encoder-only) - مانند BERT
• 97. مدل‌های مبتنی بر رمزگشا (Decoder-only) - مانند GPT
• 98. مدل‌های مبتنی بر کدگذار-رمزگشا (Encoder-Decoder) - مانند T5
• 99. انتخاب مدل مناسب بر اساس وظیفه
• 100. مدل‌های زبانی با توجه به اندازه