فلش‌کارت‌های آموزشی fine-tuning مدل‌های زبانی: کنترل بر میزان منابع و عملکرد

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب fine-tuning مدل‌های زبانی: کنترل بر میزان منابع و عملکرد

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Fine-tuning برای جنبه‌های خاص (مانند لحن، سبک)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه به مدل‌های زبانی بزرگ
• 2. مبانی یادگیری عمیق برای مدل‌های زبانی
• 3. معماری ترنسفورمر
• 4. توکن‌سازی و امبدینگ‌ها
• 5. مفاهیم پایه‌ی fine-tuning
• 6. انواع fine-tuning
• 7. هدف fine-tuning
• 8. انتخاب مدل پایه‌ی مناسب
• 9. تأثیر اندازه مدل بر fine-tuning
• 10. تأثیر معماری مدل بر fine-tuning
• 11. تأثیر داده‌های پیش‌آموزش بر fine-tuning
• 12. مجموعه داده‌های fine-tuning
• 13. کیفیت داده‌های fine-tuning
• 14. حجم داده‌های fine-tuning
• 15. پیش‌پردازش داده‌ها برای fine-tuning
• 16. پاکسازی داده‌ها
• 17. نرمال‌سازی داده‌ها
• 18. تقسیم داده‌ها (آموزش، اعتبارسنجی، تست)
• 19. روش‌های نمونه‌برداری از داده‌ها
• 20. تکنیک‌های افزایش داده (Data Augmentation)
• 21. نکات مهم در جمع‌آوری داده برای fine-tuning
• 22. تنظیمات هایپرپارامترهای fine-tuning
• 23. نرخ یادگیری (Learning Rate)
• 24. اندازه بچ (Batch Size)
• 25. تعداد دوره‌های آموزشی (Epochs)
• 26. بهینه‌سازها (Optimizers)
• 27. تنظیم نرخ یادگیری (Learning Rate Scheduling)
• 28. تنظیمات Regularization
• 29. تنظیمات Dropout
• 30. تنظیمات Weight Decay
• 31. تنظیمات Early Stopping
• 32. تنظیمات مربوط به تخصیص منابع محاسباتی
• 33. GPU و CPU
• 34. حافظه RAM
• 35. حافظه VRAM
• 36. پهنای باند شبکه
• 37. استفاده از سخت‌افزارهای مختلف
• 38. تنظیمات fine-tuning برای سخت‌افزارهای محدود
• 39. تکنیک‌های کاهش مصرف حافظه
• 40. Quantization
• 41. Gradient Checkpointing
• 42. Parameter-Efficient Fine-Tuning (PEFT)
• 43. LoRA (Low-Rank Adaptation)
• 44. Prefix Tuning
• 45. Prompt Tuning
• 46. Adapter Layers
• 47. QLoRA
• 48. P-Tuning
• 49. نکات عملی در پیاده‌سازی PEFT
• 50. مقایسه PEFT با Fine-tuning کامل
• 51. مزایای PEFT
• 52. معایب PEFT
• 53. انتخاب روش PEFT مناسب
• 54. مدیریت منابع در طول fine-tuning
• 55. مانیتورینگ مصرف منابع
• 56. ابزارهای مانیتورینگ (TensorBoard, Weights & Biases)
• 57. تشخیص گلوگاه‌های عملکردی
• 58. مدیریت حافظه در طول fine-tuning
• 59. استراتژی‌های توزیع بار محاسباتی
• 60. Fine-tuning توزیع شده (Distributed Fine-tuning)
• 61. Data Parallelism
• 62. Model Parallelism
• 63. Pipeline Parallelism
• 64. Zero Redundancy Optimizer (ZeRO)
• 65. تنظیمات fine-tuning برای مقیاس‌پذیری
• 66. ارزیابی عملکرد مدل fine-tuned
• 67. معیارهای ارزیابی (Metrics)
• 68. Accuracy, Precision, Recall, F1-Score
• 69. Perplexity
• 70. BLEU, ROUGE
• 71. METEOR
• 72. Human Evaluation
• 73. انتخاب معیارهای مناسب برای وظیفه
• 74. تحلیل خطا (Error Analysis)
• 75. تنظیم مدل بر اساس نتایج ارزیابی
• 76. تکرار فرآیند fine-tuning
• 77. بهبود عملکرد با تنظیم مجدد هایپرپارامترها
• 78. استفاده از تکنیک‌های پیشرفته‌تر
• 79. Fine-tuning چندوظیفه‌ای (Multi-task Fine-tuning)
• 80. Transfer Learning
• 81. Meta-Learning
• 82. Few-Shot Learning
• 83. Zero-Shot Learning
• 84. Fine-tuning برای وظایف خاص
• 85. تولید متن (Text Generation)
• 86. خلاصه‌سازی (Summarization)
• 87. ترجمه ماشینی (Machine Translation)
• 88. پاسخگویی به سوال (Question Answering)
• 89. تحلیل احساسات (Sentiment Analysis)
• 90. دسته‌بندی متن (Text Classification)
• 91. تشخیص موجودیت نام‌گذاری شده (Named Entity Recognition - NER)
• 92. تولید کد (Code Generation)
• 93. چالش‌های fine-tuning
• 94. Overfitting
• 95. Underfitting
• 96. Catastrophic Forgetting
• 97. Bias در داده‌ها و مدل
• 98. تفسیرپذیری مدل (Model Interpretability)
• 99. استانداردسازی و تکرارپذیری در fine-tuning
• 100. بهترین شیوه‌ها (Best Practices) برای fine-tuning