فلش‌کارت‌های آموزشی کوانتیزاسیون مدل‌های زبانی بزرگ: تکنیک‌های پیشرفته برای مدل‌های کارآمد

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب کوانتیزاسیون مدل‌های زبانی بزرگ: تکنیک‌های پیشرفته برای مدل‌های کارآمد

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Quantization

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه ای بر کوانتیزاسیون مدل های زبانی بزرگ
• 2. ضرورت کوانتیزاسیون برای مدل های کارآمد
• 3. تعریف کوانتیزاسیون و انواع آن
• 4. کوانتیزاسیون در مقابل تقطیر مدل
• 5. کوانتیزاسیون در مقابل هرس مدل
• 6. مزایای کوانتیزاسیون: کاهش اندازه مدل
• 7. مزایای کوانتیزاسیون: کاهش مصرف حافظه
• 8. مزایای کوانتیزاسیون: افزایش سرعت استنتاج
• 9. مزایای کوانتیزاسیون: کاهش مصرف انرژی
• 10. چالش های کوانتیزاسیون: افت دقت
• 11. چالش های کوانتیزاسیون: پیچیدگی پیاده سازی
• 12. چالش های کوانتیزاسیون: سازگاری سخت افزاری
• 13. مروری بر مدل های زبانی بزرگ (LLMs)
• 14. معماری ترنسفورمر
• 15. اجزای کلیدی ترنسفورمر: خود توجهی
• 16. اجزای کلیدی ترنسفورمر: لایه های خوراک رو به جلو
• 17. اجزای کلیدی ترنسفورمر: جاسازی ها
• 18. اجزای کلیدی ترنسفورمر: لایه نرمال سازی
• 19. اجزای کلیدی ترنسفورمر: اتصالات باقی مانده
• 20. مراحل آموزش LLMs
• 21. مراحل استنتاج LLMs
• 22. انواع کوانتیزاسیون: کوانتیزاسیون پس از آموزش (PTQ)
• 23. انواع کوانتیزاسیون: کوانتیزاسیون در حین آموزش (QAT)
• 24. کوانتیزاسیون PTQ: کوانتیزاسیون مبتنی بر مقیاس
• 25. کوانتیزاسیون PTQ: کوانتیزاسیون مبتنی بر تقاطع
• 26. کوانتیزاسیون PTQ: کوانتیزاسیون یکنواخت
• 27. کوانتیزاسیون PTQ: کوانتیزاسیون غیر یکنواخت
• 28. کوانتیزاسیون PTQ: کوانتیزاسیون متقارن
• 29. کوانتیزاسیون PTQ: کوانتیزاسیون نامتقارن
• 30. کوانتیزاسیون PTQ: کوانتیزاسیون با دقت کم (مانند INT8، INT4)
• 31. کوانتیزاسیون PTQ: کوانتیزاسیون با دقت متغیر
• 32. کوانتیزاسیون PTQ: کوانتیزاسیون مبتنی بر داده
• 33. کوانتیزاسیون PTQ: کوانتیزاسیون بدون داده
• 34. کوانتیزاسیون PTQ: انتخاب مجموعه داده کالیبراسیون
• 35. کوانتیزاسیون PTQ: تکنیک های کالیبراسیون
• 36. کوانتیزاسیون QAT: تنظیم دقیق مدل کوانتیزه شده
• 37. کوانتیزاسیون QAT: شبیه سازی کوانتیزاسیون در طول آموزش
• 38. کوانتیزاسیون QAT: استفاده از گرادیان های شبه
• 39. کوانتیزاسیون QAT: تکنیک های تنظیم دقیق برای QAT
• 40. کوانتیزاسیون QAT: مزایای QAT در حفظ دقت
• 41. کوانتیزاسیون QAT: معایب QAT در افزایش زمان آموزش
• 42. کوانتیزاسیون کوانتیزاسیون: کوانتیزاسیون وزن
• 43. کوانتیزاسیون کوانتیزاسیون: کوانتیزاسیون فعال سازی
• 44. کوانتیزاسیون کوانتیزاسیون: کوانتیزاسیون ترکیبی
• 45. کوانتیزاسیون لایه ای: کوانتیزاسیون لایه توجه
• 46. کوانتیزاسیون لایه ای: کوانتیزاسیون لایه خوراک رو به جلو
• 47. کوانتیزاسیون لایه ای: کوانتیزاسیون لایه های جاسازی
• 48. کوانتیزاسیون لایه ای: کوانتیزاسیون لایه های خروجی
• 49. تکنیک های پیشرفته کوانتیزاسیون: کوانتیزاسیون کم-رتبه
• 50. تکنیک های پیشرفته کوانتیزاسیون: کوانتیزاسیون مبتنی بر دیکشنری
• 51. تکنیک های پیشرفته کوانتیزاسیون: کوانتیزاسیون اسپارس
• 52. تکنیک های پیشرفته کوانتیزاسیون: کوانتیزاسیون مبتنی بر گروه
• 53. تکنیک های پیشرفته کوانتیزاسیون: کوانتیزاسیون پویا
• 54. تکنیک های پیشرفته کوانتیزاسیون: کوانتیزاسیون تطبیقی
• 55. تکنیک های پیشرفته کوانتیزاسیون: کوانتیزاسیون سلسله مراتبی
• 56. تکنیک های پیشرفته کوانتیزاسیون: کوانتیزاسیون توجه اسپارس
• 57. تکنیک های پیشرفته کوانتیزاسیون: کوانتیزاسیون فعال سازی اسپارس
• 58. تکنیک های پیشرفته کوانتیزاسیون: کوانتیزاسیون با استفاده از یادگیری تقویتی
• 59. تکنیک های پیشرفته کوانتیزاسیون: کوانتیزاسیون با استفاده از شبکه های عصبی مولد (GANs)
• 60. ارزیابی کوانتیزاسیون: معیارهای دقت (Perplexity، BLEU، ROUGE)
• 61. ارزیابی کوانتیزاسیون: معیارهای کارایی (زمان استنتاج، توان عملیاتی)
• 62. ارزیابی کوانتیزاسیون: معیارهای حافظه (اندازه مدل، مصرف RAM)
• 63. ارزیابی کوانتیزاسیون: معیارهای انرژی
• 64. مقایسه تکنیک های کوانتیزاسیون مختلف
• 65. مطالعات موردی: کوانتیزاسیون مدل های BERT
• 66. مطالعات موردی: کوانتیزاسیون مدل های GPT
• 67. مطالعات موردی: کوانتیزاسیون مدل های T5
• 68. مطالعات موردی: کوانتیزاسیون مدل های LLaMA
• 69. مطالعات موردی: کوانتیزاسیون مدل های Stable Diffusion (اگر مرتبط باشد)
• 70. ابزارها و فریمورک های کوانتیزاسیون: PyTorch Quantization
• 71. ابزارها و فریمورک های کوانتیزاسیون: TensorFlow Lite
• 72. ابزارها و فریمورک های کوانتیزاسیون: ONNX Runtime
• 73. ابزارها و فریمورک های کوانتیزاسیون: NVIDIA TensorRT
• 74. ابزارها و فریمورک های کوانتیزاسیون: Intel OpenVINO
• 75. ابزارها و فریمورک های کوانتیزاسیون: Hugging Face Optimum
• 76. پیاده سازی کوانتیزاسیون در عمل
• 77. انتخاب بهترین تکنیک کوانتیزاسیون برای یک کاربرد خاص
• 78. تنظیم پارامترهای کوانتیزاسیون
• 79. کوانتیزاسیون و سخت افزار شتاب دهنده (GPU، TPU، NPU)
• 80. تأثیر کوانتیزاسیون بر مصرف حافظه نهان
• 81. تأثیر کوانتیزاسیون بر پهنای باند حافظه
• 82. کوانتیزاسیون و محاسبات کم-دقت (Low-Precision Computing)
• 83. روندهای آینده در کوانتیزاسیون LLM
• 84. کوانتیزاسیون خودکار (Auto-Quantization)
• 85. کوانتیزاسیون با هدف حفظ وظایف خاص (Task-Specific Quantization)
• 86. کوانتیزاسیون برای محاسبات لبه (Edge Computing)
• 87. کوانتیزاسیون برای مدل های توزیع شده
• 88. کوانتیزاسیون و امنیت مدل
• 89. جمع بندی و نتیجه گیری
• 90. پرسش و پاسخ