فلش‌کارت‌های آموزشی کوانتیزاسیون در عمل: چالش‌ها و نوآوری‌ها در مدل‌های زبانی بزرگ

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب کوانتیزاسیون در عمل: چالش‌ها و نوآوری‌ها در مدل‌های زبانی بزرگ

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Quantization

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه ای بر کوانتیزاسیون
• 2. تعریف کوانتیزاسیون
• 3. اهمیت کوانتیزاسیون در مدل‌های زبانی بزرگ (LLM)
• 4. مزایای کوانتیزاسیون (کاهش حافظه، افزایش سرعت، کاهش مصرف انرژی)
• 5. معایب کوانتیزاسیون (کاهش دقت، پیچیدگی پیاده‌سازی)
• 6. تاریخچه کوانتیزاسیون در یادگیری عمیق
• 7. کوانتیزاسیون در مقابل فشرده‌سازی مدل
• 8. انواع کوانتیزاسیون:
• 9. کوانتیزاسیون پس از آموزش (Post-Training Quantization - PTQ)
• 10. کوانتیزاسیون در حین آموزش (Quantization-Aware Training - QAT)
• 11. کوانتیزاسیون با دقت متغیر (Mixed-Precision Quantization)
• 12. کوانتیزاسیون ثابت (Fixed-Point Quantization)
• 13. کوانتیزاسیون شناور (Floating-Point Quantization)
• 14. کوانتیزاسیون با دقت پویا (Dynamic Quantization)
• 15. کوانتیزاسیون با دقت ایستا (Static Quantization)
• 16. کوانتیزاسیون متقارن (Symmetric Quantization)
• 17. کوانتیزاسیون نامتقارن (Asymmetric Quantization)
• 18. کوانتیزاسیون بیتی (Binary Quantization)
• 19. کوانتیزاسیون سه بیتی (Ternary Quantization)
• 20. کوانتیزاسیون نرم (Soft Quantization)
• 21. کوانتیزاسیون گروهی (Grouped Quantization)
• 22. کوانتیزاسیون لایه‌ای (Layer-wise Quantization)
• 23. کوانتیزاسیون کانالی (Channel-wise Quantization)
• 24. کوانتیزاسیون وزنی (Weight Quantization)
• 25. کوانتیزاسیون فعال‌سازی (Activation Quantization)
• 26. کوانتیزاسیون تنظیمی (Quantization of Parameters)
• 27. کوانتیزاسیون تنظیمی (Quantization of Activations)
• 28. مقیاس‌گذاری در کوانتیزاسیون
• 29. کالیبراسیون در کوانتیزاسیون
• 30. تکنیک‌های کالیبراسیون
• 31. کالیبراسیون مبتنی بر مجموعه داده کوچک
• 32. کالیبراسیون مبتنی بر داده‌های آموزشی
• 33. کالیبراسیون مبتنی بر داده‌های اعتبارسنجی
• 34. کالیبراسیون بدون داده (Zero-Shot Calibration)
• 35. چالش‌های کوانتیزاسیون در LLM:
• 36. کاهش دقت مدل
• 37. انتشار خطا (Error Propagation)
• 38. حساسیت لایه‌ها به کوانتیزاسیون
• 39. کوانتیزاسیون لایه‌های حساس (مانند لایه‌های توجه)
• 40. تأثیر کوانتیزاسیون بر عملکرد محاسباتی
• 41. پیاده‌سازی سخت‌افزاری کوانتیزاسیون
• 42. پشتیبانی سخت‌افزاری برای دقت‌های پایین
• 43. نیاز به سخت‌افزارهای تخصصی
• 44. مصرف حافظه در حین کوانتیزاسیون
• 45. پیچیدگی الگوریتمی کوانتیزاسیون
• 46. انتخاب پارامترهای کوانتیزاسیون
• 47. تنظیم پارامترهای کوانتیزاسیون
• 48. بهینه‌سازی پارامترهای کوانتیزاسیون
• 49. کوانتیزاسیون در مدل‌های بزرگ و پیچیده
• 50. کوانتیزاسیون مدل‌های ترانسفورمر
• 51. کوانتیزاسیون لایه‌های توجه (Attention Layers)
• 52. کوانتیزاسیون لایه‌های فیدفوروارد (Feedforward Layers)
• 53. کوانتیزاسیون لایه‌های جاسازی (Embedding Layers)
• 54. کوانتیزاسیون در مدل‌های اتورگرسیو (Autoregressive Models)
• 55. کوانتیزاسیون در مدل‌های غیراتورگرسیو (Non-Autoregressive Models)
• 56. کوانتیزاسیون در مدل‌های مولد (Generative Models)
• 57. کوانتیزاسیون در مدل‌های طبقه‌بندی (Classification Models)
• 58. کوانتیزاسیون در مدل‌های استخراج اطلاعات (Information Extraction Models)
• 59. کوانتیزاسیون در مدل‌های ترجمه ماشینی (Machine Translation Models)
• 60. کوانتیزاسیون در مدل‌های خلاصه‌سازی (Summarization Models)
• 61. کوانتیزاسیون در مدل‌های پاسخ به پرسش (Question Answering Models)
• 62. کوانتیزاسیون در مدل‌های تولید متن (Text Generation Models)
• 63. نوآوری‌ها در کوانتیزاسیون LLM:
• 64. روش‌های کوانتیزاسیون پیشرفته
• 65. کوانتیزاسیون خودکار (Auto-Quantization)
• 66. کوانتیزاسیون مبتنی بر یادگیری (Learning-based Quantization)
• 67. کوانتیزاسیون با استفاده از شبکه‌های عصبی کوچک (Surrogate Models)
• 68. کوانتیزاسیون با تکیه بر اطلاعات مدل (Model-Informed Quantization)
• 69. کوانتیزاسیون با تکیه بر داده‌ها (Data-Informed Quantization)
• 70. کوانتیزاسیون فعال (Active Quantization)
• 71. کوانتیزاسیون تطبیقی (Adaptive Quantization)
• 72. کوانتیزاسیون با نرخ بیت متغیر (Variable Bit-Rate Quantization)
• 73. کوانتیزاسیون با استفاده از تکنیک‌های بهینه‌سازی
• 74. کوانتیزاسیون با استفاده از الگوریتم‌های ژنتیک
• 75. کوانتیزاسیون با استفاده از بهینه‌سازی بیزی
• 76. کوانتیزاسیون با استفاده از گرادیان کاهشی
• 77. کوانتیزاسیون برای سخت‌افزارهای خاص
• 78. کوانتیزاسیون برای پردازنده‌های گرافیکی (GPU)
• 79. کوانتیزاسیون برای واحدهای پردازش عصبی (NPU)
• 80. کوانتیزاسیون برای پردازنده‌های سیگنال دیجیتال (DSP)
• 81. کوانتیزاسیون برای دستگاه‌های موبایل
• 82. کوانتیزاسیون برای سیستم‌های امبدد (Embedded Systems)
• 83. ارزیابی و اندازه‌گیری عملکرد کوانتیزاسیون:
• 84. معیارهای دقت (Accuracy Metrics)
• 85. معیارهای فشرده‌سازی (Compression Metrics)
• 86. معیارهای سرعت (Speed Metrics)
• 87. معیارهای مصرف انرژی (Energy Consumption Metrics)
• 88. ابزارها و چارچوب‌های کوانتیزاسیون:
• 89. TensorFlow Lite
• 90. PyTorch Mobile
• 91. ONNX Runtime
• 92. NVIDIA TensorRT
• 93. Intel OpenVINO
• 94. ملاحظات عملی در پیاده‌سازی کوانتیزاسیون:
• 95. انتخاب مدل مناسب برای کوانتیزاسیون
• 96. انتخاب تکنیک کوانتیزاسیون مناسب
• 97. تنظیمات و پارامترهای پیاده‌سازی
• 98. مراحل پیاده‌سازی کوانتیزاسیون
• 99. اعتبارسنجی و تست مدل کوانتیزه شده
• 100. بهبود مدل کوانتیزه شده