فلش‌کارت‌های آموزشی کوانتیزاسیون مدل‌های زبانی بزرگ: بهینه‌سازی برای عملکرد در دستگاه‌های با منابع محدود

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کوانتیزاسیون مدل‌های زبانی بزرگ: بهینه‌سازی برای عملکرد در دستگاه‌های با منابع محدود

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Quantization

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مدل‌های زبانی بزرگ و کاربردهای آن‌ها
• 2. مفاهیم کلیدی در پردازش زبان طبیعی
• 3. معماری ترنسفورمر و لایه‌های آن
• 4. مکانیسم توجه (Attention Mechanism)
• 5. کوانتیزاسیون چیست و چرا اهمیت دارد؟
• 6. انواع کوانتیزاسیون: دقت ثابت و دقت شناور
• 7. کوانتیزاسیون هشت بیتی (INT8)
• 8. کوانتیزاسیون چهار بیتی (INT4)
• 9. کوانتیزاسیون دو بیتی (INT2)
• 10. کوانتیزاسیون یک بیتی (Binary Quantization)
• 11. کوانتیزاسیون مبتنی بر وزن (Weight Quantization)
• 12. کوانتیزاسیون مبتنی بر فعال‌سازی (Activation Quantization)
• 13. کوانتیزاسیون ترکیبی (Hybrid Quantization)
• 14. کوانتیزاسیون بدون تلفات (Lossless Quantization)
• 15. کوانتیزاسیون با تلفات (Lossy Quantization)
• 16. روش‌های کوانتیزاسیون: تقریب خطی (Linear Quantization)
• 17. روش‌های کوانتیزاسیون: تقریب غیرخطی (Non-linear Quantization)
• 18. کوانتیزاسیون پویا (Dynamic Quantization)
• 19. کوانتیزاسیون ایستا (Static Quantization)
• 20. تعیین مقیاس و افست در کوانتیزاسیون
• 21. بهینه‌سازی مقیاس در کوانتیزاسیون
• 22. تکنیک‌های کاهش تلفات در کوانتیزاسیون
• 23. کوانتیزاسیون لایه به لایه
• 24. کوانتیزاسیون سراسری (Global Quantization)
• 25. کوانتیزاسیون مدل‌های بزرگ (LLMs)
• 26. چالش‌های کوانتیزاسیون مدل‌های زبانی بزرگ
• 27. تأثیر کوانتیزاسیون بر دقت مدل
• 28. تأثیر کوانتیزاسیون بر سرعت استنتاج
• 29. تأثیر کوانتیزاسیون بر مصرف حافظه
• 30. روش‌های ارزیابی مدل‌های کوانتیزه شده
• 31. معیارهای ارزیابی دقت (Perplexity, Accuracy)
• 32. معیارهای ارزیابی سرعت (Latency, Throughput)
• 33. ابزارها و کتابخانه‌های کوانتیزاسیون
• 34. TensorFlow Lite Quantization
• 35. PyTorch Quantization Toolkit
• 36. ONNX Runtime Quantization
• 37. NVIDIA TensorRT Quantization
• 38. Quantization-Aware Training (QAT)
• 39. Fine-tuning پس از کوانتیزاسیون
• 40. آموزش آگاه از کوانتیزاسیون (QAT)
• 41. کوانتیزاسیون در زمان آموزش (Quantization-Aware Training)
• 42. مراحل QAT
• 43. مزایای QAT
• 44. معایب QAT
• 45. Post-Training Quantization (PTQ)
• 46. کوانتیزاسیون پس از آموزش (PTQ)
• 47. مراحل PTQ
• 48. مزایای PTQ
• 49. معایب PTQ
• 50. انتخاب بین QAT و PTQ
• 51. کوانتیزاسیون برای دستگاه‌های موبایل
• 52. کوانتیزاسیون برای دستگاه‌های تعبیه‌شده (Embedded Devices)
• 53. کوانتیزاسیون برای سخت‌افزارهای خاص (ASICs, FPGAs)
• 54. بهینه‌سازی مدل‌های زبانی بزرگ برای سخت‌افزار
• 55. فشرده‌سازی مدل‌های زبانی بزرگ
• 56. هرس کردن (Pruning) مدل‌های زبانی بزرگ
• 57. تقطیر دانش (Knowledge Distillation)
• 58. ترکیب کوانتیزاسیون با سایر تکنیک‌های فشرده‌سازی
• 59. کوانتیزاسیون و بهینه‌سازی مدل‌های کوچک‌تر
• 60. کاربرد کوانتیزاسیون در مدل‌های مولد
• 61. کوانتیزاسیون مدل‌های ترجمه ماشینی
• 62. کوانتیزاسیون مدل‌های خلاصه‌سازی متن
• 63. کوانتیزاسیون مدل‌های تولید متن خلاقانه
• 64. کوانتیزاسیون مدل‌های پرسش و پاسخ
• 65. کوانتیزاسیون مدل‌های تشخیص احساسات
• 66. کوانتیزاسیون مدل‌های طبقه‌بندی متن
• 67. کوانتیزاسیون مدل‌های تشخیص موجودیت نام‌گذاری شده (NER)
• 68. کوانتیزاسیون مدل‌های تحلیل معنایی
• 69. کوانتیزاسیون مدل‌های تحلیل نحوی
• 70. کوانتیزاسیون و حریم خصوصی داده‌ها
• 71. کوانتیزاسیون و امنیت مدل‌های زبانی
• 72. مسائل اخلاقی در کوانتیزاسیون مدل‌های زبانی
• 73. آینده کوانتیزاسیون مدل‌های زبانی بزرگ
• 74. پیشرفت‌های نوین در تکنیک‌های کوانتیزاسیون
• 75. کوانتیزاسیون ادامه‌دار (Continuous Quantization)
• 76. کوانتیزاسیون نامتقارن (Asymmetric Quantization)
• 77. کوانتیزاسیون فشرده (Sparse Quantization)
• 78. کوانتیزاسیون مبتنی بر یادگیری (Learned Quantization)
• 79. کوانتیزاسیون با استفاده از شبکه‌های عصبی
• 80. کوانتیزاسیون برای محاسبات کوانتومی (مقدماتی)
• 81. مسائل مربوط به استقرار مدل‌های کوانتیزه شده
• 82. دشواری‌های دیباگ کردن مدل‌های کوانتیزه شده
• 83. ملاحظات حقوقی و نظارتی در استقرار مدل‌ها
• 84. استانداردهای صنعتی برای کوانتیزاسیون
• 85. نقش پژوهش‌های دانشگاهی در پیشبرد کوانتیزاسیون
• 86. همکاری صنعت و دانشگاه در زمینه کوانتیزاسیون
• 87. چالش‌های مقیاس‌پذیری کوانتیزاسیون
• 88. کوانتیزاسیون و مصرف انرژی
• 89. کوانتیزاسیون در سیستم‌های توزیع شده
• 90. مطالعه موردی: کوانتیزاسیون یک مدل زبانی خاص
• 91. ارزیابی عملی کوانتیزاسیون بر روی سخت‌افزار هدف
• 92. بهینه‌سازی پارامترهای کوانتیزاسیون برای موارد خاص
• 93. نکات عملی برای پیاده‌سازی کوانتیزاسیون
• 94. راهنمای انتخاب روش کوانتیزاسیون مناسب
• 95. آینده‌پژوهی در زمینه فشرده‌سازی و کوانتیزاسیون مدل‌های زبانی