دوره کوانتیزاسیون مدل‌های زبانی بزرگ: بهینه‌سازی برای استقرار در انواع سخت‌افزارها همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کوانتیزاسیون مدل‌های زبانی بزرگ: بهینه‌سازی برای استقرار در انواع سخت‌افزارها

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Quantization

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مدل‌های زبانی بزرگ
• 2. معماری ترنسفورمر و اجزای آن
• 3. مکانیسم توجه (Attention Mechanism)
• 4. توجه خودی (Self-Attention)
• 5. کوانتیزاسیون: مفهوم و اهمیت
• 6. انواع کوانتیزاسیون
• 7. کوانتیزاسیون پس از آموزش (Post-Training Quantization - PTQ)
• 8. کوانتیزاسیون در حین آموزش (Quantization-Aware Training - QAT)
• 9. کوانتیزاسیون خطی و غیرخطی
• 10. مقیاس‌بندی و افست در کوانتیزاسیون
• 11. کوانتیزاسیون با دقت پایین (Low-bit Quantization)
• 12. کوانتیزاسیون ۸ بیتی
• 13. کوانتیزاسیون ۴ بیتی
• 14. کوانتیزاسیون ۲ بیتی
• 15. کوانتیزاسیون ۱ بیتی (Binary Neural Networks)
• 16. انتخاب مقیاس و محدوده کوانتیزاسیون
• 17. روش‌های تعیین مقیاس
• 18. کوانتیزاسیون متقارن و نامتقارن
• 19. کوانتیزاسیون تنسورها (Weights and Activations)
• 20. کوانتیزاسیون لایه‌های مختلف ترنسفورمر
• 21. کوانتیزاسیون لایه‌های توجه
• 22. کوانتیزاسیون لایه‌های فید فوروارد
• 23. کوانتیزاسیون ورودی و خروجی مدل
• 24. کوانتیزاسیون مدل‌های زبانی بزرگ (LLMs)
• 25. چالش‌های کوانتیزاسیون LLMs
• 26. کاهش دقت کوانتیزاسیون در LLMs
• 27. حفظ عملکرد مدل پس از کوانتیزاسیون
• 28. روش‌های بهبود دقت کوانتیزاسیون
• 29. کالیبراسیون مدل برای کوانتیزاسیون
• 30. استفاده از مجموعه داده کالیبراسیون
• 31. روش‌های مبتنی بر آنتروپی
• 32. روش‌های مبتنی بر توزیع فعال‌سازی‌ها
• 33. تکنیک‌های بهینه‌سازی کوانتیزاسیون
• 34. کوانتیزاسیون تفاضلی (Differentiable Quantization)
• 35. کوانتیزاسیون پویا (Dynamic Quantization)
• 36. کوانتیزاسیون گسسته (Stochastic Quantization)
• 37. کوانتیزاسیون ترکیبی (Mixed-precision Quantization)
• 38. کوانتیزاسیون بخش‌های مختلف مدل با دقت‌های متفاوت
• 39. پیاده‌سازی کوانتیزاسیون با کتابخانه‌های رایج
• 40. TensorFlow Lite Quantization
• 41. PyTorch Quantization
• 42. ONNX Runtime Quantization
• 43. کوانتیزاسیون برای سخت‌افزارهای مختلف
• 44. بهینه‌سازی برای پردازنده‌های گرافیکی (GPU)
• 45. بهینه‌سازی برای واحدهای پردازش تنسور (TPU)
• 46. بهینه‌سازی برای پردازنده‌های مرکزی (CPU)
• 47. بهینه‌سازی برای دستگاه‌های لبه (Edge Devices)
• 48. ارزیابی عملکرد مدل کوانتیزه شده
• 49. معیارهای ارزیابی دقت (Perplexity, BLEU)
• 50. معیارهای ارزیابی سرعت (Inference Latency)
• 51. معیارهای ارزیابی مصرف حافظه
• 52. مقایسه مدل کوانتیزه شده با مدل اصلی
• 53. کوانتیزاسیون مدل‌های مولد متن
• 54. کوانتیزاسیون مدل‌های ترجمه ماشینی
• 55. کوانتیزاسیون مدل‌های پاسخ به پرسش
• 56. کوانتیزاسیون مدل‌های خلاصه‌سازی متن
• 57. کوانتیزاسیون مدل‌های طبقه‌بندی متن
• 58. کوانتیزاسیون برای کاربردهای خاص
• 59. استقرار مدل‌های کوانتیزه شده در عمل
• 60. چالش‌های استقرار در محیط‌های واقعی
• 61. ملاحظات امنیتی در مدل‌های کوانتیزه شده
• 62. تکنیک‌های فشرده‌سازی مدل فراتر از کوانتیزاسیون
• 63. هرس کردن وزن‌ها (Weight Pruning)
• 64. تقطیر دانش (Knowledge Distillation)
• 65. کوانتیزاسیون و هرس کردن همزمان
• 66. کوانتیزاسیون و تقطیر دانش
• 67. مدل‌های کوانتیزه شده سبک‌وزن (Lightweight Quantized Models)
• 68. معماری‌های مدل بهینه شده برای کوانتیزاسیون
• 69. مروری بر تحقیقات اخیر در کوانتیزاسیون LLMs
• 70. آینده کوانتیزاسیون و بهینه‌سازی مدل‌های زبانی
• 71. کوانتیزاسیون برای مدل‌های چندوجهی (Multimodal)
• 72. کاربرد کوانتیزاسیون در سیستم‌های توصیه‌گر
• 73. کوانتیزاسیون در پردازش زبان طبیعی اخلاقی
• 74. نقش کوانتیزاسیون در کاهش مصرف انرژی
• 75. کوانتیزاسیون و دسترسی‌پذیری مدل‌های هوش مصنوعی
• 76. استانداردهای ارزیابی کوانتیزاسیون
• 77. کارگاه عملی: کوانتیزاسیون یک مدل زبانی کوچک
• 78. تحلیل نتایج کوانتیزاسیون در کارگاه
• 79. رفع اشکال مشکلات رایج در کوانتیزاسیون
• 80. پروژه‌های پیشرفته در زمینه کوانتیزاسیون
• 81. کوانتیزاسیون برای یادگیری انتقالی (Transfer Learning)
• 82. تأثیر کوانتیزاسیون بر bias در مدل‌ها
• 83. رویکردهای نوین در کوانتیزاسیون نامتقارن
• 84. کوانتیزاسیون بدون داده (Zero-shot Quantization)
• 85. بهینه‌سازی کوانتیزاسیون برای معماری‌های سفارشی
• 86. کوانتیزاسیون و تأثیر آن بر دقت در وظایف پیچیده
• 87. مدل‌های کوانتیزه شده برای پردازش بلادرنگ
• 88. کوانتیزاسیون خودکار (Auto-Quantization)
• 89. کوانتیزاسیون با استفاده از یادگیری تقویتی
• 90. مدل‌های کوانتیزه شده در پزشکی و سلامت
• 91. کاربرد کوانتیزاسیون در آموزش زبان فارسی
• 92. کوانتیزاسیون مدل‌های زبانی برای محیط‌های آموزشی
• 93. بهینه‌سازی کوانتیزاسیون برای سخت‌افزارهای ایرانی
• 94. ملاحظات فقهی و شرعی در کاربرد هوش مصنوعی
• 95. اخلاق در هوش مصنوعی و مدل‌های زبانی
• 96. قوانین و مقررات مربوط به محتوای دیجیتال در ایران
• 97. حفظ حریم خصوصی و امنیت داده‌ها در مدل‌های کوانتیزه شده
• 98. نقش هوش مصنوعی در پیشرفت علمی کشور
• 99. پتانسیل کوانتیزاسیون در بومی‌سازی فناوری‌های هوش مصنوعی
• 100. مراحل نهایی کوانتیزاسیون و اعتبارسنجی نهایی