دوره کوانتیزاسیون مدل‌های زبانی بزرگ: استراتژی‌های فشرده‌سازی مدل با حداقل افت دقت همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کوانتیزاسیون مدل‌های زبانی بزرگ: استراتژی‌های فشرده‌سازی مدل با حداقل افت دقت

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Quantization

📋 سرفصل‌های دوره

• 1. مقدمه ای بر کوانتیزاسیون مدل های زبانی بزرگ
• 2. اهمیت فشرده سازی مدل های زبانی بزرگ
• 3. چالش های کوانتیزاسیون در مدل های زبانی
• 4. مبانی نظری کوانتیزاسیون اعداد
• 5. انواع کوانتیزاسیون: ایزوتونیک و غیر ایزوتونیک
• 6. کوانتیزاسیون با دقت ثابت (Fixed-Point Quantization)
• 7. کوانتیزاسیون با دقت متغیر (Floating-Point Quantization)
• 8. کوانتیزاسیون در سطح وزن (Weight Quantization)
• 9. کوانتیزاسیون در سطح فعال سازی (Activation Quantization)
• 10. کوانتیزاسیون متقارن و نامتقارن
• 11. روش های مقیاس بندی در کوانتیزاسیون
• 12. کوانتیزاسیون بای-نری (Binary Quantization)
• 13. کوانتیزاسیون ترنری (Ternary Quantization)
• 14. کوانتیزاسیون مبتنی بر یادگیری (Quantization-Aware Training)
• 15. کوانتیزاسیون پس از آموزش (Post-Training Quantization)
• 16. الگوریتم های بهینه سازی برای کوانتیزاسیون
• 17. کوانتیزاسیون مدل های ترنسفورمر
• 18. کوانتیزاسیون لایه های توجه (Attention Layers)
• 19. کوانتیزاسیون لایه های پیشخور (Feed-Forward Layers)
• 20. کوانتیزاسیون لایه های نرمال سازی (Normalization Layers)
• 21. کوانتیزاسیون Embedding Layers
• 22. تکنیک های فشرده سازی مدل های زبانی
• 23. روش های هرس مدل (Model Pruning)
• 24. هرس ساختاریافته و غیرساختاریافته
• 25. کوانتیزاسیون و هرس به صورت همزمان
• 26. کاهش رتبه (Rank Reduction)
• 27. تجزیه ماتریس برای فشرده سازی
• 28. روش های تقطیر دانش (Knowledge Distillation)
• 29. مدل های معلم و دانش آموز
• 30. تقطیر دانش در مدل های زبانی
• 31. ارتباط تقطیر دانش با کوانتیزاسیون
• 32. مدل های کوچک تر و کارآمدتر
• 33. معماری های بهینه برای مدل های کوچک
• 34. شبکه های عصبی کانولوشنال برای پردازش زبان
• 35. شبکه های عصبی بازگشتی برای پردازش زبان
• 36. مدل های مبتنی بر کانولوشن و توجه
• 37. مدل های زبانی با پارامترهای کمتر
• 38. معیارهای ارزیابی مدل های فشرده
• 39. دقت (Accuracy) و افت دقت
• 40. سرعت استنتاج (Inference Speed)
• 41. مصرف حافظه (Memory Consumption)
• 42. مصرف انرژی (Energy Consumption)
• 43. شاخص های ترکیبی ارزیابی
• 44. ارزیابی مدل های کوانتیزه شده در وظایف مختلف
• 45. پردازش زبان طبیعی (NLP)
• 46. فهم زبان طبیعی (NLU)
• 47. تولید زبان طبیعی (NLG)
• 48. ترجمه ماشینی
• 49. خلاصه سازی متن
• 50. پاسخ به پرسش
• 51. تحلیل احساسات
• 52. مدل های زبانی برای کاربردهای خاص
• 53. کوانتیزاسیون مدل های بزرگ زبانی (LLMs)
• 54. مدل های GPT و انواع آن
• 55. مدل های BERT و انواع آن
• 56. مدل های LLaMA و انواع آن
• 57. مدل های فارسی و بومی سازی شده
• 58. کوانتیزاسیون مدل های زبانی فارسی
• 59. چالش های کوانتیزاسیون در زبان فارسی
• 60. روش های ارزیابی مدل های زبانی فارسی
• 61. استانداردهای ملی برای مدل های زبانی
• 62. راهنمای پیاده سازی کوانتیزاسیون
• 63. ابزارها و کتابخانه های کوانتیزاسیون
• 64. TensorFlow Lite for Quantization
• 65. PyTorch Quantization
• 66. ONNX Runtime
• 67. OpenVINO Toolkit
• 68. فریمورک های بومی سازی شده برای کوانتیزاسیون
• 69. تکنیک های کاهش حجم مدل برای استقرار
• 70. استقرار مدل های کوانتیزه شده بر روی دستگاه های محدود
• 71. بهینه سازی برای سخت افزارهای خاص
• 72. کوانتیزاسیون سخت افزاری (Hardware-Aware Quantization)
• 73. تراشه های شتاب دهنده هوش مصنوعی
• 74. تاثیر کوانتیزاسیون بر مصرف توان
• 75. مدل های کوانتیزه شده در دستگاه های موبایل
• 76. مدل های کوانتیزه شده در سیستم های جاسازی شده
• 77. مقایسه روش های مختلف کوانتیزاسیون
• 78. مطالعات موردی (Case Studies)
• 79. کوانتیزاسیون مدل های زبانی در صنعت
• 80. کوانتیزاسیون مدل های زبانی در تحقیقات علمی
• 81. آینده کوانتیزاسیون مدل های زبانی
• 82. روندهای جدید در فشرده سازی مدل
• 83. کوانتیزاسیون پویا (Dynamic Quantization)
• 84. کوانتیزاسیون تطبیقی (Adaptive Quantization)
• 85. یادگیری کوانتیزاسیون مولد (Generative Quantization Learning)
• 86. کوانتیزاسیون خودکار (Automated Quantization)
• 87. نقش قوانین و مقررات در توسعه مدل های هوش مصنوعی
• 88. ملاحظات اخلاقی در فشرده سازی مدل
• 89. حفظ حریم خصوصی و امنیت در مدل های کوانتیزه شده
• 90. شفافیت و قابلیت تفسیر مدل های فشرده
• 91. مسئولیت پذیری در توسعه هوش مصنوعی
• 92. استانداردهای فنی برای مدل های هوش مصنوعی
• 93. توصیه های فنی برای کوانتیزاسیون مدل ها
• 94. کاربرد کوانتیزاسیون در حوزه های علمی و صنعتی
• 95. مباحث پیشرفته در کوانتیزاسیون مدل های زبانی
• 96. کوانتیزاسیون مدل های زبانی چندوجهی (Multimodal LLMs)
• 97. کوانتیزاسیون مدل های زبانی با حافظه بلندمدت
• 98. کوانتیزاسیون مدل های زبانی با قابلیت استدلال
• 99. کوانتیزاسیون مدل های زبانی برای پردازش بلادرنگ
• 100. ارزیابی جامع مدل های کوانتیزه شده