اپلیکیشن اندرویدی فلش‌کارت آموزشی شتاب‌دهی استنتاج مدل‌های زبان بزرگ (LLM) بر روی پردازنده‌های مرکزی (CPU) و پردازنده‌های گرافیکی (GPU) اینتل

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره شتاب‌دهی استنتاج مدل‌های زبان بزرگ (LLM) بر روی پردازنده‌های مرکزی (CPU) و پردازنده‌های گرافیکی (GPU) اینتل

موضوع کلی: علوم کامپیوتر و هوش مصنوعی

موضوع میانی: بهینه‌سازی مدل‌های یادگیری عمیق

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر علوم کامپیوتر و هوش مصنوعی
• 2. مبانی یادگیری ماشین
• 3. مقدمه‌ای بر شبکه‌های عصبی مصنوعی
• 4. معماری‌های پرکاربرد شبکه‌های عصبی
• 5. یادگیری عمیق و کاربردهای آن
• 6. مدل‌های زبان بزرگ (LLM) چیستند؟
• 7. مروری بر معماری ترنسفورمر
• 8. مکانیسم توجه در ترنسفورمرها
• 9. پیش‌نیازهای سخت‌افزاری برای LLM
• 10. معرفی پردازنده‌های مرکزی (CPU) اینتل
• 11. معماری پردازنده‌های گرافیکی (GPU) اینتل
• 12. مزایای استفاده از CPU و GPU اینتل در محاسبات
• 13. مفهوم استنتاج (Inference) در یادگیری عمیق
• 14. چالش‌های استنتاج LLM
• 15. اهمیت بهینه‌سازی استنتاج LLM
• 16. مقدمه‌ای بر بهینه‌سازی مدل
• 17. تکنیک‌های کوانتیزاسیون (Quantization)
• 18. کوانتیزاسیون ۸ بیتی (INT8)
• 19. کوانتیزاسیون ۴ بیتی (INT4)
• 20. مزایا و معایب کوانتیزاسیون
• 21. تکنیک‌های تقطیر دانش (Knowledge Distillation)
• 22. کاهش اندازه مدل با تقطیر دانش
• 23. کاربرد تقطیر دانش در LLM
• 24. تکنیک‌های هرس مدل (Pruning)
• 25. هرس وزن‌ها و نورون‌ها
• 26. انواع هرس: اسپارس و متراکم
• 27. بهینه‌سازی معماری مدل
• 28. تکنیک‌های تغییر معماری برای کارایی
• 29. استفاده از معماری‌های سبک‌تر
• 30. بهینه‌سازی لایه‌های متراکم
• 31. بهینه‌سازی لایه‌های کانولوشنال
• 32. کاهش ابعاد ورودی و خروجی
• 33. تکنیک‌های بهینه‌سازی در سطح کرنل (Kernel Optimization)
• 34. بهینه‌سازی عملیات ماتریسی
• 35. بهینه‌سازی عملیات کانولوشن
• 36. استفاده از کتابخانه‌های بهینه‌سازی
• 37. معرفی Intel® oneAPI Math Kernel Library (oneMKL)
• 38. کاربرد oneMKL در تسریع محاسبات
• 39. معرفی Intel® Distribution for Python
• 40. بهینه‌سازی پایتون برای پردازنده‌های اینتل
• 41. استفاده از NumPy و SciPy بهینه شده
• 42. پشتیبانی از فریم‌ورک‌های یادگیری عمیق
• 43. TensorFlow و بهینه‌سازی آن
• 44. PyTorch و بهینه‌سازی آن
• 45. کاربرد Intel® Extension for TensorFlow
• 46. کاربرد Intel® Extension for PyTorch
• 47. استفاده از OpenVINO™ Toolkit
• 48. معرفی OpenVINO™ برای استنتاج بهینه
• 49. مراحل استفاده از OpenVINO™
• 50. تبدیل مدل‌ها به فرمت OpenVINO™
• 51. اجرای مدل‌های بهینه‌شده با OpenVINO™
• 52. مزایای OpenVINO™ در استنتاج LLM
• 53. بهینه‌سازی استنتاج بر روی CPU
• 54. استفاده از دستورالعمل‌های AVX-512
• 55. بهینه‌سازی برای NUMA
• 56. مدیریت حافظه در CPU
• 57. استفاده از کش CPU
• 58. تکنیک‌های پیش‌بارگذاری داده (Prefetching)
• 59. بهینه‌سازی استنتاج بر روی GPU اینتل
• 60. معماری Xe-HPG و Xe-HPC
• 61. هسته‌های محاسباتی GPU
• 62. حافظه مشترک (Shared Memory) در GPU
• 63. مدیریت تردها (Threads) و گروه‌ها (Groups) در GPU
• 64. همگام‌سازی در GPU
• 65. استفاده از کتابخانه Level Zero
• 66. بهینه‌سازی با استفاده از SYCL
• 67. برنامه‌نویسی موازی با SYCL
• 68. مزایای SYCL برای GPU اینتل
• 69. مقایسه عملکرد CPU و GPU برای استنتاج LLM
• 70. انتخاب سخت‌افزار مناسب برای کاربرد خاص
• 71. تحلیل هزینه-کارایی
• 72. مطالعات موردی: اجرای LLMهای معروف
• 73. بهینه‌سازی Llama 2 بر روی CPU اینتل
• 74. بهینه‌سازی Mistral 7B بر روی GPU اینتل
• 75. بهینه‌سازی Falcon 7B با OpenVINO™
• 76. بهینه‌سازی مدل‌های تولید متن
• 77. بهینه‌سازی مدل‌های ترجمه ماشینی
• 78. بهینه‌سازی مدل‌های پاسخ به پرسش
• 79. آینده بهینه‌سازی استنتاج LLM
• 80. روندهای جدید در معماری مدل‌ها
• 81. تکنیک‌های نوظهور کوانتیزاسیون
• 82. پیشرفت‌های سخت‌افزاری آینده
• 83. استانداردهای باز برای بهینه‌سازی
• 84. جمع‌بندی و گام‌های بعدی در بهینه‌سازی
• 85. کاربرد عملی در سیستم‌های آموزشی
• 86. ملاحظات امنیتی در استنتاج LLM
• 87. حفاظت از مدل‌های بهینه‌شده
• 88. مقررات و استانداردهای مربوط به هوش مصنوعی
• 89. نقش بهینه‌سازی در دسترس‌پذیری هوش مصنوعی
• 90. توسعه ابزارهای خودکار بهینه‌سازی
• 91. نقش جامعه در توسعه ابزارهای منبع‌باز
• 92. چشم‌انداز آینده استنتاج LLM در ایران