کتاب صوتی از تئوری تا عمل: پیاده‌سازی و شتاب‌دهی بهینه‌سازی خطی روی GPU با PyTorch

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب از تئوری تا عمل: پیاده‌سازی و شتاب‌دهی بهینه‌سازی خطی روی GPU با PyTorch

موضوع کلی: محاسبات با کارایی بالا (High-Performance Computing)

موضوع میانی: شتاب‌دهی الگوریتم‌های بهینه‌سازی

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه ای بر محاسبات با کارایی بالا (HPC)
• 2. معماری های موازی و پردازش همزمان
• 3. آشنایی با پردازنده های گرافیکی (GPU) و کاربردهای آنها در HPC
• 4. معرفی CUDA و OpenCL
• 5. مبانی برنامه نویسی GPU
• 6. معماری AMD GPU: بررسی عمیق
• 7. اصول بهینه سازی خطی (Linear Programming - LP)
• 8. فرم استاندارد مسئله LP
• 9. روش سیمپلکس (Simplex Method)
• 10. دوالیت در برنامه نویسی خطی
• 11. نظریه KKT و شرایط بهینگی
• 12. معرفی PyTorch و Tensorها
• 13. محاسبات GPU با PyTorch
• 14. انتقال داده بین CPU و GPU در PyTorch
• 15. مبانی بهینه سازی در PyTorch
• 16. معرفی کتابخانه های بهینه سازی در PyTorch
• 17. الگوریتم های بهینه سازی مرتبه اول (Gradient Descent, Adam)
• 18. الگوریتم های بهینه سازی مرتبه دوم (Newton's Method)
• 19. پیاده سازی ماتریس ها و بردارها در PyTorch
• 20. محاسبه ضرب ماتریس و بردار روی GPU با PyTorch
• 21. حل دستگاه معادلات خطی با PyTorch
• 22. پیاده سازی تابع هدف در PyTorch
• 23. پیاده سازی محدودیت ها در PyTorch
• 24. بررسی مقاله "Accelerating a Linear Programming Algorithm on AMD GPUs"
• 25. تشریح الگوریتم پیشنهادی مقاله
• 26. بررسی معماری داده در مقاله
• 27. پیاده سازی الگوریتم پیشنهادی مقاله با PyTorch (بخش اول)
• 28. پیاده سازی الگوریتم پیشنهادی مقاله با PyTorch (بخش دوم)
• 29. بهینه سازی تخصیص حافظه GPU در PyTorch
• 30. بهینه سازی هسته های محاسباتی GPU
• 31. بررسی Performance bottlenecks در پیاده سازی اولیه
• 32. Profiling کد PyTorch برای شناسایی گلوگاه ها
• 33. استفاده از CUDA profiler برای آنالیز GPU
• 34. بهینه سازی ارتباط بین CPU و GPU
• 35. کاهش سربار انتقال داده ها
• 36. استفاده از pinned memory برای انتقال سریعتر
• 37. بهینه سازی ضرب ماتریس ها با استفاده از کتابخانه های BLAS (cuBLAS, rocBLAS)
• 38. بهینه سازی حل دستگاه معادلات خطی با استفاده از کتابخانه های LAPACK (cuSOLVER, rocSOLVER)
• 39. استفاده از کرنل های CUDA/HIP برای پیاده سازی توابع سفارشی
• 40. استراتژی های تقسیم و حل (Divide and Conquer) برای مسائل LP بزرگ
• 41. پیاده سازی روش سیمپلکس روی GPU با PyTorch
• 42. Parallelizing Simplex iterations
• 43. GPU-accelerated pivot selection
• 44. پیاده سازی الگوریتم Interior-Point Method روی GPU با PyTorch
• 45. تحلیل پیچیدگی زمانی و مکانی الگوریتم های LP
• 46. مقایسه روش های سیمپلکس و Interior-Point Method
• 47. انتخاب الگوریتم مناسب برای مسائل LP مختلف
• 48. تکنیک های موازی سازی برای حل مسائل LP بزرگ
• 49. پیاده سازی موازی تجزیه LU روی GPU
• 50. پیاده سازی موازی ضرب ماتریس های پراکنده روی GPU
• 51. کاربرد CUDA streams برای اجرای همزمان وظایف
• 52. استفاده از asynchronous data transfer
• 53. استراتژی های کاهش مصرف حافظه GPU
• 54. Chunking و Tiling برای مسائل بزرگ
• 55. بهینه سازی Precision (Single vs. Double)
• 56. استفاده از mixed-precision arithmetic
• 57. اعتبارسنجی نتایج پیاده سازی با استفاده از داده های تست
• 58. استفاده از کتابخانه های بهینه سازی LP موجود (Gurobi, CPLEX) به عنوان پایه مقایسه
• 59. معیارهای ارزیابی عملکرد (Runtime, Speedup, Efficiency)
• 60. مقایسه عملکرد پیاده سازی GPU با پیاده سازی CPU
• 61. تجزیه و تحلیل نتایج تجربی
• 62. بررسی تاثیر اندازه مسئله بر عملکرد
• 63. بررسی تاثیر معماری GPU بر عملکرد
• 64. مقایسه پیاده سازی PyTorch با پیاده سازی native CUDA/HIP
• 65. مزایا و معایب استفاده از PyTorch برای بهینه سازی GPU
• 66. بررسی تکنیک های Debugging کد GPU
• 67. استفاده از ابزارهای Debugging CUDA/HIP
• 68. بررسی خطاهای رایج در برنامه نویسی GPU
• 69. مثال های کاربردی از بهینه سازی خطی در دنیای واقعی
• 70. کاربرد بهینه سازی خطی در مسائل زنجیره تامین
• 71. کاربرد بهینه سازی خطی در مسائل مالی
• 72. کاربرد بهینه سازی خطی در مسائل مهندسی
• 73. کاربرد بهینه سازی خطی در مسائل یادگیری ماشین
• 74. بهینه سازی پارامترهای مدل های یادگیری ماشین با استفاده از LP
• 75. ترکیب بهینه سازی خطی با سایر الگوریتم های بهینه سازی
• 76. روش های هیبرید برای حل مسائل پیچیده
• 77. بررسی چالش های پیاده سازی الگوریتم های بهینه سازی روی GPU
• 78. محدودیت های حافظه GPU
• 79. محدودیت های پهنای باند حافظه
• 80. بررسی مسائل Numerical Stability
• 81. بررسی مسائل Synchronization و race conditions
• 82. پیشنهادات برای تحقیقات آینده در زمینه شتاب دهی LP روی GPU
• 83. کاربرد یادگیری عمیق برای بهبود الگوریتم های بهینه سازی
• 84. استفاده از FPGA ها به عنوان شتاب دهنده های سخت افزاری
• 85. بررسی ابزارهای Profiling پیشرفته (Nsight Systems, ROCm Profiler)
• 86. بهینه سازی کتابخانه های LP برای معماری های GPU جدید
• 87. استفاده از sparse matrices برای بهینه سازی حافظه
• 88. ادغام با سایر کتابخانه های محاسباتی (SciPy, NumPy)
• 89. روش‌های approximate LP برای کاهش زمان محاسبات
• 90. بررسی کاربرد Quantization در مسائل LP
• 91. سنجش میزان تاثیر استفاده از single precision
• 92. بررسی trade-off بین دقت و سرعت
• 93. توسعه یک API برای پیاده سازی آسانتر الگوریتم های LP روی GPU
• 94. استفاده از CUDA graph ها برای بهینه سازی execution
• 95. پیاده سازی الگوریتم های بهینه سازی non-linear روی GPU
• 96. کاربرد PyTorch برای بهینه سازی مسائل Integer Programming
• 97. بررسی تکنیک های branch and bound روی GPU
• 98. معرفی کتابخانه های جایگزین برای GPU (ArrayFire, CuPy)
• 99. بهینه سازی و تنظیم پارامترهای الگوریتم ها به صورت خودکار
• 100. تکنیک‌های Hyperparameter optimization