فلش‌کارت‌های آموزشی تسلط بر محاسبات موازی: از مبانی تا بهینه‌سازی کارایی سیستم‌ها

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تسلط بر محاسبات موازی: از مبانی تا بهینه‌سازی کارایی سیستم‌ها

موضوع کلی: علوم کامپیوتر

موضوع میانی: معماری و سیستم‌های کامپیوتری

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر محاسبات موازی
• 2. تاریخچه و تکامل سیستم‌های موازی
• 3. چرا محاسبات موازی؟ کاربردها و مزایا
• 4. مبانی موازی‌سازی: مفاهیم کلیدی
• 5. مدل‌های موازی‌سازی: اشتراک حافظه در مقابل پیام‌رسانی
• 6. معماری‌های سیستم‌های موازی: UMA و NUMA
• 7. پردازنده‌های چند هسته‌ای (Multi-core Processors)
• 8. پردازنده‌های گرافیکی (GPUs) و قابلیت‌های موازی آن‌ها
• 9. سوپرکامپیوترها و خوشه‌های محاسباتی (Clusters)
• 10. شبکه‌های ارتباطی در سیستم‌های موازی
• 11. تاکسونومی فلین (Flynn's Taxonomy)
• 12. SISD: پردازش سریال
• 13. SIMD: پردازش داده‌های موازی
• 14. MISD: پردازش دستورالعمل‌های موازی (نادر)
• 15. MIMD: پردازش مستقل از دستورالعمل‌ها
• 16. مفاهیم پایه‌ای در برنامه‌نویسی موازی
• 17. نخ‌ها (Threads) و پردازش‌ها (Processes)
• 18. همگام‌سازی (Synchronization) در برنامه‌نویسی موازی
• 19. قفل‌ها (Locks) و بن‌بست‌ها (Deadlocks)
• 20. semafor ها و mutex ها
• 21. مدیریت حافظه در محیط‌های موازی
• 22. چالش‌های ارتباطی در سیستم‌های موازی
• 23. تاخیر (Latency) و پهنای باند (Bandwidth)
• 24. مسائل مربوط به سازگاری حافظه (Memory Coherence)
• 25. مدل‌های سازگاری حافظه
• 26. کشینگ (Caching) و تاثیر آن بر کارایی
• 27. مشکلات همزمانی (Concurrency Issues)
• 28. مسابقه داده‌ها (Data Races)
• 29. انحراف داده‌ها (Data Skew)
• 30. موازی‌سازی داده‌ها (Data Parallelism)
• 31. موازی‌سازی وظایف (Task Parallelism)
• 32. تکنیک‌های موازی‌سازی وظایف
• 33. تحلیل وابستگی داده‌ها (Data Dependency Analysis)
• 34. موازی‌سازی داده‌ها در مقابل موازی‌سازی وظایف
• 35. مدل‌های برنامه‌نویسی موازی: MPI
• 36. مقدمه‌ای بر Message Passing Interface (MPI)
• 37. ارسال و دریافت پیام در MPI
• 38. انواع ارتباطات در MPI: همزمان و غیرهمزمان
• 39. MPI_Send و MPI_Recv
• 40. MPI_Isend و MPI_Irecv
• 41. MPI_Wait و MPI_Test
• 42. ارتباطات گروهی در MPI
• 43. MPI_Bcast (Broadcasting)
• 44. MPI_Reduce (Reduction)
• 45. MPI_Allreduce (All-reduce)
• 46. MPI_Scatter (Scattering)
• 47. MPI_Gather (Gathering)
• 48. MPI_Allgather (All-gather)
• 49. MPI_Scan (Scan)
• 50. کارایی در MPI: بهینه‌سازی ارتباطات
• 51. مدل‌های برنامه‌نویسی موازی: OpenMP
• 52. مقدمه‌ای بر OpenMP
• 53. دستورالعمل‌های OpenMP (Pragmas)
• 54. مناطق موازی (Parallel Regions)
• 55. دستورالعمل‌های اجرای موازی
• 56. دستورالعمل‌های بخش‌بندی (Sections)
• 57. دستورالعمل‌های حلقه (Loops)
• 58. دستورالعمل‌های وظیفه (Tasks)
• 59. مدیریت متغیرها در OpenMP: private و shared
• 60. همگام‌سازی در OpenMP
• 61. قفل‌های OpenMP
• 62. barriers در OpenMP
• 63. atomic operations در OpenMP
• 64. کارایی در OpenMP: بهینه‌سازی دسترسی به حافظه
• 65. مدل‌های برنامه‌نویسی موازی: CUDA
• 66. مقدمه‌ای بر CUDA
• 67. معماری GPU برای محاسبات موازی
• 68. نخ‌های CUDA (CUDA Threads)
• 69. بلوک‌های نخ (Thread Blocks)
• 70. شبکه‌های نخ (Grids of Threads)
• 71. حافظه در GPU: Global, Shared, Local, Constant
• 72. مدل برنامه‌نویسی CUDA Kernels
• 73. مدیریت حافظه در CUDA
• 74. انتقال داده بین CPU و GPU
• 75. همگام‌سازی نخ‌های CUDA
• 76. کارایی در CUDA: بهینه‌سازی دسترسی به حافظه GPU
• 77. بهینه‌سازی برنامه‌های موازی
• 78. تجزیه و تحلیل کارایی (Performance Analysis)
• 79. ابزارهای پروفایلینگ (Profiling Tools)
• 80. شناسایی گلوگاه‌ها (Bottlenecks)
• 81. مقیاس‌پذیری (Scalability)
• 82. قانون آمدال (Amdahl's Law)
• 83. قانون گستافون (Gustafson's Law)
• 84. کاهش سربار (Overhead Reduction)
• 85. بهینه‌سازی الگوریتم‌های موازی
• 86. انتخاب الگوریتم مناسب برای موازی‌سازی
• 87. تکنیک‌های موازی‌سازی الگوریتم‌های معروف
• 88. موازی‌سازی مرتب‌سازی (Sorting)
• 89. موازی‌سازی جستجو (Searching)
• 90. موازی‌سازی ضرب ماتریس (Matrix Multiplication)
• 91. موازی‌سازی حل سیستم‌های خطی
• 92. موازی‌سازی شبیه‌سازی‌ها (Simulations)
• 93. مباحث پیشرفته در محاسبات موازی
• 94. محاسبات توزیع شده (Distributed Computing)
• 95. سیستم‌های داده موازی (Data Parallel Systems)
• 96. پردازش جریان داده (Stream Processing)
• 97. محاسبات ناهمگام (Asynchronous Computing)
• 98. تکنیک‌های خودکار موازی‌سازی
• 99. موازی‌سازی پویا (Dynamic Parallelism)
• 100. موازی‌سازی مبتنی بر یادگیری ماشین