فلش‌کارت‌های آموزشی دیفرانسیل‌پذیری خودکار در MCMC: مزایای Theano/TensorFlow

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره دیفرانسیل‌پذیری خودکار در MCMC: مزایای Theano/TensorFlow

موضوع کلی: روش‌های نمونه‌گیری مونت‌کارلو مارکوف (MCMC) در آمار بیزی

موضوع میانی: استفاده از Theano/TensorFlow برای بک‌اند

📋 سرفصل‌های دوره

• 1. مبانی احتمال و آمار برای MCMC
• 2. مقدمه‌ای بر زنجیره‌های مارکوف
• 3. فرآیندهای مارکوف و فضای حالت
• 4. مفهوم حالت گذار در زنجیره‌های مارکوف
• 5. توزیع پایدار در زنجیره‌های مارکوف
• 6. مقدمه‌ای بر روش‌های مونت کارلو (MCMC)
• 7. نیاز به MCMC در مسائل پیچیده آماری
• 8. ارتباط MCMC با شبیه‌سازی
• 9. انواع الگوریتم‌های MCMC
• 10. مقدمه‌ای بر الگوریتم نمونه‌گیری ع допомогою
• 11. قضیه حد مرکزی و کاربرد آن در MCMC
• 12. قضیه بیز و نقش آن در استنتاج آماری
• 13. توزیع پیشین و پسین
• 14. توزیع احتمال شرطی و حاشیه‌ای
• 15. مفهوم تابع درست‌نمایی
• 16. انتگرال‌گیری عددی و ارتباط آن با MCMC
• 17. چالش‌های انتگرال‌گیری در ابعاد بالا
• 18. مقدمه‌ای بر دیفرانسیل‌پذیری خودکار (AD)
• 19. کاربرد AD در بهینه‌سازی
• 20. مبانی TensorFlow برای AD
• 21. مبانی Theano برای AD
• 22. ساختار گراف محاسباتی در TensorFlow
• 23. ساختار گراف محاسباتی در Theano
• 24. حساب دیفرانسیل نمادین در AD
• 25. حساب دیفرانسیل عددی در AD
• 26. حساب دیفرانسیل معکوس (Reverse-mode AD)
• 27. حساب دیفرانسیل مستقیم (Forward-mode AD)
• 28. مزایای AD نسبت به روش‌های دستی
• 29. پیاده‌سازی گرادیان‌ها با TensorFlow
• 30. پیاده‌سازی گرادیان‌ها با Theano
• 31. کاربرد AD در شبکه‌های عصبی
• 32. مقدمه‌ای بر الگوریتم Metropolis-Hastings
• 33. مراحل الگوریتم Metropolis-Hastings
• 34. انتخاب تابع پیشنهاد (Proposal Function)
• 35. تأثیر تابع پیشنهاد بر کارایی MCMC
• 36. الگوریتم Gibbs Sampling
• 37. مراحل الگوریتم Gibbs Sampling
• 38. کاربرد Gibbs Sampling در مدل‌های گرافیکی
• 39. مقایسه Metropolis-Hastings و Gibbs Sampling
• 40. الگوریتم MCMC با استفاده از TensorFlow
• 41. الگوریتم MCMC با استفاده از Theano
• 42. اصول نمونه‌گیری از توزیع‌های پیچیده
• 43. مفهوم توزیع هدف (Target Distribution)
• 44. اهمیت نمونه‌گیری از توزیع هدف
• 45. چالش‌های نمونه‌گیری از توزیع‌های غیرنرمال
• 46. استفاده از AD برای محاسبه گرادیان توزیع هدف
• 47. بهبود کارایی MCMC با استفاده از AD
• 48. مقدمه‌ای بر نمونه‌گیری بر اساس گرادیان
• 49. کاربرد نمونه‌گیری بر اساس گرادیان در MCMC
• 50. الگوریتم Hamiltonian Monte Carlo (HMC)
• 51. مبانی فیزیک هامیلتونی برای HMC
• 52. انتگرال‌گیری عددی در HMC
• 53. کاربرد AD در پیاده‌سازی HMC
• 54. مزایای HMC نسبت به Metropolis-Hastings
• 55. چالش‌های پیاده‌سازی HMC
• 56. الگوریتم No-U-Turn Sampler (NUTS)
• 57. بهبودهای NUTS نسبت به HMC
• 58. کاربرد NUTS با TensorFlow
• 59. کاربرد NUTS با Theano
• 60. مقدمه‌ای بر مدل‌های آماری بیزی
• 61. مدل‌های خطی در آمار بیزی
• 62. مدل‌های غیرخطی در آمار بیزی
• 63. مدل‌های سلسله مراتبی بیزی
• 64. استنتاج بیزی با MCMC
• 65. ارزیابی همگرایی MCMC
• 66. معیارهای همگرایی (Gelman-Rubin, R-hat)
• 67. نمونه‌گیری از توزیع پسین
• 68. محاسبه آماره‌های پسین
• 69. بررسی میزان قطعیت در استنتاج بیزی
• 70. کاربرد MCMC در مدل‌سازی سری‌های زمانی
• 71. کاربرد MCMC در پردازش تصویر
• 72. کاربرد MCMC در یادگیری ماشین
• 73. مقدمه‌ای بر مدل‌های گرافیکی احتمالاتی
• 74. شبکه‌های بیزی
• 75. میدان‌های تصادفی مارکوف
• 76. استنتاج در مدل‌های گرافیکی با MCMC
• 77. استفاده از AD در بهینه‌سازی پارامترهای مدل‌های گرافیکی
• 78. کاربرد TensorFlow در مدل‌های گرافیکی
• 79. کاربرد Theano در مدل‌های گرافیکی
• 80. مقدمه‌ای بر روش‌های نمونه‌گیری پیشرفته
• 81. نمونه‌گیری با اهمیت (Importance Sampling)
• 82. نمونه‌گیری با اهمیت بازنمون (Resampling)
• 83. روش‌های MCMC موازی
• 84. مقدمه‌ای بر مقایسه‌ی الگوریتم‌های MCMC
• 85. معیارهای ارزیابی کارایی MCMC
• 86. انتخاب الگوریتم مناسب برای مسئله
• 87. نکات عملی در پیاده‌سازی MCMC
• 88. اشکال‌زدایی در الگوریتم‌های MCMC
• 89. بهینه‌سازی کد MCMC با استفاده از AD
• 90. کاربرد MCMC در علوم داده
• 91. کاربرد MCMC در تحقیقات علمی
• 92. مروری بر پیشرفت‌های اخیر در MCMC
• 93. آینده MCMC و دیفرانسیل‌پذیری خودکار
• 94. ملاحظات محاسباتی در MCMC با AD
• 95. توزیع‌های نرمال و چندمتغیره در MCMC
• 96. مقدمه‌ای بر توزیع‌های بتای گاما
• 97. کاربرد توزیع‌های مخلوط در MCMC
• 98. مقدمه‌ای بر روش‌های واریانس‌گیری
• 99. مقایسه MCMC با روش‌های واریانس‌گیری
• 100. کاربرد MCMC در مسائل اقتصاد سنجی