O’RGATISH ALGORITMLARI SUN’IY NEYRON TARMOQLARDA: GRADIENT TUSHUNCHASI, ADAM VA BOSHQA OPTIMIZATSIYA METODLARI
Keywords:
Кроме того, статья рассматривает практическое применение этих алгоритмов, стратегии оптимизации гиперпараметров, ускорение процесса обучения и возможности эффективного обучения на больших объемах данных. Результаты исследования показывают, что адаптивные оптимизаторы и современные методы на основе градиента существенно повышают скоростьAbstract
Sun’iy neyron tarmoqlarining samarali ishlashi ularning o‘rgatish
jarayonida qo‘llaniladigan optimizatsiya algoritmlarining samaradorligiga bevosita
bog‘liqdir. Ushbu maqolada gradient tushunchasi, klassik Gradient Descent,
shuningdek Adam optimizer, RMSProp va Adagrad kabi zamonaviy adaptiv
optimizatsiya metodlari nazariy va amaliy jihatdan tizimli tahlil qilinadi. Tadqiqotda
gradientning neyron tarmoqlarini o‘rgatish jarayonidagi asosiy roli, konvergensiya
tezligi, o‘rganish barqarorligi va xatolik funksiyasini minimallashtirish mexanizmlari
yoritiladi.
References
1.
Bengio, Y., Simard, P., & Frasconi, P. (1994). Learning long-term
dependencies with gradient descent is difficult. IEEE Transactions on Neural
Networks, 5(2), 157–166.
2.
Bengio, Y. (2012). Practical recommendations for gradient-based training of
deep architectures. Neural Networks, 25(2), 156–167.
3.
Bottou, L. (2010). Large-scale machine learning with stochastic gradient
descent. In Proceedings of COMPSTAT’2010 (pp. 177–186). Springer.
4.
Bottou, L., Curtis, F. E., & Nocedal, J. (2018). Optimization methods for large
scale machine learning. SIAM Review, 60(2), 223–311.
5.
Chollet, F. (2018). Deep Learning with Python. Manning Publications.
6.
Duchi, J., Hazan, E., & Singer, Y. (2011). Adaptive subgradient methods for
online learning and stochastic optimization. Journal of Machine Learning Research,
12, 2121–2159.
7.
Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
