Publication Details:
Journal or Publication Title:
Գիտական Արցախ=Scientific Artsakh=Научный Арцах
Date of publication:
Number:
ISSN:
Official URL:
www.artsakhlib.am
Additional Information:
Title:
Bayesian Approach in Neural Networks
Other title:
Байесовский подход в нейронных сетях ; Բայեսյան մոտեցումը նեյրոնային ցանցերում
Creator:
Subject:
Uncontrolled Keywords:
deep learning ; machine learning ; Bayesian and standard (frequentist) approaches ; neural network ; loss function ; activation function ; overfitting ; prior distribution ; likelihood ; posterior distribution
Coverage:
Abstract:
With the development of Deep learning, neural networks have become very popular. But nowadays neural networks which are being used are based on standard approach of Statistics. The main purpose of this work is to present Bayesian approach, highlight the main differences between Bayesian and frequentist approaches, their principles The problem was set to show in which cases Bayesian neural networks can be more preferable. The purpose was achieved through the following stages. The main steps of neural networks are presented. After it the fundaments of Bayesian approach are described. As Bayesian approach is a common concept, not just an inference used in neural networks, initially author speaks about this approach generally and then tells about its usage in neural networks. After that the main advantages and limitations of Bayesian networks in Deep learning are spoken about: which problems they can solve. The main conclusion of this paper is that Bayesian approach could be used to avoid overfitting. However, it is essential to understand the specific conditions under which Bayesian neural networks are preferable.
С развитием углубленного обучения нейронные сети стали очень популярными. Однако используемые современные нейронные сети основаны на стандартном подходе статистики; анализов в стандартном подходе больше, чем в байесовском. Основная цель данной работы – представить байесовский подход, рассказать о главных различиях между байесовским и частотным подходами, их принципах. Была поставлена задача показать, в каких случаях байесовские нейронные сети могут оказаться предпочтительнее. В достижении поставленной цели мы опирались на следующие этапы работы над исследованием: были представлены основные этапы работы нейронных сетей, далее описываются основы байесовского подхода. Поскольку байесовский подход является общей концепцией, а не просто методом вывода, используемым в нейронных сетях, то возникла необходимость сначала рассказать об этом подходе в общем, а затем ‒ о его применении в нейронных сетях. Далее обсуждаются основные преимущества и ограничения байесовских сетей в глубоком обучении и то, какие проблемы они способны решать. Основной вывод данного исследования заключается в том, что байесовский подход может быть использован для предотвращения переобучения, но необходимо учесть, при каких условиях байесовские нейронные сети более предпочтительны.
Place of publishing:
Երևան