Journal or Publication Title:
Date of publication:
Number:
ISSN:
Official URL:
Additional Information:
Բեզիրգանյան Գրիգոր , Ակարմազյան Հայկ, Безирганян Григор, Акармазян Айк
Title:
Improving Differentiable Neural Architecture Search with Sparse Connections and Model Pruning
Other title:
Նեյրոնային ճարտարապետության դիֆերենցվող որոնման բարելավումը նոսր միացումների և մոդելի էտման միջոցով ; Улучшение поиска дифференциальной нейронной архитектуры с разреженными соединениями и обрезанием модели
Creator:
Bezirganyan, Grigor ; Akarmazyan, Hayk
Corporate Creators:
National Polytechnic University of Armenia
Subject:
Uncontrolled Keywords:
Neural Architecture Search ; deep learning ; Sparse Models ; DARTS
Coverage:
Abstract:
Neural networks have contributed to many breakthroughs across several disciplines. Their ease of use and scalability have motivated the development of many techniques in computer vision, natural language processing, audio analysis, etc. The neural network architecture plays a dominant role in its performance, and there have been many advances on designs and strategies for defining efficient neural networks. However, manually tuning neural architectures requires a significant amount of time and expert knowledge. To overcome the difficulty of manually setting up the architecture for a neural network, Neural Architecture Search (NAS) has gained popularity. NAS methods involve three general dimensions, namely search space, search strategies, and performance estimation strategies [1]. Different approaches vary in these dimensions.
Նեյրոնային ցանցերը նպաստել են գիտական մի շարք ոլորտներում տարբեր բացահայտումների: Դրանց օգտագործման հեշտությունը եւ մասշտաբայնությունը խթանել են համակարգչային տեսողության, բնական լեզվի մշակման, աուդիո վերլուծության եւ այլ բազմաթիվ տեխնիկաների մշակմանը: Նեյրոնային ցանցի ճարտարապետությունը առանցքային դեր է խաղում դրա արդյունավետության մեջ, այդ պատճառով բազմաթիվ առաջխաղացումներ են գրանցվել դրանց նախագծման մեջ՝ ավելի արդյունավետ ցանցեր ստանալու համար։ Սակայն, նեյրոնային ճարտարապետության ձեռքով կարգավորումը պահանջում է զգալի քանակությամբ ժամանակ եւ փորձագիտական գիտելիքներ: Նեյրոնային ցանցի ճարտարապետությունը ձեռքով կարգավորելու դժվարությունը հաղթահարելու համար մեծ տարածում է գտել նյարդային ճարտարապետության որոնումը (NAS): NAS մեթոդները ներառում են երեք ընդհանուր չափումներ՝ որոնման տարածություն, որոնման ռազմավարություններ եւ որակի գնահատման ռազմավարություններ [1]:
Нейронные сети сыграли большую роль в совершении открытий во многих областях науки. Их простота использования и масштабируемость послужили стимулом для разработки многих методик в сфере компьютерного зрения, обработки естественного языка, анализа звука и других. Архитектура нейронной сети имеет приоритетное значение в ее производительности, а в области разработки и стратегий определения эффективных нейронных сетей было уже достигнуто немало результатов. Однако ручная настройка нейронных архитектур требует значительного количества времени и экспертных знаний. В деле преодоления трудности ручной настройки архитектуры нейронной сети популярность приобрела система поиска нейронной архитектуры (NAS). Методы NAS включают в себя три основных измерения, а именно: пространство поиска, стратегии поиска и стратегии оценки производительности [1]. Различные подходы отличаются в соответствии с этими измерениями.