Evaluation of inference optimized image classification models on iOS platform - Batutin, A. V.; Lyda, K. P.; Khojoyan, L. A.; Federico, J. P.; Karamyan, T. S.; Karamyan, D. S. («Պոլիտեխնիկ» տպ.)
In this paper, we evaluate MobileNetV2 and EfficientNet network architectures performance on the iOS platform. Even though both networks are well researched, there is a certain lack of empirical data when it comes to the iOS platform. In this paper, we provide experimental data for top-1 accuracy and inference time, as well as RAM footprint collected on iPhone X and iPhone 12 Pro. The evaluation was performed using CPU, GPU, and Neural Engine (iPhone 12 only). Also, a full int8 quantization evaluation was done for MobileNetV2. Challenges around EfficientNet quantization are also described. The scoring metrics and dataset used to train models were provided as part of Mobile AI 2021 Real- Time Camera Scene Detection Challenge: https://competitions.codalab.org/competitions/28113. Գնահատվել է MobileNetV2 և EfficNet ցանցերի ճարտարապետությունների արտադրողականությունը iOS պլատֆորմի վրա: Չնայած երկու ցանցերն էլ լավ ուսումնասիրված են, այդուհանդերձ, էմպիրիկ տվյալների որոշակի պակաս կա, երբ խոսքը վերաբերում է iOS պլատֆորմին: Ներկայացվել են փորձարարական տվյալներ մոդելների ճշգրտության և արագագործության վերաբերյալ, ինչպես նաև RAM- ի վերաբերյալ տեղեկություն, որը հավաքվել է iPhone X- ի և iPhone 12 Pro- ի վրա: Գնահատումն իրականացվել է CPU-ի, GPU- ի և նյարդային շարժիչի միջոցով (միայն iPhone 12-ով): MobileNetV2- ի համար ևս կատարվել է int8 քվանտացման ամբողջական գնահատում: Նկարագրվել են նաև EfficNet քվանտացման շուրջ մարտահրավերները: Մոդելները պատրաստելու համար օգտագործված գնահատման չափորոշիչները և տվյալների հավաքածուն տրամադրվել են Mobile AI 2021 իրական ժամանակում տեսախցիկի տեսարանի հայտնաբերման (Mobile AI 2021 Real-Time Camera Scene Detection) մարտահրավերի շրջանակներում. https://competitions.codalab.org/- competitions/28113․ Дается оценка производительности сетевых архитектур MobileNetV2 и EfficientNet на платформе iOS. Несмотря на то, что обе сети хорошо изучены, существует определенный недостаток эмпирических данных, когда речь идет о платформе iOS. Приводятся экспериментальные данные по точности и времени вывода, а также объем оперативной памяти, собранной на iPhone X и iPhone 12 Pro. Оценка проводилась с использованием центрального процессора, графического процессора и Neural Engine (только для iPhone 12). Кроме того, для MobileNetV2 проведена полная оценка квантования int8. Описаны проблемы, связанные с квантованием EfficientNet. Показатели оценки и набор данных, используемые для обучения моделей, были предоставлены в рамках конкурса Mobile AI 2021 Real-Time Camera Scene Detection Challenge: https://competitions.codalab.org/competitions/28113․
Keywords: Computer science and informatics