輕量級網絡綜述 - 主干網絡篇輕量級網絡的核心在于通過體積和速度的優化，保持網絡精度的同時進行輕量化改造。本文將對經典輕量級網絡進行概述，包括SqueezeNet系列、ShuffleNet系列、MobileNet系列、CondenseNet、ESPNet系列、ChannelNets、PeleeNet、IGC系列、FBNet系列以及EfficientNet和GhostNet。SqueezeNet系列包括SqueezeNet和SqueezeNext，它們通過Fire模塊進行參數壓縮。SqueezeNet使用Fire模塊進行維度壓縮與擴展，而SqueezeNext在SqueezeNet基礎上優化網絡結構，主要改進為分離卷積。ShuffleNet系列的ShuffleNetV1與V2，分別提出了channel shuffle與channel split操作，加速網絡并實現特征重用。ShuffleNetV1使用channel shuffle操作彌補分組間的信息交流，ShuffleNetV2通過channel split操作優化網絡，實現特征重用。MobileNet系列由谷歌提出，MobileNetV1與V2分別通過深度可分離卷積與inverted residual with linear bottleneck單元進行網絡輕量化。MobileNetV3結合AutoML與人工微調，構建更輕量級網絡。CondenseNet基于可學習分組卷積，自動稀疏網絡結構，選擇最優輸入輸出連接模式。ESPNet系列則通過空洞卷積金字塔融合多尺度特征，提高網絡效率。ChannelNets基于channel-wise卷積概念，將輸入輸出維度連接進行稀疏化，提高網絡性能。PeleeNet融合DenseNet稠密連接思想，用于移動設備上的網絡結構優化。IGC系列網絡通過極致運用分組卷積，減少參數量，同時確保信息流通。FBNet系列基于NAS搜索輕量級卷積網絡，FBNetV2與V3分別針對內存消耗與資源約束進行優化。EfficientNet深入研究模型縮放方法，提出混合縮放，配合NAS神經架構搜索，使用較少參數達到高準確率。GhostNet通過Ghost模塊以更少參數提取更多特征，降低計算量。MicroNet針對極低計算量場景，包含Micro-Factorized convolution與Dynamic Shift-Max，通過低秩近似與動態組間特征融合優化網絡結構。MobileNext基于sandglass block設計輕量級網絡，改進inverted residual block設計理念，部分卷積不需激活，shorcut建立在高維度特征上，實現參數量、計算量與準確率優化。