Inception

ResNet

Dilated ResNet

DenseNet

VGG

• VoVNet

  • 장점

    • DenseNet과 다르게 input channel 수가 일정함

    • input channel 수가 일정하고, 1x1 Depth-wise conv를 사용 안하기 때문에 Inference time이 더 빠름(1x1 Depth-wise conv는 대부분 GPU에서 가속화되기 힘들다.)

      Depth-wise Separable Convolution

• CSPVoVNet ( Cross Stage Partical )

  • VoVNet에 Cross Stage Partial(CSP)구조를 추가함. input channel을 반으로 나누어 진행 후 transition layer에 더함.
  • 장점
    • 나눠진 c 때문에 기존보다 gradient flow가 끊겨 과도한 양의 gradient information을 방지함.
    • c를 나누고 transition layer에서 병합하기에 gradient path는 2배로 증가하여 다양한 feature들을 학습할 수 있음.
    • VoV의 장점을 그대로 가져감.

• ELAN

  • 장점
    • 기존의 CSPVoVNet의 장점을 그대로 가져감.
    • CSPVoVNet의 gradient path 차이를 극대화 시켜 모듈 간소화
    • gradient path의 길이를 조종하여 더 깊은 네트워크도 학습 가능하고, 수렴도 잘 되게 함.
  • 단점
    • Computation block을 어느 정도 많이 쌓아도 학습이 잘 되지만, 너무 많이 쌓을 경우 학습이 안될 수 있다.

• E-ELAN

  • ELAN의 단점이 있어 YOLOv7에서 block을 더 쌓기 위해 E-ELAN을 제안함.
  • computational block만 바뀌고 transition layer는 바뀌지 않음
  • computational block들에 대해 channel 수를 여러개로 늘리는 Group conv를 적용
  • CSP로 나눠진 feature와 computational block의 output feature들이 섞여서 합쳐준다.
  • Mearge cardinality 수행