Network Weight Initialization 가중치 초기화

weight 들을 균등하게 다 사용하게 하기 위해 사용

sigmoid → Xavier 초기화 사용하는 것이 유리

ReLU → He 초기화를 사용 하는 것이 유리

init_mode = ['uniform', 'lecun_uniform', 'normal', 'zero', 'glorot_normal', 'glorot_uniform', 'he_normal', 'he_uniform']

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Flatten, Dropout
from tensorflow.keras import layers

model = Sequential() 
model.add(layers.Conv2D(16, (3, 3), activation='relu', kernel_initializer='he_uniform', input_shape = (32, 32, 3)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(Dropout(0.25))