[딥러닝] 기초 및 꿀팁 3

Data Loader

iteration: batch 한 번 다 돈 것

epoch: dataset 한 번 다 돈 것

 

- CustomDataset

__init__():

image는 path, text는 text 자체로 저장

__getitem__():

 

__len__():

 

max=255

normalize: img = img - mean * max / std * max

 

cv2 imread 순서 h * w * c

pytorch 순서 c * h * w

이를 맞춰주기 위해서 ToTensorV2()로 permutation까지

 

Softmax Classifier

머신러닝: 손으로 feature 추출

딥러닝: feature까지 training, 유연한 대처, 손쉽게 네트워크 만들 수 있음

 

group convolution: edge, color를 따로 conv 하게 되면서 계산 쉬워짐

 

FC는 CNN 보다 parameter가 많다

(w * h * c)^2, k * k * c

 

pooling 전 까지의 과정을 stage라고 함 (1 stage, 2 stage ...)

 

ReLU를 많이 쓴다

장: gradient 소멸 문제 사라짐

단: 0 이하의 값은 영향력이 사라진다

 

scheduler: lr 조절