728x90 분류 전체보기43 [딥러닝] 기초 및 꿀팁 3 Data Loader iteration: batch 한 번 다 돈 것 epoch: dataset 한 번 다 돈 것 - CustomDataset __init__(): image는 path, text는 text 자체로 저장 __getitem__(): __len__(): max=255 normalize: img = img - mean * max / std * max cv2 imread 순서 h * w * c pytorch 순서 c * h * w 이를 맞춰주기 위해서 ToTensorV2()로 permutation까지 Softmax Classifier 머신러닝: 손으로 feature 추출 딥러닝: feature까지 training, 유연한 대처, 손쉽게 네트워크 만들 수 있음 group convolution: e.. 2022. 9. 23. [딥러닝/CNN] VGGNet 논문 리뷰 더보기 딥러닝 논문 리뷰 VGGNet 논문 리뷰 Very Deep Convolutional Networks for Large-Scale Image Recognition ↑ 논문 링크 ↑ Abstract VGGNet은 ILSVRC 2014 대회에서 2등을 차지한 CNN 모델 모델의 성능에 '네트워크의 깊이'가 중요함을 보여줌 이미지 특징을 추출하는 기본 네트워크 모델로 활용 많은 메모리를 이용하여 연산한다는 단점 ConvNet Configurations Architecture Input은 224 x 224 RGB 이미지로 고정 전처리 - 각 픽셀에서 train set 평균 RGB 값 빼기 3 x 3 필터 ConvNet, 비선형성을 위해 1 x 1 convolutional filter, stride=1, p.. 2022. 9. 23. [딥러닝] 기초 및 꿀팁 2 loss를 미분할 때 chain rule w.grad = dloss / dw loss(backward 당하는 객체)는 무조건 스칼라값이어야 함 c = 3 * a c = c.sum() c.backward() print(a.grad) => 3 self.linear = torch.nn.Linear(1, 1) # input, output이 각각 하나 criterion = torch.nn.MSELoss(reduction='sum') optimizer = torch.optim.SGD(model.parameters(), lr=0.01) GD는 dataset을 전체로, SGD는 batch 이용 (memory 과부하 문제 해결, outliar 묻힘 문제 해결) batch는 32와 1024 사이 2의 제곱수로 이용하는 것.. 2022. 9. 15. [딥러닝] AlexNet 논문 리뷰 ImageNet Classification with Deep Convolutional Neural Networks ↑ 논문 링크 ↑ AlexNet 영상 데이터 베이스를 기반으로 한 인식 대회 'ILSVRC 2012'에서 우승한 CNN 구조 Neural network : 6천만 parameters, 65만 neurons, 5 convolutional layers, (some) max-pooling layers, 3 fully-connected layers, final 1000-way softmax To make training faster : non-saturating (y값 범위에 제한이 없는) neurons, GPU To reduce overfitting : dropout Dataset Data Ima.. 2022. 9. 15. [딥러닝] 기초 및 꿀팁 1 Lecture 1 ML: 사람이 직접 feature 생성 DL: feature도 모델이 생성 (end-to-end, input을 넣으면 무조건 ouput이 나오는) numpy: CPU 내에서만 수행 pytorch: GPU에서도 수행 torch.ones(3, 2) torch.zeros(3, 2) torch.manual_seed => seed 고정, 동일한 실험환경 구성할 때 torch.rand => 0부터 1사이 torch.randn => -1부터 1사이 y.add_(x) => y = y + x in-place가 true 이면 input 값도 변함 numpy로 변환할 때는 CPU 내부에 있어야 함 a = a.cuda() a = a.cpu() device = torch.device("cuda:0") a.to.. 2022. 9. 13. [컴퓨터구조] Performance 어디에 중점을 두느냐에 따라 컴퓨터 성능이 달라진다 performance = 수행 시간의 역수 CPU time에 집중한다 - Clock cycle rising edge에서 data 전송. 다음 rising edge마다 state가 변한다 period: 주기, rate: period의 역수 수행 시간 = clock cycles * cycle time = clock cycles / rate 수행 시간이 가장 중요 2022. 9. 8. 이전 1 ··· 4 5 6 7 8 다음 728x90 반응형
