728x90 분류 전체보기43 [Hadoop] MapReduce: Simplified Data Processing on Large Clusters 논문 병렬 구조 처리 ouput은 로컬 머신이 아니라 key-value pair는 local machine에 저장, worker가 그것을 받아서 output 저장 2022. 10. 7. [Hadoop] 하둡 기본 기초 Basics 설명 2 Design of HDFS - 큰 파일을 저장할 수 있다 - Streaming data access pattern : 사용자에게 끊기지 않고 데이터를 읽을 수 있게 해준다. 하드웨어에서 데이터 손실이 나더라도 그 손실을 느끼지 않게. 한 번 쓰고, 여러번 읽는다는 컨셉. - Commodity hardware : node spec이 고사양이 아닌 평범한 머신을 여러 개로 구성해서 cluster화 시킴. 슈퍼 컴퓨터 X Trade Off - Low-latency data access : 높은 데이터 처리량과 불러오는 시간 (high throughput / expense of latency) - Lots of small files : data block이 작아서 data 저장 위치와 index를 저장해야 하는.. 2022. 10. 7. [딥러닝/CNN] Pre-activation ResNet 계속 기울기 1이다 -> 아님 그 부분에도 계속 ReLU가 씌워지기 때문 layer 1000개 쯤 쌓으면 학습이 안 된다. layer를 깊게 쌓았을 때 발생하는 문제점 해결하기 위한 논문 Fine Tuning 관점 code 구현 resnetv2.py 2022. 10. 6. [논문 리뷰] ResNet 논문 리뷰 +) ResNet이 1000장 정도 쌓이면 성능이 저하되는 문제를 해결하기 위한 추가 연구는 글 맨 아래에 있음 ResNet 마이크로소프트 팀이 소개한 ResNet 모델입니다. Residual 이라는 새로운 방법이 도입되었습니다. ILSVRC 2015에서 처음으로 Human recognition보다 높은 성능을 보이며 1위를 차지한 152 layer의 모델을 알아봅시다. ↓ 논문 링크 ↓ ResNet paper 더보기 딥러닝 ResNet 논문 리뷰 pytorch 파이토치 tensorflow 텐서플로 code 코드 Abstract 역대 ILSVRC 대회를 보면 depth가 커질수록 성능은 좋아지지만 overfitting, gradient vanishing, 연산량 증가 등의 문제가 있다. 그래서 이전에 사.. 2022. 10. 6. [Hadoop] 하둡 기본 기초 Basics 설명 1 RDMS: 대규모 데이터를 빠르게 조회 HDFS 클라이언트들이 바라봤을 때 끊기지 않게 string access seek time / transfer rate : 탐색 시간 / 대역폭 대역폭이 커진 속도를 탐색 시간이 못 따라잡았다 latency : 데이터를 읽으려고 할 때 hadoop은 processing 시간이 필요 seek time이 줄어 디스크 블럭 사이즈가 작아지면 디스크 공간 효율은 좋아지는데 병목 디스크 블럭 사이즈가 작아지면 main node가 데이터를 많이 읽어와야 함 B-Tree (RDMS) vs MapReduce structured data - csv / RDMS 관리 용이 semi-strucured data - json / Hadoop에서 관리 unstructured data - i.. 2022. 9. 30. [딥러닝] GoogLeNet 논문 리뷰 더보기 딥러닝 논문 리뷰 GoogLeNet 논문 리뷰 Inception ILSVRC 2014에서 VGGNet을 이기고 1등을 한 GoogLeNet 모델 VGGNet 과 유사한 점: 1 x 1 conv layer, depth 증가를 통해 성능 개선 GoogLeNet은 Inception이라는 독특한 구조를 제안 Going deeper with convolutions ↑ 논문 링크 ↑ 목차 ☞ Abstract ☞ Introduction ☞ Related Work ☞ Motivation and High Level Considerations ☞ Architectural Details ☞ GoogLeNet ☞ Training Methodology ☞ ILSVRC 2014 Classification Challenge.. 2022. 9. 29. 이전 1 ··· 3 4 5 6 7 8 다음 728x90 반응형
