본문 바로가기
Computer S&E/빅데이터

[Hadoop] hadoop에서의 straggler

by 와플킴 2022. 10. 25.
728x90

Straggler란

map 또는 reduce 작업 중 하나를 완료하는데 비정상적으로 오랜 시간이 걸리는 machine

 

MapReduce 작업에 소요되는 총 시간을 늘리는 일반적인 원인 중 하나가 straggler

 

낙오자는 여러 가지 이유로 발생 가능

ex. 불량 디스크가 있는 시스템

 

낙오자 5명으로 44% 더 많은 시간 소요

728x90

댓글