hadoop 라인 수1 hdfs 파일 라인 수 계산하기 일단 내가 아는 방법 hadoop fs -cat | wc -l 이렇게 세면 한참 걸린다... 그래서 찾아본 방법 1. MR로 라인 수 계산하고, $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar -Dmapred.reduce.tasks=100 -input -output -mapper /bin/cat -reducer "wc -l" 이렇게 하면 MR을 사용해서 라인을 계산하게 된다.이렇게 계산된 파일은 local로 다시 받아와서, awk를 이용해서 계산하면 된다. 2. hdfs 상에 계산된 파일을 local로 복사hadoop fs -getmerge 3. awk 이용해서 최종 결과 출력awk '{s += $1}END { print s }' 참고: ht.. 2015. 5. 6. 이전 1 다음