본문 바로가기

Computer/Etc

pig 실행시 오류

https://issues.apache.org/jira/browse/PIG-4164


pig를 실행할 때, 다음과 같은 메시지를 확인할 수 있다.


2014-09-10 15:13:55,370 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: daijymacpro-2.local/10.11.2.30:55223. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=3, sleepTime=1000 MILLISECONDS)
2014-09-10 15:13:56,371 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: daijymacpro-2.local/10.11.2.30:55223. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=3, sleepTime=1000 MILLISECONDS)
2014-09-10 15:13:57,372 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: daijymacpro-2.local/10.11.2.30:55223. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=3, sleepTime=1000 MILLISECONDS) 

2014-09-10 15:13:57,476 [main] INFO org.apache.hadoop.mapred.ClientServiceDelegate - Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server

(위 메시지는 위 링크에 있는 것을 그대로 넣었다.)


일단, 오류는 아니다.

stdout으로 출력되었고, 출력 level도 INFO이다.


pig bug이며, 0.14.0에서 patch되었다.

bug 내용을 간단히 설명해보면, AM(Application Master)에서 jobHistroyServer로 결과를 보내는 시간이 오래 걸려서 위와 같은 메시지를 출력하고 있다.


내가 사용한 버전은 0.12.0이고, 0.14.0 버전을 받아 테스트 해보진 못했지만,

pig와 streaming으로 같은 작업을 만든 뒤 mr을 돌렸을 때, 동일한 결과가 출력되었다.