git untrackedfiles off

Posted 2018. 2. 22. 10:03

git config --global status.showUntrackedFiles no

Write your message and submit
<script type="text/javascript">
$is_selected = false;
$(document).ready(function(){ $("#q_input").focus(); });
$('#q_input').focus(function(){
if($is_selected == false) {
this.selectionStart = this.selectionEnd = this.value.length;
}
else {
$is_selected = false;
};
});
$("body").keydown(function(e) {
if((!((37 <= e.which && e.which <= 40) || e.which == 32 
|| e.which == 8)) && $is_selected == false) {
$("#q_input").select();
$is_selected = true;
}
});
$("#query_input").focusout(function() {
if($is_selected == true) {
$is_selected = false;
};
});
</script>;


- 일단 입력 후에는 input의 마지막에 커서가 있다.
- 스페이스, 화살표, 백스페이스를 입력하면 input내에서 커서가 이동한다.
- 다른 키를 입력하면 input이 지워지고 새로운 내용을 넣을 수 있게 된다.


Write your message and submit

pig 실행시 오류

Posted 2015. 5. 26. 15:49

https://issues.apache.org/jira/browse/PIG-4164


pig를 실행할 때, 다음과 같은 메시지를 확인할 수 있다.


2014-09-10 15:13:55,370 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: daijymacpro-2.local/10.11.2.30:55223. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=3, sleepTime=1000 MILLISECONDS)
2014-09-10 15:13:56,371 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: daijymacpro-2.local/10.11.2.30:55223. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=3, sleepTime=1000 MILLISECONDS)
2014-09-10 15:13:57,372 [main] INFO  org.apache.hadoop.ipc.Client - Retrying connect to server: daijymacpro-2.local/10.11.2.30:55223. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=3, sleepTime=1000 MILLISECONDS) 

2014-09-10 15:13:57,476 [main] INFO org.apache.hadoop.mapred.ClientServiceDelegate - Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server

(위 메시지는 위 링크에 있는 것을 그대로 넣었다.)


일단, 오류는 아니다.

stdout으로 출력되었고, 출력 level도 INFO이다.


pig bug이며, 0.14.0에서 patch되었다.

bug 내용을 간단히 설명해보면, AM(Application Master)에서 jobHistroyServer로 결과를 보내는 시간이 오래 걸려서 위와 같은 메시지를 출력하고 있다.


내가 사용한 버전은 0.12.0이고, 0.14.0 버전을 받아 테스트 해보진 못했지만,

pig와 streaming으로 같은 작업을 만든 뒤 mr을 돌렸을 때, 동일한 결과가 출력되었다.


Write your message and submit
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
<input id="query_input" type="text">
 
<script type="text/javascript">
    $is_focused = false;
    $("body").keydown(function() {
        $("#query_input").focus();
    });
 
    $("#query_input").focus(function() {
        if($is_focused == false) {
            this.select();
            $is_focused = true;
        };
    });
 
    $("#query_input").focusout(function() {
        if($is_focused == true) {
            $is_focused = false;
        };
    });
</script>
cs


Write your message and submit

hdfs 파일 라인 수 계산하기

Posted 2015. 5. 6. 18:26

일단 내가 아는 방법


hadoop fs -cat <input_path> | wc -l


이렇게 세면 한참 걸린다...


그래서 찾아본 방법


1.  MR로 라인 수 계산하고, 

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar -Dmapred.reduce.tasks=100 -input <input_path> -output <output_path> -mapper /bin/cat -reducer "wc -l"


이렇게 하면 MR을 사용해서 라인을 계산하게 된다.

이렇게 계산된 파일은 local로 다시 받아와서, awk를 이용해서 계산하면 된다.


2. hdfs 상에 계산된 파일을 local로 복사

hadoop fs -getmerge <output_path> <local_output_file>


3. awk 이용해서 최종 결과 출력

awk '{s += $1}END { print s }' <local_output_file>


참고: http://stackoverflow.com/questions/12716570/count-how-many-lines-in-large-files

Write your message and submit

git tag

Posted 2015. 3. 31. 15:46

내가 기록하고 싶은 내용은 git에서 tag 리스트 확인, tag 삭제, tag 원격 삭제이다.


일단...


- tag 리스트 확인

$ git tag -l


- tag 삭제

$ git tag -d tag명


- tag 원격 삭제

$ git push origin :refs/tags/tag명


끝.

'Computer > Etc' 카테고리의 다른 글

jquery 이용해서 키보드 입력시 input에 포커스 설정 및 블록 선택하기  (0) 2015.05.14
hdfs 파일 라인 수 계산하기  (0) 2015.05.06
git tag  (0) 2015.03.31
git color 설정하기  (0) 2015.03.31
kadane's algorithm(maximum contiguous subarray)  (0) 2015.03.21
mvn 설치  (0) 2015.03.09
Write your message and submit

git color 설정하기

Posted 2015. 3. 31. 06:08

git config --global color.ui true


아주 간단한데... 매번 잊어버려서... 이렇게 블로그에 정리한다.


출처 : http://git-scm.com/book/ko/v1/Git%EB%A7%9E%EC%B6%A4-Git-%EC%84%A4%EC%A0%95%ED%95%98%EA%B8%B0

'Computer > Etc' 카테고리의 다른 글

hdfs 파일 라인 수 계산하기  (0) 2015.05.06
git tag  (0) 2015.03.31
git color 설정하기  (0) 2015.03.31
kadane's algorithm(maximum contiguous subarray)  (0) 2015.03.21
mvn 설치  (0) 2015.03.09
mvn proxy 설정  (0) 2015.03.07
Write your message and submit

분명히 어디선가 봤던 문제였는데...

이렇게 볼때마다 새로운지...

내 기억력이 이렇게 짧다는 것을 다시 한번 확인했다.


내 기억력을 확인해 준 문제는...


maximum contiguous subarray problem


어떤 배열이 주어졌을 때, 배열에서 연속된 부분배열 중 가장 큰 합을 찾는 문제이다.


예를 들면,

array = [2, -1, 2, 3, 4, -5]

에서 maximum contiguous subarray는 [2, -1, 2, 3, 4] 가 되어 maximum은 10 이 된다.


어찌보면, 간단해 보이지만...

각 배열의 index에서 가능한 모든 sum을 구해야 한다고 생각하면 그리 쉽지 않다.


하지만, 이 문제의 해법과 관련된 유명한 알고리즘이 있는데...

그 알고리즘이 kadane's algorithm이다.

http://en.wikipedia.org/wiki/Maximum_subarray_problem


알고리즘을 간단히 설명하면, 1차원으로 이뤄진 배열에서 

배열을 한번 스캔하면서, 각 포지션에서 가지는 최대값을 구하는 그런 알고리즘이다.

(글로 적다보니... 내가 제대로 이해한 것인가에 대한 의문이 든다.)

좀 더 명확한 설명은 위에 있는 위키 링크를 보시길...


내가 풀었던 방법은 index가 필요한 계산은 아니였기에...

maximum sum만 확인하면서 문제를 해결한다.(find_contiguous_subarray() 참고)


아래에 있는 코드를 보며... 다음에는 이 문제를 보고 당황하지 않기를 바라며...

이 포스팅을 마무리한다.


'Computer > Etc' 카테고리의 다른 글

git tag  (0) 2015.03.31
git color 설정하기  (0) 2015.03.31
kadane's algorithm(maximum contiguous subarray)  (0) 2015.03.21
mvn 설치  (0) 2015.03.09
mvn proxy 설정  (0) 2015.03.07
mongodb 설치 및 사용  (0) 2015.01.15
Write your message and submit

mvn 설치

Posted 2015. 3. 9. 13:00

메이븐을 잘 모르는 개발자로써...

설치하는 방법만 간단히 정리해본다.


http://firstboos.tistory.com/entry/linux-%EC%97%90-mavenmvn-%EC%84%A4%EC%B9%98


여기 블로그의 글을 보고 따라했다.

(같은 내용이지만, 기록을 위해서 정리해 놓는다.)



1. .maven repository에서 binary download


wget http://apache.mirror.cdnetworks.com/maven/maven-3/3.2.5/binaries/apache-maven-3.2.5-bin.tar.gz


2. /usr/local에서 압축 해제


tar apache-maven-3.2.5-bin.tar.gz


3. 심볼릭 링크 설정

ln -sf pache-maven-3.2.5 maven


4. bash_profile에 M2_HOME, PATH 등록


export M2_HOME=/usr/local/maven

export PATH=${M2_HOME}/bin:${PATH}


* 사용하고자 하는 계정에서도 위와 같이 등록해줘야 한다.


5. 반영

source ~/.bash_profile


6. 확인

mvn

'Computer > Etc' 카테고리의 다른 글

git color 설정하기  (0) 2015.03.31
kadane's algorithm(maximum contiguous subarray)  (0) 2015.03.21
mvn 설치  (0) 2015.03.09
mvn proxy 설정  (0) 2015.03.07
mongodb 설치 및 사용  (0) 2015.01.15
mysql 오류 해결 & 계정 생성  (0) 2015.01.13
Write your message and submit

mvn proxy 설정

Posted 2015. 3. 7. 07:37

java 개발자가 아니라서...

mvn이 뭐하는 것인지도 찾아봐야 아는 1인.


elasticsearch plugin 설치를 위해 mvn을 사용해야 하는데...

방화벽 때문인지 잘 안됨... 연결시간 초과 이런 메시지가 뜬다.


proxy 설정이 안되서 그런 것으로 생각되어 mvn proxy 설정과 관련된 내용을 검색해봤다.


일단, mvn proxy 설정은 다음과 같이 하면 된다.


$ vi ~/.m2/settings.xml


<settings>

<proxies>

<proxy>

<id>http_proxy</id>

<active>true</active>

<protocol>http</protocol>

<host>your_host</host>

<port>your_port</port>

</proxy>

<proxy>

<id>http_proxy</id>

<active>true</active>

<protocol>https</protocol>

<host>your_host</host>

<port>your_port</port>

</proxy>

</proxies>

</settings>


이렇게 설정하고, 다시 mvn을 실행해보면 OK!


그리고, 한가지 더 방법이 있는데, 


$ mvn install -Dhttps.proxyHost=your_host -Dhttps.proxyPort=your_proxy -Dhttp.proxyHost=your_host -Dhttp.proxyPort=your_proxy


이렇게 하면, proxy가 설정된 mvn을 사용할 수 있다. 끝.


참고 : http://maven.apache.org/guides/mini/guide-proxies.html

참고 : http://dylankernel.tistory.com/19



'Computer > Etc' 카테고리의 다른 글

kadane's algorithm(maximum contiguous subarray)  (0) 2015.03.21
mvn 설치  (0) 2015.03.09
mvn proxy 설정  (0) 2015.03.07
mongodb 설치 및 사용  (0) 2015.01.15
mysql 오류 해결 & 계정 생성  (0) 2015.01.13
3way handshaking  (0) 2015.01.11
Write your message and submit
« PREV : 1 : 2 : 3 : NEXT »