본문 바로가기

Computer83

console에서 stdout, stderr 저장하기 console을 사용하다보면, stdout 또는 stderr에 대한 출력을 저장해야 할 경우가 있다.stdout, stderr 출력을 함께 저장할 때도 있고, 각각 저장해야 할 경우도 있다.자주 사용하지만, 잘 잊어버리는 부분이라 정리한다. 1. 각각 저장할 때$ test.sh > stdout_log 2> stderr_log 2. 함께 저장할 때(이때 로그가 출력되는 순서가 유지되면서 저장된다.)$ test.sh > stdout_stderr_log 2>&1 또, 다른 사용법이 있지만 정리해야할 필요가 있을 때 정리할 예정이다.이상 끝. 2014. 10. 28.
hadoop distcp hdfs 간 파일을 복사하기 위해서는 distcp를 사용하면 된다.방법에 대해 정리해보면... 1. 실행은 destination hdfs에서 한다.2. destination의 모든 cluster에서는 source의 모든 cluster의 host name을 등록해야 한다.(/etc/hosts)3. hadoop distcp를 사용하여 복사한다.(디렉토리, 파일 지정) ex) hadoop distcp hdfs://source hdfs://destination (다른 버전간에 복사를 하려면, hadoop distcp hftp://source hdfs://destination) 간단하지만, 알고 있으면 할 수 있는 것이고, 모르면 잠시 삽질?!을 해야 하는 거라서 정리해놓는다. 참고 : http://hadoop... 2014. 10. 27.
python2.x에서 unicodedata 사용법 파이썬(python)을 이용하여, 한글을 처리할 때 여러가지 방법이 있겠지만, 다음과 같이 unicodedata라는 클래스를 이용하면 좀 더 편리하게 처리할 수 있다. unicodedata documenation : https://docs.python.org/2/library/unicodedata.html unicode type category(5.5.1 General Category Values) : http://www.unicode.org/reports/tr44/tr44-4.html 각 unicode에 대해 어떤 category을 갖는지 확인해서 제거할 수 있으며, 한글의 경우에는 Lo(other characters)에 속한다. 아래 코드는 utf-8 문자열을 입력받아, unicode로 변환한 뒤, .. 2014. 10. 21.
베이지안 정리(Bayes' Theorem) 베이즈 정리에 대해 잘 안다고 말하는 정도가 어느정도인지...이 정도를 안다고 하는 건 들어는 봤다고 말하는 느낌이다.하지만, 일단 이해한 부분까지 정리해본다.http://darkpgmr.tistory.com/62 의 글을 통해 이해했다. * 조건부 확률 = 베이지안 룰 = 베이지안 정리 = 베이지안 법칙 P(x | z) = p( z | x) * p( x ) / p( z ) - 용어 정리p(x | z) : 사후 확률(posterior probability), 어떤 사건(관측값) 이후에 나타나는 확률p(z | x) : 우도, 가능도(liklihood), 표본이 모집단을 대표하는 정도?(이 부분에 대해서는 공부가 더 필요하다)p( x ) : 사전 확률(prior probability), 어떤 사건(관측값) .. 2014. 10. 20.

티스토리툴바