본문 바로가기

Computer82

Moses 학습 & 실행 이번 글에서는 moses를 이용하여 번역 모델을 학습하고, 실행하는 방법에 대해 공유한다.moses 공식 사이트에 있는 baseline 실행하고, 정리한 내용이다.baseline url : http://www.statmt.org/moses/?n=Moses.Baseline 이 글을 검색해서 보고 있다는 것 자체가 번역모델이 무엇인지, 그리고 학습이 왜 필요한지에 대해 알고 있는 분이라 생각하여 why에 대한 부분은 생략하고 바로 실행하는 부분에 대해 설명한다. 학습과정을 나누면 5단계로 구성되어 있다.(baseline 기준) 1. 말뭉치를 전처리하고, moses 학습 형태로 변경2. 언어 모델(lanaguage model)을 빌드3. 번역 모델 학습 4. 파라미터 튜닝5. 번역 모델 바이너리화 * 영어를 .. 2015. 7. 5.
Moses 설치 moses는 smt(statistical machine translation) tool이다.예전에 더 어려웠던 것 같은데, 설치 과정이 많이 단순해졌다. 직접 경험했던 설치 과정을 공유한다. 일단 링크부터...http://www.statmt.org/moses/?n=Development.GetStarted 위 사이트를 가서 한 단계씩 따라한다면 아주 쉽게 설치할 수 있다...(사실 여러번의 삽질을 통해 쉽게 설치할 수 있다는 것을 알았다.) 1. moses download & release 3.0 선택 $ git clone https://github.com/moses-smt/mosesdecoder.git $ git checkout RELEASE-3.0 처음에 릴리즈 된 버전을 선택하지 않고, 사용했다가 설.. 2015. 6. 29.
nltk pos tagger import nltk tokenized_sentence = nltk.word_tokenize('I want to something to drink')tagged_sentence = nltk.pos_tag(tokenized_sentence) print tagged_sentence [('I', 'PRP'), ('want', 'VBP'), ('to', 'TO'), ('something', 'NN'), ('to', 'TO'), ('drink', 'VB')] 이렇게 사용하면 간단히 사용 가능~ 2015. 6. 16.
cache(indices.cache.filter.size) Cache https://www.elastic.co/guide/en/elasticsearch/reference/1.5/index-modules-cache.html Filter Evictions과 관련해서 indices.cache.filter.size 기본 설정 값 확인 중cache에 대한 공식 문서를 정리해 놓습니다. index와 관련된 다른 caching inner modules 있다.그것은 filter와 다른 것들을 포함한다. Filter Cache filter cache는 filter의 결과에 대한 caching에 책임이 있다.filter cache의 기본 구현은 node filter cache type이다. node filter cache node filter cache는 전체 메모리의 %(퍼센트.. 2015. 5. 28.

티스토리툴바