MLM vs CLM

Maksed Language Model(MLM) vs Casual Language Model(CLM)

https://towardsdatascience.com/understanding-masked-language-models-mlm-and-causal-language-models-clm-in-nlp-194c15f56a5

Understanding Masked Language Models (MLM) and Causal Language Models (CLM) in NLP

위 링크를 바탕으로 정리한 내용입니다.

 

1. Maksed Language Model(MLM)
- bidirectional: left, right 단어를 기준으로 빈칸 맞추는 문제, 양 방향을 고려
- input에 대한 good representation을 만들 때 선호

2. Casual Language Model(CLM)
- unidirectional: left(또는 right) 단어를 기준으로 다음 빈칸 맞추는 문제, 한쪽 방향만 고려
- fluent text 생성할 때 선호