Maksed Language Model(MLM) vs Casual Language Model(CLM)
Understanding Masked Language Models (MLM) and Causal Language Models (CLM) in NLP
Language Models in NLP (Visuals and Examples)
towardsdatascience.com
위 링크를 바탕으로 정리한 내용입니다.
1. Maksed Language Model(MLM)
- bidirectional: left, right 단어를 기준으로 빈칸 맞추는 문제, 양 방향을 고려
- input에 대한 good representation을 만들 때 선호
2. Casual Language Model(CLM)
- unidirectional: left(또는 right) 단어를 기준으로 다음 빈칸 맞추는 문제, 한쪽 방향만 고려
- fluent text 생성할 때 선호
'Computer > LLM' 카테고리의 다른 글
| ReAct Ⅱ (0) | 2023.06.16 |
|---|---|
| ReAct (0) | 2023.05.31 |
| InstructGPT Evaluation (2) | 2023.04.17 |
| In-context Learning (0) | 2023.04.13 |
| nanoGPT, prepare.py (0) | 2023.03.16 |
