1) huggingface bert를 많이 사용
huggingface.co/transformers/notebooks.html
🤗 Transformers Notebooks
You can find here a list of the official notebooks provided by Hugging Face. Also, we would like to list here interesting content created by the community. I...
huggingface.co
2) best practice: bert를 classification에 사용
Text classification on GLUE
Run, share, and edit Python notebooks
colab.research.google.com
- 여러 class로 분류
- 일정량의 학습 데이터가 있으면
- 미리 학습된 bert model에 해당 분류기를 학습시켜서 사용
3) bert + kmeans
- 입력을 bert로 embedding 해서 사용
- 두가지 예 모두 Sentence-BERT 사용
영어 예
theaidigest.in/how-to-cluster-text-documents-using-bert/
How to cluster text documents using BERT - theaidigest.in
Cluster text documents using BERT embeddings and Kmeans. See how you can apply the K-means algorithm on the embedding to cluster documents.
theaidigest.in
한국어 예
'Computer > NLP' 카테고리의 다른 글
| python editdistance library 속도 비교(timeit) (0) | 2022.12.08 |
|---|---|
| jaro-winkler similarity(jaro-winkler distance) (0) | 2018.05.13 |
| noisy channel model and spell correction (0) | 2018.05.08 |
| Perplexity in LM (0) | 2017.01.16 |
| 논문 리뷰(한글 검색 질의어 오타 패턴 분석과 사용자 로그를 이용한 질의어 오타 교정 시스템 구축) (0) | 2016.01.11 |
