본문 바로가기

nlp3

ChatGPT ChatGPT, 지나가는 유행일지 breakthrough일지 아직까지 잘 모르겠다. 확실한 것은 사람인지 기계인지 모를 정도의 답변이 나오고 있고 이제는 대부분의 사람들이 ChatGPT를 알고 있다는 점이다. 시간이 되는대로 관련된 정보를 정리하기 위해 ChatGPT 카테고리를 만들었다. 기술적인 부분부터 사용과 관련된 부분까지 관심있는 정보들을 정리할 예정이다. 첨부 이미지 출처: https://www.bing.com/search?q=Bing+AI&showconv=1&FORM=hpcodx 2023. 3. 7.
Bert Examples 1) huggingface bert를 많이 사용 huggingface.co/transformers/notebooks.html 🤗 Transformers Notebooks You can find here a list of the official notebooks provided by Hugging Face. Also, we would like to list here interesting content created by the community. I... huggingface.co 2) best practice: bert를 classification에 사용 colab.research.google.com/github/huggingface/notebooks/blob/master/examples/text_cla.. 2021. 4. 30.
Perplexity in LM 뭔가 아는데, 설명을 못하는 상황이라서 개념 정리한 내용입니다.지금 필요한 내용이 LM의 perplexity를 어떻게 계산할 것인지에 대한 내용이라 LM perplexity를 계산하는 관점에서 정리했습니다. Perplexity란?확률이 얼마나 샘플 데이터를 예측하고 있는지를 측정하는 방법perplexity is a measurement of how well a probability distribution or probability model predicts a sample.(https://en.wikipedia.org/wiki/Perplexity)Perplexity수식 설명b : 보통 2를 사용(왜 2를 보통으로 사용하는지는 모르겠으나, 왠지 엔트로피를 구할 때 bits로 표현 가능한 정보량을 설명하는 .. 2017. 1. 16.