Computer/LLM9 InstructGPT Evaluation https://openai.com/research/instruction-following https://arxiv.org/abs/2203.02155 instructGPT의 Evaluation에 대해 정리합니다. 위 논문에서 3.6 Evaluation 부분을 보고 이해한대로 정리한 내용입니다. 잘못 이해한 부분이 있다면 언제든지 알려주세요. Alignment 평가에서 중요한 개념 Leike et al. (2018): user intentions에 따라서 행동하는 모델을 훈련 Askell et al. (2021): helpful, honest, and harmless 되도록 정렬 instructGPT에서는 Askell과 유사한 framework를 사용 helpful 평가 모델은 1) instructions.. 2023. 4. 17. In-context Learning How does in-context learning work? A framework for understanding the differences from traditional supervised learning The official Stanford AI Lab blog ai.stanford.edu In-context Learning(이하 ICL)에 대해서 stanford blog 글을 통해 정리해 봅니다. (추가로 princeton 자료도 활용했습니다.) 정리한 내용이 잘못 됐거나 보충이 필요하다면 댓글로 남겨주세요. 참고, 본문에 있는 모든 이미지는 stanford 블로그와 princeton에 있는 내용입니다. How does in-context learning work? A framework for.. 2023. 4. 13. nanoGPT, prepare.py 오늘은 quick start에 있는 prepare.py 코드를 읽어봅니다. 코드는 아래 경로에 있습니다. data/shakespeare_char/prepare.py * 아래에서 정리된 모든 코드는 위 경로에 있는 코드입니다. 이해를 위해 옮겨 적었습니다. 경로에서도 알 수 있듯이 token 단위로 charater를 사용합니다. 전체 flow입니다. 코드에 있는 주석대로 정리하겠습니다. 1) download the tiny shakespeare dataset requests.get()를 이용해서 input.txt를 다운로드합니다. 이전에 karpathy가 char-rnn에 사용했던 tinyshakespeare 파일을 사용합니다. input_file_path = os.path.join(os.path.dir.. 2023. 3. 16. nanoGPT, readme https://github.com/karpathy/nanoGPT GitHub - karpathy/nanoGPT: The simplest, fastest repository for training/finetuning medium-sized GPTs. The simplest, fastest repository for training/finetuning medium-sized GPTs. - GitHub - karpathy/nanoGPT: The simplest, fastest repository for training/finetuning medium-sized GPTs. github.com 일단 이것부터 공부해보는 걸로... 어디서 들었는데,,, 간단하게 GPT를 공부해 볼 수 있다고 함... 한 페이지에 c.. 2023. 3. 8. 이전 1 2 3 다음
