Dani's Stack141 InstructGPT Evaluation https://openai.com/research/instruction-following https://arxiv.org/abs/2203.02155 instructGPT의 Evaluation에 대해 정리합니다. 위 논문에서 3.6 Evaluation 부분을 보고 이해한대로 정리한 내용입니다. 잘못 이해한 부분이 있다면 언제든지 알려주세요. Alignment 평가에서 중요한 개념 Leike et al. (2018): user intentions에 따라서 행동하는 모델을 훈련 Askell et al. (2021): helpful, honest, and harmless 되도록 정렬 instructGPT에서는 Askell과 유사한 framework를 사용 helpful 평가 모델은 1) instructions.. 2023. 4. 17. In-context Learning How does in-context learning work? A framework for understanding the differences from traditional supervised learning The official Stanford AI Lab blog ai.stanford.edu In-context Learning(이하 ICL)에 대해서 stanford blog 글을 통해 정리해 봅니다. (추가로 princeton 자료도 활용했습니다.) 정리한 내용이 잘못 됐거나 보충이 필요하다면 댓글로 남겨주세요. 참고, 본문에 있는 모든 이미지는 stanford 블로그와 princeton에 있는 내용입니다. How does in-context learning work? A framework for.. 2023. 4. 13. nanoGPT, prepare.py 오늘은 quick start에 있는 prepare.py 코드를 읽어봅니다. 코드는 아래 경로에 있습니다. data/shakespeare_char/prepare.py * 아래에서 정리된 모든 코드는 위 경로에 있는 코드입니다. 이해를 위해 옮겨 적었습니다. 경로에서도 알 수 있듯이 token 단위로 charater를 사용합니다. 전체 flow입니다. 코드에 있는 주석대로 정리하겠습니다. 1) download the tiny shakespeare dataset requests.get()를 이용해서 input.txt를 다운로드합니다. 이전에 karpathy가 char-rnn에 사용했던 tinyshakespeare 파일을 사용합니다. input_file_path = os.path.join(os.path.dir.. 2023. 3. 16. 안식일기, 안식휴가를 마무리하며 안식휴가가 끝났다. 시간이 더 흐르기 전에 안식휴가에 대해서 정리해 본다. 안식휴가 때 무엇을 했고, 무엇이 아쉽고 좋았는지 정리하면서 이번 안식휴가를 마무리해 본다. 한 일 여행을 다녀왔다. 나트랑, 충주 부모님 댁을 다녀왔다. 멀어서 자주 가지 못하는데, 안식휴가라 마음을 좀 편하게 다녀왔다. 피부과 시술을 받았다. 언젠가 받아야지 했었다. 고질적인 통증 치료를 시작했다. 손 저림을 치료했다. 직업병이다. 맛집을 다녀왔다. 주변에 한 번 가봐야지 했던 곳을 다녀왔다. 아무것도 안하기 정말 아무것도 안했다. 아쉬운 점 가장 아쉬운 점은 감기가 심하게 걸려서 안식휴가의 절반을 요양해야 했다는 점이다. 안식휴가가 절반쯤 지날 때부터 심한 감기에 걸렸다. 약을 먹고 약을 바꿔서 먹어보기도 하고 푹 쉬었지만 .. 2023. 3. 15. 이전 1 2 3 4 5 6 ··· 36 다음
