Computer82 In-context Learning How does in-context learning work? A framework for understanding the differences from traditional supervised learning The official Stanford AI Lab blog ai.stanford.edu In-context Learning(이하 ICL)에 대해서 stanford blog 글을 통해 정리해 봅니다. (추가로 princeton 자료도 활용했습니다.) 정리한 내용이 잘못 됐거나 보충이 필요하다면 댓글로 남겨주세요. 참고, 본문에 있는 모든 이미지는 stanford 블로그와 princeton에 있는 내용입니다. How does in-context learning work? A framework for.. 2023. 4. 13. nanoGPT, prepare.py 오늘은 quick start에 있는 prepare.py 코드를 읽어봅니다. 코드는 아래 경로에 있습니다. data/shakespeare_char/prepare.py * 아래에서 정리된 모든 코드는 위 경로에 있는 코드입니다. 이해를 위해 옮겨 적었습니다. 경로에서도 알 수 있듯이 token 단위로 charater를 사용합니다. 전체 flow입니다. 코드에 있는 주석대로 정리하겠습니다. 1) download the tiny shakespeare dataset requests.get()를 이용해서 input.txt를 다운로드합니다. 이전에 karpathy가 char-rnn에 사용했던 tinyshakespeare 파일을 사용합니다. input_file_path = os.path.join(os.path.dir.. 2023. 3. 16. nanoGPT, readme https://github.com/karpathy/nanoGPT GitHub - karpathy/nanoGPT: The simplest, fastest repository for training/finetuning medium-sized GPTs. The simplest, fastest repository for training/finetuning medium-sized GPTs. - GitHub - karpathy/nanoGPT: The simplest, fastest repository for training/finetuning medium-sized GPTs. github.com 일단 이것부터 공부해보는 걸로... 어디서 들었는데,,, 간단하게 GPT를 공부해 볼 수 있다고 함... 한 페이지에 c.. 2023. 3. 8. ChatGPT ChatGPT, 지나가는 유행일지 breakthrough일지 아직까지 잘 모르겠다. 확실한 것은 사람인지 기계인지 모를 정도의 답변이 나오고 있고 이제는 대부분의 사람들이 ChatGPT를 알고 있다는 점이다. 시간이 되는대로 관련된 정보를 정리하기 위해 ChatGPT 카테고리를 만들었다. 기술적인 부분부터 사용과 관련된 부분까지 관심있는 정보들을 정리할 예정이다. 첨부 이미지 출처: https://www.bing.com/search?q=Bing+AI&showconv=1&FORM=hpcodx 2023. 3. 7. 이전 1 2 3 4 5 6 ··· 21 다음
