Dani's Stack141 오늘의 생각 "큰 배에 맞서러는 작은 배가 되지 말고, 큰 배의 선원이 되라." 잠을 설치던 중에 갑자기 떠오른 생각입니다.어디선가 들어본 것 같기도 하고, 아니면 제가 새로 생각한 말인 것 같기도 하고...나중에 한번 더 생각해볼만한 말인 듯 싶어 적어둡니다. 2017. 1. 18. Perplexity in LM 뭔가 아는데, 설명을 못하는 상황이라서 개념 정리한 내용입니다.지금 필요한 내용이 LM의 perplexity를 어떻게 계산할 것인지에 대한 내용이라 LM perplexity를 계산하는 관점에서 정리했습니다. Perplexity란?확률이 얼마나 샘플 데이터를 예측하고 있는지를 측정하는 방법perplexity is a measurement of how well a probability distribution or probability model predicts a sample.(https://en.wikipedia.org/wiki/Perplexity)Perplexity수식 설명b : 보통 2를 사용(왜 2를 보통으로 사용하는지는 모르겠으나, 왠지 엔트로피를 구할 때 bits로 표현 가능한 정보량을 설명하는 .. 2017. 1. 16. 문제를 바라보는 깊이 어떤 문제를 마주할 때, 그 문제는 그 사람이 가진 깊이 만큼 보인다.어떤 사람에게는 아주 간단한 문제일 수 있고어떤 사람에게는 조금은 복잡할 수 있는 문제일 수 있다. 그 깊이를 더해갈 때, 비로소 문제를 제대로 볼 수 있게 된다. 문제를 제대로 볼 수 있을 때, 정확히 해결할 수 있다. 2016. 11. 10. CNN case study 강의 : https://youtu.be/KbNbWTnlYXs 이번 스터디는 CNN에 대한 연구 사례이다.각각의 방법들이 어떻게 network을 구성하는지를 알 수 있다. 사실, layer 구성이 왜 이렇게 하는지 잘 이해되지 않는다.아래 유명한 분들이 어떤 network를 제안했는지가 있는데, 시간이 된다면 하나하나 봐야 겠다. LeNet-5 [LeCun et al., 1998] AlexNet [krizhevsky et al., 2012] GoogLeNet [Szegedy et al., 2014] ResNet [He et al., 2015]=> 3.6 % top 5 error Convolutional Neural Networks for Sentence Classification [Yoon kim, 201.. 2016. 6. 14. 이전 1 ··· 6 7 8 9 10 11 12 ··· 36 다음