Bert Examples

Posted 2021. 4. 30. 08:55

1) huggingface bert를 많이 사용

huggingface.co/transformers/notebooks.html

 

🤗 Transformers Notebooks

You can find here a list of the official notebooks provided by Hugging Face. Also, we would like to list here interesting content created by the community. I...

huggingface.co

2) best practice: bert를 classification에 사용

colab.research.google.com/github/huggingface/notebooks/blob/master/examples/text_classification.ipynb

 

Text classification on GLUE

Run, share, and edit Python notebooks

colab.research.google.com

- 여러 class로 분류
- 일정량의 학습 데이터가 있으면
- 미리 학습된 bert model에 해당 분류기를 학습시켜서 사용

 

3) bert + kmeans

- 입력을 bert로 embedding 해서 사용

- 두가지 예 모두 Sentence-BERT 사용

 

영어 예

theaidigest.in/how-to-cluster-text-documents-using-bert/

 

How to cluster text documents using BERT - theaidigest.in

Cluster text documents using BERT embeddings and Kmeans. See how you can apply the K-means algorithm on the embedding to cluster documents.

theaidigest.in

한국어 예

github.com/BM-K/KoSentenceBERT#clustering

Write your message and submit

symbolic link가 깨져 있는 경우에는 다음과 같이 확인하면 됨



BROKEN_LINK=$(find /path/to -type l -xtype l | wc -l)


if [ $BROKEN_LINK -gt 0 ]; then


    echo -e "CHECK BROKEN_LINK:\t$/path/to"


    error


fi


ref : https://www.commandlinefu.com/commands/view/8260/find-broken-symlinks

Write your message and submit

코딩교육 관련 사이트

Posted 2018. 8. 21. 06:25

계속 업데이트 예정


스토리코딩-목동

https://www.momjobgo.com/mjkim000/


코딩학원을 운영하시는 분 같다.

현 코딩교육에 대해 자세히 정리해놨으며, 어떤식으로 교육이 이뤄져야 할지 가늠할 수 있다.

'코딩교육' 카테고리의 다른 글

코딩교육 관련 사이트  (0) 2018.08.21
2015 개정 교육과정  (0) 2018.08.21
Write your message and submit

2015 개정 교육과정

Posted 2018. 8. 21. 06:22

현 교육시장에서 코딩교육이 어떻게 이뤄지는지 궁금해서 조사중입니다.


한참 언론에서 코딩교육이 의무교육이 됐다고 방송을 하던 때가 있었다.

관련해서 교육과정이 어떻게 변경됐는지를 확인해봤다.


본 페이지의 내용보다는 아래 링크의 전체 자료들을 하나씩 살펴보는 것이 좋다.

http://ncic.kice.re.kr/nation.revise.board.list.do?degreeCd=RVG01&boardNo=1001



- 의무교육 포함 유무


초등교육에서는 정보 과목이 17시간 이상 의무 교육하도록 포함되었다(5~6학년에 해당).

중등교육에서는 정보 과목이 의무교육으로 포함됐다.

(쉽게 생각하면 과학/기술 가정/정보 필수 과목이 됐다.)


- SW 중심으로 내용 개편


기존에 ICT 활용 교육이 SW 중심으로 변경되었다고 한다.

'코딩교육' 카테고리의 다른 글

코딩교육 관련 사이트  (0) 2018.08.21
2015 개정 교육과정  (0) 2018.08.21
Write your message and submit

프로젝트 중 알게된 edit distance 비교 방법이 있어서 정리해본다.

(사실 매번 Damerau–Levenshtein distance만 사용했었다...)



jaro similarity(jaro distance)


jaro distance는 두 단어간의 transpositions에 집중한 알고리즘이다.

(insertion, deletion, substitution은 고려하지 않음)


transposition은 간단히 위치 교환이라고 생각하면 된다.


아래와 같이 두 단어가 있을 때, transpositions은 총 2회 발생한다.

(a=> b, b => a)


word1  : a ---- b

word2 : b ---- a



jaro distance는 두 단어가 비슷할수록 1에 가까운 값을 가지고, 다를수록 0에 가까운 값을 가진다.

(두 단어가 같으면 1, 다르면 0이다)




s1, s2는 각 문자열을 의미하고

|s1|은 s1의 길이를 의미하고

m은 match된 문자 개수를 의미하고

t는 transposition이 필요한 개수의 절반을 의미한다.


ex)

CRATE, TRACE


s1의 길이는 5

s2의 길이는 5

m의 개수는 3

t는 transposition이 2번 필요한데, 그 절반이니 2/2 = 1


1/3 * ( 5/5 + 5/5 + (3-1)/3) = 0.62


추가로 matching이라고 판단하는 범위는 같은 위치이거나 혹은 아래 범위내에서만 매칭이라고 본다.

(아무래도 너무 멀리 있으면 안되서... 그런 것 같다)


jaro-winkler similarity(jaro-winkler distance)

jaro-winkler의 경우는 prefix matching에 대한 가중치를 추가한 것으로


이렇게 생겼다.

simj는 jaro distance를 의미하고
l은 prefix lengnth(최대 4)
p는 scaling factor인데 0.1이 기본값이고, 0.25가 최대값이다(0.25를 넘게 주면 similarity가 1을 넘을 수 있다).

distance를 구할 때는 dw = 1 - simw 이다.


참고

wiki : https://en.wikipedia.org/wiki/Jaro–Winkler_distance


잘 정리해놓은 블로그(한글) : http://qtqtlanakim.tistory.com/11


apache common code : http://commons.apache.org/proper/commons-text/jacoco/org.apache.commons.text.similarity/JaroWinklerDistance.java.html

Write your message and submit

겨울내내 한번도 손세차를 못하고 있다가

발수코팅을 한번 하려고 세차장을 다녀왔다.


주위에 여러 세차장이 있지만, 동글이 세차장이 깨끗해보여 다녀왔습니다.




도착한 시간이 오전 7시였는데도 사람이 많았습니다.

아마도 주말 아침이라 그런 것 같아요.


세차 주의사항을 읽고, 충전카드를 충전해서 세차를 했습니다.

충전은 10000원 충전시, 10%가 더 충전됩니다. 11000원


한번 태깅에 500원씩 결제가 되고, 기본 동작은 2000원(4번 태깅) 부터 동작합니다.



처음이라 그런지 카드태깅이 익숙하지 않아, 돈을 엄청~~ 쓰고 왔습니다.

다른 곳도 가봐야겠지만, 괜찮은 곳 같습니다.

이 장소를 Daum지도에서 확인해보세요.
경기 용인시 수지구 풍덕천동 561-2 | 동글이&HK Wash
도움말 Daum 지도

'Me > 사는 이야기' 카테고리의 다른 글

용인 수지 동글이&HK Wash 세차장 방문  (4) 2018.05.09
plex 설정하기(u+ 인터넷)  (1) 2018.05.09
판교 예스의원  (0) 2018.04.26
문제를 바라보는 깊이  (0) 2016.11.10
프라임산후조리원 근처 식당  (0) 2015.06.23
마리산부인과 근처 식당  (0) 2015.06.23
  1. 미스터최

    | 2020.03.25 12:59 | PERMALINK | EDIT | REPLY |

    최악입니다. 절대 가지마세요!!

    가볍게 셀프세차하로 20.3.24 오후 16시경 방문해서 세차를 시작했습니다.
    3천원 기본 500원 동전 투입하고 세차를 시작했습니다.

    1. 기본 물 뿌리고
    2. 중간 500*2 1000원 더 투입
    3. 거품 세차 완료하고 (잔고 시간 4분 넘게 남음)
    @문제는 여기서 부터 입니다@
    처음 방문한 저로서는 세차 매뉴얼도 모르는데 알아 보지 못 하는 글로 적혀있었고
    거품 세차 다 했을 때 4분 넘게 남아있었는데 거품제거 세차를 시작하려는데 버튼이 3개정도 있더군요 당연 3번째 버튼을 눌렀는데 거품제거 할 물이 안나와 다음버튼 눌렀죠 그런데 아무런 반응이 없어 다음 마지막 버튼을 눌렀는데 이미 남아있는 시간이 버튼 1개 눌렀을 때 기본 셋팅된 시간이 없어져 0이더군요. 헐~ 사무실로 가서 문을 열려고하니 잠겨 있었고 잠시후 스피커로 "왜그러시는데요?" 하는 말이 들리더군요ㅎㅎ 참나 제가 스피커에 말하면 들리나요? 다시 사무실로 가니 사람이 문고리 잡지 말라며 잡겨 있는 상황에서 무슨 일 이냐며 묻길래 상황 설명을 하니 사장님 왈~
    내가 일부로 그랬냐 당신이 모르고 막 눌렀으니 당신 과실이다. 내가 무엇을 해줄수 있느냐 하는겁니다. (어휘가 없어서...) 내가 과실을 따지로 온게 아니고 다시 동전을 넣으려면 기본 3000원이 필요한데 1000 뿐이다 동전을 빌려달라 거품제거 후 입금하겠다 했더니 뭘 믿고 돈을 주냐 하더군요 흥분을 참아가며 이해를 시켜드리고 동전을 받았는데 뒷 말로 돈도없이 세차를 왜하냐 무시하길래 욱 해버렸네요~ 고성이 왔다갔다 결론은 거품 그대로 차 끌고나와 다른 세차장가서 마무리했습니다.
    사장님 성품은 최악이고 세차시설 또한 사장님 그대로 입니다. 거품이 나오질 않아요 무개념 체험하시려면 방문 해보는건 좋은데 기분좋은 세차하로 가시는건 무조건 말리고 싶십니다.
    이상입니다.

  2. Spike

    | 2020.12.04 20:14 | PERMALINK | EDIT | REPLY |

    헐 요즘 개인용품 안되는 세차장이 있다니

  3. ㅇㅇ

    | 2021.01.22 16:11 | PERMALINK | EDIT | REPLY |

    저기 세차장 완전 최악임. 사장인성부터 ㅆㄺ임. 소문다났어요.

  4. 코바리

    | 2021.08.10 17:30 | PERMALINK | EDIT | REPLY |

    집과 가까워서 어쩔수 없이 이용하긴하는데 오늘부로 죽어도 이용않하기로 맹세함. 주인아들 손님보기를 벌래보듯하고(5만원 교환하려고 문두드렷더니 귀찮다는듯 처다보지도 않고 기다리라고하고 집게에 만원짜리 찍어서 문 빼꼼히 열고 손만 내보냄. 내가 코비드 환잔가?) 이용수칙 슥지 못해서 거품한상태에서 타르제거제를 바르는 극악무도한 짓을 저질렀음. 이건 내가 잘못한것임. 하지만 주인아들왈 거품이 덕지덕지인 차를 빼서 수건으로 닦던가 나가라고함... 대략난감하여 우선 차 빼고 수건으로 대충닦은후 다른 세차장으로거서 마무리 함. 추가로 충전하는 바람에 약 4만원 잔액이 있어 이제 이용않하고자 하니 환불 요청. 당 세차장 정책상 불가라고 함. 내용 고지되 있다고 보라고 하네요. 글로 쓰다고니 글재주가 미천한지라 잘 표현이 않되네요... 정말 이해가 않되는 수준으로 불친절하고 손님을 개떡으로 암. 참고들 하세요.

Write your message and submit

plex 설정하기(u+ 인터넷)

Posted 2018. 5. 9. 06:33

(현재 인터넷 설정 구조)


거실


외부선 => 인터넷 공유기 => 인터넷 + wifi + tv



외부선인지 거실선인지 잘 모르겠음 => 스위칭허브 => PC 2대에 연결


-----


이런 상황에서 plex를 외부망에 물리기 위해서 여러 시도를 해봤음...


몇몇 글들을 찾아보니 포트 포워딩에 대한 말이 많이 보여서 포트 포워딩 시도


설정 과정

1. u+ 기가 gw에 접속

2. 네트워크 관리에서 SuperDMZ 설정

3. plex 테스트(모바일, TV)


로그인을 잘하고, 맥주소 검색을 통해 SuperDMZ를 설정하면 된다.

그리고,스위칭허브가 재시작되면, plex도 재시작



일단은 성공적이다.

혹시 잘 안될까... 걱정이 되긴하지만... 좀 더 지켜보면 될 듯 하다.



(추가)


위처럼 설정하고 나니, TV에서 재생할 때 속도가 느리거나 화질이 떨어지는 경우가 있어서

방에 PC에 연결되는 스위치를 제거했다.


이렇게 제거하고 인터넷 공유기에서 super DMZ를 설정해서 사용하고 있다.

그런데... super DMZ를 설정하고 나니, 설정된 PC에서는 공유기 관리 화면이 안 들어가진다... ㅠㅠ


그래도 원본 화질로 속도 빠르게 볼 수 있는 듯... 싶다.

'Me > 사는 이야기' 카테고리의 다른 글

용인 수지 동글이&HK Wash 세차장 방문  (4) 2018.05.09
plex 설정하기(u+ 인터넷)  (1) 2018.05.09
판교 예스의원  (0) 2018.04.26
문제를 바라보는 깊이  (0) 2016.11.10
프라임산후조리원 근처 식당  (0) 2015.06.23
마리산부인과 근처 식당  (0) 2015.06.23
  1. 끄앙

    | 2020.03.12 22:13 | PERMALINK | EDIT | REPLY |

    혹시 dmz설정 대상이 plex서버 띄우는 pc를 지정하면 되는걸까요?

Write your message and submit

noisy channel model and spell correction

Posted 2018. 5. 8. 11:30

잠깐 보고 정리해봅니다...

(기억력의 한계를 극복해보고자...)


ref : https://web.stanford.edu/~jurafsky/slp3/5.pdf

일단 noisy channel model은 "original word가 noisy channel에 의해 noisy word(distorted 됐다고 표현)가 되고, 이를 decoder를 통해 original word와 가장 비슷한 것을 추측"하는 모델인데...


스펠러와 연결지어 생각해보면...


1) misspelled word : noisy word(noisy channel을 통해 distorted된 word)

2) noise는 substitutions or other changes to the letters(original word에서 distorted된 상태가 된 원인)

3) channel은 correct word를 찾아내는 model로 보면 됨


호옥시, 잘못된 내용이면 알려주세요.

적극 수정하겠습니다!

Write your message and submit

판교 예스의원

Posted 2018. 4. 26. 13:10

몸살 기운으로 급하게 찾아간 병원

처음에는 선택지가 없어서 찾아간 병원이였지만...


친절한 간호사 분들과

자세하게 물어보시는 의사선생님 덕분에 신뢰도 ++


가까운 곳에 있고, 여러 과목을 봐서 약간 미심쩍은 것도 있지만 괜찮은 곳 같다.


찾아갈 때, 주의사항은

3층에 있고요

약국은 1층에 있어요. 잘 찾아보면요...


이 장소를 Daum지도에서 확인해보세요.
경기도 성남시 분당구 삼평동 |
도움말 Daum 지도

'Me > 사는 이야기' 카테고리의 다른 글

용인 수지 동글이&HK Wash 세차장 방문  (4) 2018.05.09
plex 설정하기(u+ 인터넷)  (1) 2018.05.09
판교 예스의원  (0) 2018.04.26
문제를 바라보는 깊이  (0) 2016.11.10
프라임산후조리원 근처 식당  (0) 2015.06.23
마리산부인과 근처 식당  (0) 2015.06.23
Write your message and submit

git untrackedfiles off

Posted 2018. 2. 22. 10:03

git config --global status.showUntrackedFiles no

Write your message and submit
« PREV : 1 : 2 : 3 : 4 : ··· : 12 : NEXT »