bangseogs

자연어처리와 인공지능으로 페이스북 글을 분류하기*내가 구현한 첫 기계학습 모델. 부족한 게 많음. 현재 상황페이스북의 어떤 그룹에는 여러 가지 글이 올라오는데, 그 중에 택시 동승자를 구하는 글들도 있다.호옥시 내일(15일.금) 저녁 9시에 택시타고 **역 가실 분 있으신가요캐리어하나있어용이런 글 들이다. 나는 여러 가지 글 중 이 글이 택시 동승자를 구하는 글인지 구분하는 classifier를 만드려고 한다. 사실 이미 있다.하지만 그건 인공지능이 아니라 정규표현식을 통해 구분하는 함수라, 예상치 못한 형식이 나오면 제대로 구분하지 못한다.(그래도 정규표현식을 이용한 분류기 정확도는 95% 이상이다) 이미 페이스북 그룹의 글들은 파싱한 상태이고, 정규표현식으로 구분한 정보도 있는 상태다python의 d..

결론은 맨 마지막데이터베이스 이전테스트 서버(A)에 실제 데이터로 구현할 것이 있어서 실제 서버(B) 데이터베이스의 일부 데이터를 옮기려고 한다.B->A로 데이터를 옮기는 작업이다. django에서는 dumpdata와 loaddata라는 명령어를 지원해주기에, sql로 접속하여 일일이 데이터를 백업할 필요가 없다. 간단하게는 다음과 같다. (B서버)$ python manage.py dumpdata > db.json(A서버)$ python manage.py loaddata db.json ' > db.json'은 db.json이라는 이름으로 백업파일을 만든다는 것이다.생략하면 default 이름으로 파일이 생긴다. 그런데 그냥 이렇게 하면 에러가 발생한다. contenttype 에러첫 번째 에러는 conte..

Ubuntu 18.04 upgrade...그 이후에 모든 python package를 다시 깔아야 했다.그건 양반이었다. 코드를 짤 때 가장 많이 사용하는 Atom에서 문제가 생겼다. 1. Atom 글자 깨짐 현상여기에 나와있는 대로, 글자가 깨져서 보인다. 글자 픽셀 하나하나 옆에 번진 것처럼 잡티가 보인다.비율을 조정하면(ctrl + 스크롤) 잘 보이는 비율이 있긴 하지만, 어떤 비율에서는 o가 p처럼 보인다.심각하다. 이 해결책은 꽤나 간단했다. stackoverflow의 답글에 나와있는 곳으로 가서 검색을 해보니 같은 현상을 겪는 사례를 발견했다.그냥 재설치하니까 됐대. 오?재설치하니까 됐다. 간단했다. 2. Atom 한글입력 / 아이콘 실행 불가우분투에서 atom 프로그램 검색 후 atom 아이..

Traceback (most recent call last): File "/home//testvenv/lib/python3.6/site-packages/konlpy/tag/_mecab.py", line 107, in __init__ self.tagger = Tagger('-d %s' % dicpath)NameError: name 'Tagger' is not definedUbuntu 18.04 MeCabKoNLPy를 사용하려다, 다른 KoNLPy의 tag들은 시간이 너무 오래 걸려서, 간단히 사용하기는 힘들었다.그래서 처리 속도가 가장 빠른 tag인 MeCab을 사용하기로 했다. KoNLPy에서 Mecab 오류위에 나온대로, KoNLPy에서 Mecab을 쓰려는데 오류가 난다. 그러면서 http://konl..

지금 다시 과거로 돌아가서 "Ubuntu 18.04로 업데이트 하시겠습니까?"를 선택한다면 "아니오"를 100번 누르겠다.하... 괜히 업데이트했다...사용하는 django의 패키지도 다 다시 깔아야하고, django에서 runserver를 하니, 이전엔 잘만 되던 것들에서 에러가 난다. 화가 난다. 자연어처리(NLP)를 위해 KoNLPy 설치아직 난 자연어처리를 어떻게 하는지 하나도 모른다.이제 나는 나처럼 아무것도 모르는 사람들을 위해 블로그 글을 쓰겠다. 나는 머신러닝을 인터넷강의로만 들었다.(Andrew Ng의 그 유명한 Machine learning 수업, 모두의 딥러닝) 내 1차 목표는, ML(머신러닝)으로 페이스북 글의 카테고리를 나누는 것이다.이미 데이터는 django를 이용한 웹사이트로 ..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.