[KoNLPy] 은전한닢(mecab) 사용자 사전 추가하기

📚 mecab 사용자 사전

기본적으로 mecab은 제공하는 사전 외에 , 사용자가 직접 입력해서 형태소를 입력해서 단어를 인식할 수 있도록 하는 '사용자 사전'을 제공합니다. 기존 사전에 다양한 단어들이 있지만, 생각보다 원하는 대로 검색이 안되는 경우가 있는데, 이 때 사용자 사전을 사용하면 mecab을 더 다양하게 활용할 수 있습니다.

 

 

❗️목표: 문장 내에 있는 '의약품명'을 NNP 태그로 추출할 수 있었으면 좋겠다.

 

 

먼저 mecab-ko-dic 폴더로 들어가서 ls로 해당 디렉토리에 있는 폴더를 확인합니다.

여기서 user-dic 디렉토리로 들어가봅시다.

 

cd mecab-ko-dic-2.1.1-20180720
ls 
cd user-dic

위에 EC, NNP, NNG.csv 등은 mecab-ko-dic에서 기본적으로 제공하는 단어사전들입니다.

여기서 사용자가 개인 사전을 추가하려면 user-dic 디렉토리로 들어가서 파일을 추가하면 됩니다.

NNP(고유명사) 등의 형태소 품사를 나타내는 태그 이름은 다음 사이트에서 확인해주세요.

 

🔖 한글 형태소 품사태그 :http://kkma.snu.ac.kr/documents/?doc=postag

꼬꼬마, 한글 형태소 분석기 (Kind Korean Morpheme Analyzer, KKMA)

 

 

👩‍💻 사용자 사전 입력하기

user-dic에 들어가서 nnp.csv로 들어가면 기본적으로 대우, 구글 등 예시 단어가 등록되어 있는데요, 현재는 졸업 프로젝트를 위해 기존 데이터를 삭제하고 의약품명 데이터를 저장한 화면입니다.

굳이 user-dic/nnp.csv가 아니더라도 vi 파일명.csv를 통해 얼마든지 새로운 파일들을 만들 수 있습니다.

👆NNP 고유명사 태그와 함께 의약품명을 입력한 사용자 사전입니다. 하지만 이상한 부호나 숫자들도 같이 포함되어 있네요! 

이 문장들은 mecab에서 사용자 사전을 입력할 때 필요한 레코드 구조입니다.

 

단어, 좌문맥ID, 우문맥ID, 가중치(단어비용), 품사태그, 의미분류, 종성유무, 타입, 첫 품사, 마지막 품사, 표현

입력해야 하는 것들은 단어, 품사태그, 의미분류, 종성유무, 타입 정도입니다.

 

품사태그는 위에서 봤던 대로 NNP, NNG, VV 등의 태그를 의미하고

종성유무는 받침이 있으면 T, 없으면 F로 적어줍니다.

타입은 단어를 읽었을 때의 원래 발음을 적으면 되는데, 편의상 단어와 똑같이 넣었습니다.

 

의미분류는 이 단어가 지명인지 인명인지 판별하는 자리로, 의약품명은 둘 중 어느것도 해당하지 않아서 *으로 처리하였습니다.

 

🔗품사 태그 설명 문서: https://docs.google.com/spreadsheets/d/1-9blXKjtjeKZqsf4NzHeYJCrr49-nXeRF6D80udfcwY/edit#gid=6

mecab-ko-dic 품사 태그 설명

 

입력을 완료했으면, esc -> :wp 저장을 하고 나와서 이전 디렉토리로 돌아간 다음, 

다음 명령어를 실행해줍니다.

추가된 사용자 사전 내용을 반영하는 과정입니다.

 

cd ..
tools/add-userdic.sh
(make clean은 선택)
sudo make install

다음과 같은 문장이 나오면 사용자 사전 반영 성공입니다❗️

 

make install 성공 시 나타나는 문장❗️

 

👩‍🔬 사용자 사전 테스트해보기

mecab -d /usr/local/lib/mecab/dic/mecab-ko-dic

 

 

 

 

 

🤔하지만 여전히 문제점은 남아있습니다. 

사용자 사전에 '아스피린'을 NNP로 입력했는데, 막상 테스트해보면 NNG로 나오는 경우가 있습니다.

이런 경우는 기존의 사전 데이터에서 'NNG인 아스피린'의 단어비용이 더 크기 때문인데요.

이를 조정하는 방법은 다음 포스팅에서 다루도록 하겠습니다❗️