DATA101

📚 목차1. 개요 2. 데이터셋 3. LDA 토픽 모델링 개념 4. LDA 토픽 모델링 시각화 5. 전체 코드 6. 코드 설명 7. 결과 해석방법 8. 인사이트 도출1. 개요본 프로젝트에서는 건강관리 앱 리뷰 텍스트마이닝을 통해 고객의 니즈를 분석하고, 이를 바탕으로 건강관리 앱의 디자인 전략을 제안합니다. 국내 구글 플레이 스토어에서 건강관리 앱 424개에서 리뷰 54만 건을 수집하였으며, LDA 토픽 모델링을 통해 심층적으로 고객의 니즈를 분석하였습니다. 전체 코드 및 데이터셋은 Github에 업로드해 두었습니다.2. 데이터셋2.1. 사용자 리뷰한국 구글 플레이 스토어 내 건강관리 앱 424개에서 리뷰 54만 건 수집(원본: Github)데이터 수집 방법: 구글 플레이 스토어 리뷰 수집 크롤러 자체..

👨‍💻 들어가며KoNLPy와 Mecab 패키지는 기본적으로 설치되어 있다고 가정합니다. 혹시나 설치되어 있지 않다면 아래 포스팅을 참고해 주세요.https://heytech.tistory.com/3 [Python/NLP] KoNLPy 설치하는 방법에 대해 알아보자!오늘은 한국어 자연어처리(NLP)를 위한 파이썬 라이브러리 KoNLPy를 설치하는 방법을 공유합니다. 1. 터미널/커맨드라인 오픈 가장 먼저, 터미널/커맨드라인을 열어줍니다. 2. KoNLPy 패키지 설치 pip iheytech.tistory.comMecab 설치방법bash 본격적으로 에러 해결방법을 다룹니다.🤖 에러 상황from konlpy.tag import MecabMecab().nouns("헤이 테크 블로그입니다.")Mecab 형태..

📚 목차1. 코사인 유사도 개념2. 코사인 유사도 실습1. 코사인 유사도 개념코사인 유사도(Cosine Similarity)란 두 벡터 사이의 각도를 계산하여 두 벡터가 얼마나 유사한지 측정하는 척도입니다. 즉, DTM, TF-IDF, Word2Vec 등과 같이 단어를 수치화하여 표현할 수 있다면 코사인 유사도를 활용하여 문서 간 유사도를 비교하는 게 가능합니다. 코사인 유사도는 \(1\)에 가까울수록 두 벡터가 유사하다고 해석하며, 문서의 길이가 다른 경우에도 비교적 공정하게 비교할 수 있다는 장점이 있습니다. 아래 그림 1과 같이 두 벡터가 같은 방향을 가리키는, 즉 두 벡터 사이의 각도가 \(0^\circ\)일 때 코사인 유사도가 최댓값인 1을 갖습니다. \(A\), \(B\)라는 두 벡터가..

📚 목차1. N-gram 개념2. N-gram 등장 배경3. N-gram 종류 4. N-gram 기반 단어 예측 5. N-gram의 한계점1. N-gram 개념언어 모델(Language Model)은 문장 내 앞서 등장한 단어를 기반으로 이어서 등장할 적절한 단어를 예측하는 모델입니다. 언어 모델은 크게 통계학 기반의 언어 모델(Statistical Language Model, SLM)과 인공신경망(Artificial Neural Network, ANN) 기반의 언어 모델이 있습니다. N-gram은 통계학 기반의 언어 모델 중 하나입니다. N-gram 언어 모델은 이처럼 다음 단어를 예측할 때 문장 내 모든 단어를 고려하지 않고 특정 단어의 개수(\(N\))만 고려합니다. 즉, N-gram은 \(N\)..

본 포스팅에서는 통계학적 언어 모델의 개념 및 특징에 대해 알아봅니다.📚 목차1. 개념 2. 확률적 표현 3. 적용분야1. 개념1.1. 개요언어 모델(Language Model)은 문장이 얼마나 자연스러운지 확률적으로 계산함으로써 문장 내 특정 위치에 출현하기 적합한 단어를 확률적으로 예측하는 모델입니다. 더욱 쉽게 설명하자면, 언어 모델은 문장 내 앞서 등장한 단어를 기반으로 뒤에 어떤 단어가 등장해야 문장이 자연스러운지 판단하는 도구입니다.언어 모델은 크게 통계학적 언어 모델과 인공신경망 기반의 언어 모델이 있습니다. 최근에는 BERT, GPT-3와 같은 인공신경망 기반의 언어 모델의 성능이 뛰어나 대부분의 자연어처리 문제에서는 인공신경망 기반의 언어 모델을 사용합니다. 본 포스팅에서는 통계학 ..

👨‍💻 들어가며본 포스팅에서는 LDA 토픽 모델링의 개념, 가정, 알고리즘 프로세스에 대해 알아봅니다. 특히, 수학적인 수식 없이 LDA 토픽 모델링의 메커니즘을 쉬운 예시와 함께 빠르게 이해하는 데 초점을 둡니다. LDA 토픽 모델링 관련 실습은 아래 포스팅을 참고해 주시길 바랍니다.https://heytech.tistory.com/401 [NLP] LDA 토픽 모델링을 활용한 앱 리뷰 분석 프로젝트📚 목차 1. 개요 2. 데이터셋 3. LDA 토픽 모델링 개념 4. LDA 토픽 모델링 시각화 5. 전체 코드 6. 코드 설명 7. 결과 해석방법 8. 인사이트 도출 1. 개요 본 프로젝트는 건강관리 앱 리뷰 텍스트마이닝heytech.tistory.com📝 목차 1. LDA 토픽 모델링의 개념 2...