DATA101

본 포스팅에서는 TF-IDF 개념 및 계산 방법에 대해 알아봅니다.📚 목차1. TF-IDF 개념 2. TF-IDF 계산방법 2.1. TF(Term Frequency) 2.2. DF(Document Frequency) 2.3. IDF(Inverse Document Frequency) 1. TF-IDF 개념TF-IDF(Term Frequency-Inverse Document Frequency)는 Document Term Matrix(DTM) 내 단어마다 중요도를 고려하여 가중치를 주는 통계적인 단어 표현방법입니다. DTM에 대한 자세한 설명은 이곳을 참고해 주세요.TF-IDF는 단어의 중요도를 고려하기 때문에, 일반적으로 단순히 문서 내 단어의 출현빈도만 고려하는 DTM보다 문서..

본 포스팅에서는 카운트 기반의 단어 표현방법 중 하나인 문서 단어 행렬(DTM)의 개념에 대해 알아봅니다.📚 목차1. DTM 개념 2. DTM 예시 3. DTM 한계점1. DTM 개념문서 단어 행렬(Document-Term Maxtrix, DTM)은 다수의 문서 데이터(=Corpus)에서 등장한 모든 단어의 출현 빈도수(frequency)를 행렬로 표현한 것입니다. 즉, DTM은 다수의 문서 데이터에 대한 Bag of Words(BoW)를 행렬로 표현한 것입니다. DTM은 국소 표현(Local Representation) 또는 이산 표현(Discrete Representation)의 일종으로 카운트 기반의 단어 표현방법입니다.2. DTM 예시DTM 예시를 들어보겠습니다. 아래와 같이 4개의 문서가 있다..

본 포스팅에서는 카운트 기반의 단어 표현 방법인 Bag of Words(BoW) 개념과 생성 방법을 알아봅니다.📚 목차1. BoW 개념2. BoW 특징3. BoW 생성 절차4. BoW 생성 실습1. BoW 개념Bag of Words(BoW)는 단어를 수치화하는 방법 중 하나로, 문서 내 단어의 순서와 의미는 고려하지 않고 오직 출현 빈도(frequency)만 고려하여 단어를 표현하는 방법입니다. BoW는 국소 표현방법(Local Representation) 또는 이산 표현방법(Discrete Representation)의 일종으로 카운트 기반의 단어 표현방법(Count-based Word Representation)이라고 부릅니다(그림 1 참고).2. BoW 특징BoW는 어떤 단어들이 몇 회..

👨‍💻 들어가며본 포스팅에서는 LDA 토픽 모델링의 개념, 가정, 알고리즘 프로세스에 대해 알아봅니다. 특히, 수학적인 수식 없이 LDA 토픽 모델링의 메커니즘을 쉬운 예시와 함께 빠르게 이해하는 데 초점을 둡니다. LDA 토픽 모델링 관련 실습은 아래 포스팅을 참고해 주시길 바랍니다.https://heytech.tistory.com/401 [NLP] LDA 토픽 모델링을 활용한 앱 리뷰 분석 프로젝트📚 목차 1. 개요 2. 데이터셋 3. LDA 토픽 모델링 개념 4. LDA 토픽 모델링 시각화 5. 전체 코드 6. 코드 설명 7. 결과 해석방법 8. 인사이트 도출 1. 개요 본 프로젝트는 건강관리 앱 리뷰 텍스트마이닝heytech.tistory.com📝 목차 1. LDA 토픽 모델링의 개념 2...