DATA101

👏 지난 2월, 데이터워너원 팀의 AI/빅데이터분석 솔루션이 No.1 프리랜서 마켓 크몽에서 엄선한 상위 2% 전문가 서비스인 prime에 선정되었습니다.  🏆 prime은 100만 건 이상의 크몽 거래 Data를 분석하고 서비스 만족도 99% 이상인 전문가 인터뷰 및 레퍼런스 체크를 통해 엄선된 300여 명의 소수 전문가에게만 주어지는 서비스입니다.   🤝 주로 Prime 전문가는 대기업부터 스타트업, 정부기관까지 B2B 고객을 주 타겟으로 거래하는 품질보장 업체들로 구성되어 있습니다.  👨‍💻 현재 저희 데이터워너원 팀은 AI를 활용한 빅데이터분석 솔루션 구축부터 다양한 산업군의 빅데이터 분석 과제 수행을 지원해 드리고 있습니다.  🙏 AI 기술을 활용한 SW 인프라 구축이나 빅데이터 분석..

📚 목차 1. RNN 개념 2. RNN 수식 3. RNN 용도 1. RNN 개념 Recurrent Neural Network(RNN)은 자연어 문장과 같이 단어의 순서에 따라 의미가 달라지는 순차 데이터(Sequential Data)를 다룰 때 주로 사용되는 신경망입니다. 따라서 RNN은 단어의 어순에 따라 문장의 의미가 달라지고 앞에 어떤 단어가 쓰였는지 기억해야 뒤에 오는 단어를 예측하는 등의 문제를 풀 때 주로 활용됩니다. RNN은 Hidden Layer의 노드에서 활성화 함수(Activation Function)를 거쳐 나온 결괏값을 Output Layer로 보내면서 다시 다음 Hidden Layer 노드 계산의 입력값으로 보내는 신경망입니다. 이처럼, 결괏값이 다음 Hidden Layer 노드의..

📚 목차1. 개요 2. 데이터셋 3. LDA 토픽 모델링 개념 4. LDA 토픽 모델링 시각화 5. 전체 코드 6. 코드 설명 7. 결과 해석방법 8. 인사이트 도출1. 개요본 프로젝트에서는 건강관리 앱 리뷰 텍스트마이닝을 통해 고객의 니즈를 분석하고, 이를 바탕으로 건강관리 앱의 디자인 전략을 제안합니다. 국내 구글 플레이 스토어에서 건강관리 앱 424개에서 리뷰 54만 건을 수집하였으며, LDA 토픽 모델링을 통해 심층적으로 고객의 니즈를 분석하였습니다. 전체 코드 및 데이터셋은 Github에 업로드해 두었습니다.2. 데이터셋2.1. 사용자 리뷰한국 구글 플레이 스토어 내 건강관리 앱 424개에서 리뷰 54만 건 수집(원본: Github)데이터 수집 방법: 구글 플레이 스토어 리뷰 수집 크롤러 자체..

👨‍💻 들어가며KoNLPy와 Mecab 패키지는 기본적으로 설치되어 있다고 가정합니다. 혹시나 설치되어 있지 않다면 아래 포스팅을 참고해 주세요.https://heytech.tistory.com/3 [Python/NLP] KoNLPy 설치하는 방법에 대해 알아보자!오늘은 한국어 자연어처리(NLP)를 위한 파이썬 라이브러리 KoNLPy를 설치하는 방법을 공유합니다. 1. 터미널/커맨드라인 오픈 가장 먼저, 터미널/커맨드라인을 열어줍니다. 2. KoNLPy 패키지 설치 pip iheytech.tistory.comMecab 설치방법bash 본격적으로 에러 해결방법을 다룹니다.🤖 에러 상황from konlpy.tag import MecabMecab().nouns("헤이 테크 블로그입니다.")Mecab 형태..

📚 목차1. 프로젝트 개요 2. 개발환경 3. Pretrained 언어 모델 4. 경제 뉴스 기사 감정 데이터셋 5. 전체 소스코드 6. 코드 설명1. 프로젝트 개요Pretrained 언어 모델인 KLUE BERT-base 위에 경제 뉴스 기사의 감정이 라벨링 된 데이터셋 한국어 버전의 Finance Phrase Bank을 활용하여 파인튜닝한 감정 분류 프로젝트2. 개발환경Google Colab Pro / GPU3. Pretrained 언어 모델KLUE(Korean Language Understanding Evaluation) BERT base학습한 데이터셋연합뉴스의 뉴스 헤드라인우키피디아위키뉴스위키트리정치뉴스ParaKQC(Parallel dataset of Korean Questions and Com..

📚 목차1. 자카드 유사도 개념2. 자카드 유사고 실습1. 자카드 유사도 개념자카드 유사도(Jaccard Similarity)는 \(2\)개의 집합 \(A\), \(B\)가 있을 때 두 집합의 합집합 중 교집합의 비율입니다. 즉, 두 집합이 완전히 같을 때는 자카드 유사도가 \(1\)이며, 두 집합에 교집합이 없는 경우는 \(0\)입니다. 자카드 유사도를 \(J\)라고 할 때 두 집합 간의 자카드 유사도 수식은 아래와 같습니다. $$ J(A, B) = \frac{|A \cap B|}{|A \cup B|} = \frac{|A \cap B|}{|A| + |B| - |A \cap B|} $$ 자카드 유사도 개념을 자연어처리 분야로 그대로 가져오면, 하나의 집합이 곧 하나의 문서가 해당하는 것입니다. ..

📚 목차1. 유클리드 거리 개념2. 유클리드 거리 실습1. 유클리드 거리 개념수학적 관점 접근유클리드 거리(Euclidean Distance)는 두 점 사이의 거리를 계산하는 기법입니다. 두 점 \(p\)와 \(q\)가 각각 \((p_1, p_2, ..., p_n)\), \((q_1, q_2, ..., q_n)\) 좌표를 가질 때, 두 점 사이의 거리를 유클리드 거리 공식으로 표현하면 아래와 같습니다. $$ \sqrt{(q_1 - p_1)^2 + (q_2 - p_2)^2 + ... + (q_n - p_n)^2} = \sqrt{\displaystyle\sum_{i=1}^{n}(q_i - p_i)^2}$$ 다차원이 아닌 2차원 공간에서 유클리드 거리를 쉽게 알아보겠습니다(그림 1 참고). 두 점 \..

📚 목차1. 코사인 유사도 개념2. 코사인 유사도 실습1. 코사인 유사도 개념코사인 유사도(Cosine Similarity)란 두 벡터 사이의 각도를 계산하여 두 벡터가 얼마나 유사한지 측정하는 척도입니다. 즉, DTM, TF-IDF, Word2Vec 등과 같이 단어를 수치화하여 표현할 수 있다면 코사인 유사도를 활용하여 문서 간 유사도를 비교하는 게 가능합니다. 코사인 유사도는 \(1\)에 가까울수록 두 벡터가 유사하다고 해석하며, 문서의 길이가 다른 경우에도 비교적 공정하게 비교할 수 있다는 장점이 있습니다. 아래 그림 1과 같이 두 벡터가 같은 방향을 가리키는, 즉 두 벡터 사이의 각도가 \(0^\circ\)일 때 코사인 유사도가 최댓값인 1을 갖습니다. \(A\), \(B\)라는 두 벡터가..