DATA101

🎉 2025년 8월, AI/빅데이터 연구개발 전문법인 DATA101 팀에서 새롭게 출시한'Youtube 댓글 데이터 분석 플랫폼'을 소개합니다. 👀 Youtube 콘텐츠마다 구독자들의 찐 반응을 댓글 빅데이터 분석을 통해 확인해 보세요! 본 플랫폼은 Youtube 콘텐츠에 달린 댓글을 분석하여 구독자들의 반응이 긍정적이었는지 혹은 부정적이었는지, 어떤 키워드와 의견을 많이 언급했는지 심층적으로 분석한 리포트를 제공합니다👨‍💻 👻 어떤 콘텐츠건 Youtube 영상 URL만 복사+붙여넣기하면 누구나 무료로 분석 리포트를 받아 보실 수 있어요!👏 지금 바로 구독자들이 컨텐츠마다 어떤 반응과 니즈를 보였는지, 개선할 점은 없는지 Data로 확인해 보세요! * 본 플랫폼은 AI/빅데이터 연구개발 전..

👏 지난 2월, 데이터워너원 팀의 AI/빅데이터분석 솔루션이 No.1 프리랜서 마켓 크몽에서 엄선한 상위 2% 전문가 서비스인 prime에 선정되었습니다.  🏆 prime은 100만 건 이상의 크몽 거래 Data를 분석하고 서비스 만족도 99% 이상인 전문가 인터뷰 및 레퍼런스 체크를 통해 엄선된 300여 명의 소수 전문가에게만 주어지는 서비스입니다.   🤝 주로 Prime 전문가는 대기업부터 스타트업, 정부기관까지 B2B 고객을 주 타겟으로 거래하는 품질보장 업체들로 구성되어 있습니다.  👨‍💻 현재 저희 데이터워너원 팀은 AI를 활용한 빅데이터분석 솔루션 구축부터 다양한 산업군의 빅데이터 분석 과제 수행을 지원해 드리고 있습니다.  🙏 AI 기술을 활용한 SW 인프라 구축이나 빅데이터 분석..

📚 목차1. 자카드 유사도 개념2. 자카드 유사고 실습1. 자카드 유사도 개념자카드 유사도(Jaccard Similarity)는 \(2\)개의 집합 \(A\), \(B\)가 있을 때 두 집합의 합집합 중 교집합의 비율입니다. 즉, 두 집합이 완전히 같을 때는 자카드 유사도가 \(1\)이며, 두 집합에 교집합이 없는 경우는 \(0\)입니다. 자카드 유사도를 \(J\)라고 할 때 두 집합 간의 자카드 유사도 수식은 아래와 같습니다. $$ J(A, B) = \frac{|A \cap B|}{|A \cup B|} = \frac{|A \cap B|}{|A| + |B| - |A \cap B|} $$ 자카드 유사도 개념을 자연어처리 분야로 그대로 가져오면, 하나의 집합이 곧 하나의 문서가 해당하는 것입니다. ..

📚 목차1. 유클리드 거리 개념2. 유클리드 거리 실습1. 유클리드 거리 개념수학적 관점 접근유클리드 거리(Euclidean Distance)는 두 점 사이의 거리를 계산하는 기법입니다. 두 점 \(p\)와 \(q\)가 각각 \((p_1, p_2, ..., p_n)\), \((q_1, q_2, ..., q_n)\) 좌표를 가질 때, 두 점 사이의 거리를 유클리드 거리 공식으로 표현하면 아래와 같습니다. $$ \sqrt{(q_1 - p_1)^2 + (q_2 - p_2)^2 + ... + (q_n - p_n)^2} = \sqrt{\displaystyle\sum_{i=1}^{n}(q_i - p_i)^2}$$ 다차원이 아닌 2차원 공간에서 유클리드 거리를 쉽게 알아보겠습니다(그림 1 참고). 두 점 \..

📚목차1. 등장배경2. 개념3. Sample 선정4. Word2Vec 성능1. 등장 배경Negative Sampling 방법은 Word2Vec의 CBOW와 Skip-gram 모두 단어 개수가 많아질수록 계산 복잡도가 증가하여 연산 속도가 저하된다는 한계점을 보완하기 위해 제안되었습니다. CBOW와 Skip-gram의 목적함수는 아래와 같습니다. $$ \mathcal{L}_{CBOW} = -\sum_{j=1}^{|V|}y_{j}log(\hat{y}) $$ $$ \mathcal{L}_{Skip-gram} = -\sum_{j=0, j\ne{m}}^{2m}\sum_{k=1}^{|V|}y_{k}^{(c-j)}\log\hat{y_{k}}^{(c-j)} $$ 수식에서 알 수 있듯이, CBOW와 Skip-..

📚목차1. 학습 데이터셋 생성 2. 인공신경망 모형 3. 학습 과정4. CBOW vs Skip-gram5. 한계점들어가며Word2Vec는 학습방식에 따라 크게 \(2\)가지로 나눌 수 있습니다: Continuous Bag of Words(CBOW)와 Skip-gram. CBOW는 주변 단어(Context Word)로 중간에 있는 단어를 예측하는 방법입니다. 여기서 중간에 있는 단어를 중심 단어(Center Word) 또는 타겟 단어(Target Word)라고 부릅니다. 반대로, Skip-gram은 중심 단어를 바탕으로 주변 단어들을 예측하는 방법입니다. 선행연구들에 따르면, 대체로 Skip-gram이 CBOW보다 성능이 우수하다고 알려져 있는데, 이에 대한 자세한 내용은 본 포스팅에 'Chapter 4..

📚 목차1. Word2Vec 개념2. 희소표현과의 차이점 3. 언어모델과의 차이점1. Word2Vec 개념Word2Vec는 Word to Vector라는 이름에서 알 수 있듯이 단어(Word)를 컴퓨터가 이해할 수 있도록 수치화된 벡터(Vector)로 표현하는 기법 중 하나입니다. 구체적으로는 분산표현(Distributed Representation) 기반의 워드임베딩(Word Embedding) 기법 중 하나입니다. 분산표현이란 분포가설(Distibutional Hypothesis) 가정 하에 저차원에 단어 의미를 분산하여 표현하는 기법입니다. 분포가설은 "유사한 문맥에 등장한 단어는 유사한 의미를 갖는다"라는 가정입니다. 여기서 단어를 벡터화하는 작업을 워드임베딩(Word Embedding)이라고..

📚 목차1. 희소표현(Sparse Representation) 2. 밀집표현(Dense Representation) 3. 워드임베딩(Word Embedding)들어가며워드 임베딩(Word Embedding)은 단어(Word)를 컴퓨터가 이해할 수 있도록 벡터로 표현하는 기법 중 하나인데, 특히 밀집표현(Dense Representation) 방식을 통해 표현하는 기법을 말합니다. 밀집표현과 반대되는 개념이 희소표현(Sparse Representation)입니다. 워드 임베딩을 이해하기에 앞서 희소표현과 밀집표현에 대해 알아봅니다.1. 희소표현(Sparse Representation)희소표현은 데이터를 벡터 또는 행렬을 기반으로 수치화하여 표현할 때 극히 일부의 인덱스만 특정 값으로 표현하고, 대부분의 ..