DATA101

👏 지난 2월, 데이터워너원 팀의 AI/빅데이터분석 솔루션이 No.1 프리랜서 마켓 크몽에서 엄선한 상위 2% 전문가 서비스인 prime에 선정되었습니다.  🏆 prime은 100만 건 이상의 크몽 거래 Data를 분석하고 서비스 만족도 99% 이상인 전문가 인터뷰 및 레퍼런스 체크를 통해 엄선된 300여 명의 소수 전문가에게만 주어지는 서비스입니다.   🤝 주로 Prime 전문가는 대기업부터 스타트업, 정부기관까지 B2B 고객을 주 타겟으로 거래하는 품질보장 업체들로 구성되어 있습니다.  👨‍💻 현재 저희 데이터워너원 팀은 AI를 활용한 빅데이터분석 솔루션 구축부터 다양한 산업군의 빅데이터 분석 과제 수행을 지원해 드리고 있습니다.  🙏 AI 기술을 활용한 SW 인프라 구축이나 빅데이터 분석..

📚 들어가며본 포스팅에서는 파이썬 pandas 사용 시 데이터프레임 전체 행과 열 조회 방법을 소개합니다.💡상황판다스 통해 엑셀 파일 조회 시 기본값으로는 일부 행과 열이 숨김처리 되는 현상이 발생합니다(그림 1).# 미설치 시 pip install pandasimport pandas as pddf = pd.read_excel(filepath+filename, sheet_name = 'Sheet2')df.head()✅ 해결방법해결방법은 간단합니다. 아래와 같이 판다스 옵션을 변경해 주면 됩니다.1) 모든 열 출력아래의 명령어만 실행해 주면 모든 열을 조회할 수 있습니다(그림 2).pd.set_option('display.max_columns', None)2) 모든 행 출력유사하게 모든 행 출력하는 명..

💡 들어가며 Numpy 패키지의 where 함수를 사용하면 데이터프레임에서 특정 조건에 맞는 인덱스를 찾거나, 해당 인덱스의 값을 쉽게 바꿀 수 있습니다. 기본적으로 numpy 패키지 설치 및 import는 필수입니다. !pip install numpy import numpy as np 1. 조건에 맞는 인덱스 반환 아래와 같이 조건문을 입력하면, 조건에 해당되는 인덱스를 반환합니다. np.where(조건문) 아래와 같은 데이터셋이 있을 때, THK 칼럼 내 값이 30보다 큰 값의 인덱스를 조회해 보면 아래와 같습니다. np.where(30 < DATASET_RAW['THK']) 2. 조건에 따라 데이터 인코딩 아래와 같이, 조건문과 함께 조건문이 참 혹은 거짓일 경우 각각 데이터를 변환할 값을 입력해 ..

💡 들어가며데이터프레임 내 문자열 한 글자까지 완벽하게 일치하는 원소를 찾는지 혹은 일부 글자라도 일치하는 원소를 찾을지에 따라 사용해야 할 함수가 나뉩니다(아래 표 참고).No.함수활용방안1replace()완벽하게 일치하는 단어를 찾아 바꾸는 경우2str.replace()일부 단어라도 일치하는 단어를 찾아 바꾸는 경우함수별로 각각 자세히 알아봅니다.📚 목차1. replace 함수 1) 기본 사용방법 2) 여러 문자열 동시 변경 3) 특정 칼럼 데이터 변경 4) 원본 데이터 변경옵션(inplace)2. str.replace 함수1) 기본 사용방법내장 함수 replace는 데이터프레임 내 특정 문자열과 완벽하게 일치하는 데이터를 모두 찾아 변경합니다.df.replace('현재 ..

📚 목차1. 자카드 유사도 개념2. 자카드 유사고 실습1. 자카드 유사도 개념자카드 유사도(Jaccard Similarity)는 \(2\)개의 집합 \(A\), \(B\)가 있을 때 두 집합의 합집합 중 교집합의 비율입니다. 즉, 두 집합이 완전히 같을 때는 자카드 유사도가 \(1\)이며, 두 집합에 교집합이 없는 경우는 \(0\)입니다. 자카드 유사도를 \(J\)라고 할 때 두 집합 간의 자카드 유사도 수식은 아래와 같습니다. $$ J(A, B) = \frac{|A \cap B|}{|A \cup B|} = \frac{|A \cap B|}{|A| + |B| - |A \cap B|} $$ 자카드 유사도 개념을 자연어처리 분야로 그대로 가져오면, 하나의 집합이 곧 하나의 문서가 해당하는 것입니다. ..

📚 목차1. 유클리드 거리 개념2. 유클리드 거리 실습1. 유클리드 거리 개념수학적 관점 접근유클리드 거리(Euclidean Distance)는 두 점 사이의 거리를 계산하는 기법입니다. 두 점 \(p\)와 \(q\)가 각각 \((p_1, p_2, ..., p_n)\), \((q_1, q_2, ..., q_n)\) 좌표를 가질 때, 두 점 사이의 거리를 유클리드 거리 공식으로 표현하면 아래와 같습니다. $$ \sqrt{(q_1 - p_1)^2 + (q_2 - p_2)^2 + ... + (q_n - p_n)^2} = \sqrt{\displaystyle\sum_{i=1}^{n}(q_i - p_i)^2}$$ 다차원이 아닌 2차원 공간에서 유클리드 거리를 쉽게 알아보겠습니다(그림 1 참고). 두 점 \..

📚 목차1. 코사인 유사도 개념2. 코사인 유사도 실습1. 코사인 유사도 개념코사인 유사도(Cosine Similarity)란 두 벡터 사이의 각도를 계산하여 두 벡터가 얼마나 유사한지 측정하는 척도입니다. 즉, DTM, TF-IDF, Word2Vec 등과 같이 단어를 수치화하여 표현할 수 있다면 코사인 유사도를 활용하여 문서 간 유사도를 비교하는 게 가능합니다. 코사인 유사도는 \(1\)에 가까울수록 두 벡터가 유사하다고 해석하며, 문서의 길이가 다른 경우에도 비교적 공정하게 비교할 수 있다는 장점이 있습니다. 아래 그림 1과 같이 두 벡터가 같은 방향을 가리키는, 즉 두 벡터 사이의 각도가 \(0^\circ\)일 때 코사인 유사도가 최댓값인 1을 갖습니다. \(A\), \(B\)라는 두 벡터가..

📌 들어가며본 포스팅에서는 Boxplot를 해석하는 방법에 대해 알아봅니다.아래 그림 1과 같이 세로축은 특정 값의 범위를 나타내고, 이 범위 내에서 데이터는 주로 파란색 박스 안에 분포합니다. 파란색 박스 가운데 노란색 직선으로 표시한 부분이 데이터의 중앙값(Median)이 됩니다.박스 최상단은 제3 사분위수(Q3, 75th percentile), 최하단은 제1 사분위수(Q1, 25th percentile)입니다. 사분위수(Quantile)란 전체 데이터를 오름차순 정렬한 다음 25%씩 동일한 비율로 데이터를 나눈 것입니다. 즉, 제1 사분위수(Q1)는 가장 작은 데이터부터 전체 중 25% 비율만큼의 데이터를(25%) 의미하고, 제3 사분위수(Q3)는 중앙값(50%)에서부터 25% 비율만큼의 데이터를..