DATA101

💡 들어가며 본 포스팅에서는 데이터를 월 단위로 카운팅하고 이를 시각화하는 방법을 소개합니다. 1. 패키지 import import pandas as pd import numpy as np import matplotlib.pyplot as plt 2. 데이터셋 불러오기 포스팅에서 사용되는 데이터셋은 공유가 불가하오니 학습 목적으로만 봐주시길 바랍니다. DATASET = pd.read_csv('./dataset_app_review.csv') DATASET.head() 3. 데이터 타입 확인 DATASET.dtypes 아래와 같이, 날짜 정보(date)는 현재 정수형(int)입니다. 편리하게 날짜형 데이터를 처리하기 위하여 이를 datetime 타입으로 바꿔줄 필요가 있습니다. 4. 데이터 타입 변경 "연-..

💡 들어가며 Numpy 패키지의 where 함수를 사용하면 데이터프레임에서 특정 조건에 맞는 인덱스를 찾거나, 해당 인덱스의 값을 쉽게 바꿀 수 있습니다. 기본적으로 numpy 패키지 설치 및 import는 필수입니다. !pip install numpy import numpy as np 1. 조건에 맞는 인덱스 반환 아래와 같이 조건문을 입력하면, 조건에 해당되는 인덱스를 반환합니다. np.where(조건문) 아래와 같은 데이터셋이 있을 때, THK 칼럼 내 값이 30보다 큰 값의 인덱스를 조회해 보면 아래와 같습니다. np.where(30 < DATASET_RAW['THK']) 2. 조건에 따라 데이터 인코딩 아래와 같이, 조건문과 함께 조건문이 참 혹은 거짓일 경우 각각 데이터를 변환할 값을 입력해 ..

💡 들어가며데이터프레임 내 문자열 한 글자까지 완벽하게 일치하는 원소를 찾는지 혹은 일부 글자라도 일치하는 원소를 찾을지에 따라 사용해야 할 함수가 나뉩니다(아래 표 참고).No.함수활용방안1replace()완벽하게 일치하는 단어를 찾아 바꾸는 경우2str.replace()일부 단어라도 일치하는 단어를 찾아 바꾸는 경우함수별로 각각 자세히 알아봅니다.📚 목차1. replace 함수 1) 기본 사용방법 2) 여러 문자열 동시 변경 3) 특정 칼럼 데이터 변경 4) 원본 데이터 변경옵션(inplace)2. str.replace 함수1) 기본 사용방법내장 함수 replace는 데이터프레임 내 특정 문자열과 완벽하게 일치하는 데이터를 모두 찾아 변경합니다.df.replace('현재 ..

📌 들어가며본 포스팅에서는 Boxplot를 해석하는 방법에 대해 알아봅니다.아래 그림 1과 같이 세로축은 특정 값의 범위를 나타내고, 이 범위 내에서 데이터는 주로 파란색 박스 안에 분포합니다. 파란색 박스 가운데 노란색 직선으로 표시한 부분이 데이터의 중앙값(Median)이 됩니다.박스 최상단은 제3 사분위수(Q3, 75th percentile), 최하단은 제1 사분위수(Q1, 25th percentile)입니다. 사분위수(Quantile)란 전체 데이터를 오름차순 정렬한 다음 25%씩 동일한 비율로 데이터를 나눈 것입니다. 즉, 제1 사분위수(Q1)는 가장 작은 데이터부터 전체 중 25% 비율만큼의 데이터를(25%) 의미하고, 제3 사분위수(Q3)는 중앙값(50%)에서부터 25% 비율만큼의 데이터를..

📝 목차 Update Log 1. 주요 기능 2. 크롬 설치 3. 전체 코드 4. 패키지 설치 5. 코드 설명 🛠 Update Log 👏 Version 1.0.1 @ 2022-10-11 (1) 콘텐츠 조회수 및 업로드일 추출 로직 추가 Heo Jin 님 요청사항으로 추가 및 테스트 완료하였습니다. 1. 주요 기능 본 포스팅에서는 유튜브 검색 결과 콘텐츠의 정보를 수집하는 Scraper를 개발합니다. ※ Scrap이란?('더보기' 클릭) 더보기 Scrap[스크랩]은 웹 페이지에서 특정 데이터를 가져오는 행동을 말합니다. 이처럼 Data Scraping을 하는 프로그램을 Data Scraper 또는 Web Scraper라고 부릅니다. (1) 수집 데이터 종류 - 콘텐츠 제목 - 콘텐츠 링크 - 조회수 - 업..

들어가며 PySpark, 데이터 분석/엔지니어링 혹은 인공지능 분야에 관심 있으신 분들은 한 번쯤 들어보셨을 기술 스택이죠. 이번 포스팅에서는 PySaprk의 개념과 주요 기능을 이해할 수 있도록 정리하고자 합니다. 1. PySpark 개념 PySpark는 Python 환경에서 Apache Spark를 사용할 수 있는 인터페이스입니다. 즉, PySpark는 Spark용 API이기 때문에 PySpark 개념을 이해하려면 Spark에 대해 이해해야 합니다. Apache Spark 개념 Apache Spark는 대용량의 데이터를 고속으로, 효율적으로 처리하는 빅데이터 분산처리 플랫폼(Distributed Computing Platform)입니다. Apache Spark는 데이터를 하드디스크가 아닌 메모리에 캐..