DATA101

📌 Text 빅데이터분석 플랫폼 베타테스트 참가자 모집 중!(네이버페이 4만 원 전원 지급) 👋 안녕하세요, 코딩이 필요 없는 AI/빅데이터 분석 All in One 플랫폼  개발팀입니다.😊 저희 서비스를 사용해 보시고 경험담을 들려주세요 :)💸 참여해 주신 "모든" 분들께 네이버페이 4만 원 쿠폰을 지급해 드립니다.👨‍💻 참여 희망 시 카톡플러스친구 1:1 채팅 or 인스타그램 DM 부탁드립니다 :)📆 참여기간 : 11/25(월)~11/29(금) 11:00~21:00 중 택1 (1시간 1타임)👉 참여장소 : 강남역 인근 스터디카페 미팅Room📍 소요시간 : 총 40분 내외(서비스 체험 및 인터뷰 포함)✅ 참가조건 : Text 빅데이터 분석 업무 경험자👉 참가 가능일정 조회하기 : ht..

📝 목차 Update Log 1. 주요 기능 2. 크롬 설치 3. 전체 코드 4. 패키지 설치 5. 코드 설명 🛠 Update Log 👏 Version 1.0.1 @ 2022-10-11 (1) 콘텐츠 조회수 및 업로드일 추출 로직 추가 Heo Jin 님 요청사항으로 추가 및 테스트 완료하였습니다. 1. 주요 기능 본 포스팅에서는 유튜브 검색 결과 콘텐츠의 정보를 수집하는 Scraper를 개발합니다. ※ Scrap이란?('더보기' 클릭) 더보기 Scrap[스크랩]은 웹 페이지에서 특정 데이터를 가져오는 행동을 말합니다. 이처럼 Data Scraping을 하는 프로그램을 Data Scraper 또는 Web Scraper라고 부릅니다. (1) 수집 데이터 종류 - 콘텐츠 제목 - 콘텐츠 링크 - 조회수 - 업..

들어가며 PySpark, 데이터 분석/엔지니어링 혹은 인공지능 분야에 관심 있으신 분들은 한 번쯤 들어보셨을 기술 스택이죠. 이번 포스팅에서는 PySaprk의 개념과 주요 기능을 이해할 수 있도록 정리하고자 합니다. 1. PySpark 개념 PySpark는 Python 환경에서 Apache Spark를 사용할 수 있는 인터페이스입니다. 즉, PySpark는 Spark용 API이기 때문에 PySpark 개념을 이해하려면 Spark에 대해 이해해야 합니다. Apache Spark 개념 Apache Spark는 대용량의 데이터를 고속으로, 효율적으로 처리하는 빅데이터 분산처리 플랫폼(Distributed Computing Platform)입니다. Apache Spark는 데이터를 하드디스크가 아닌 메모리에 캐..

변경 전 파이썬 pandas 패키지로 엑셀 파일을 불러오면 아래와 같이 파일에는 없던 칼럼이 자동으로 추가되는 것을 볼 수 있습니다. 일단 데이터를 불러온 후에 해당 칼럼을 삭제하는 방법도 있지만, 번거로운 작업을 2번에 할 필요는 없겠죠. 그래서 이번 포스팅에서는 데이터를 불러올 때부터 해당 칼럼이 자동으로 생성되는 것을 방지하는 방법에 대해 알아봅니다. 변경 후 "Unnamed: 0" 칼럼 없이 파일을 불러오는 방법은 간단합니다. read 메소드 실행 시 index_col 옵션 값을 0으로 설정하는 것입니다. dataset = pd.read_csv("데이터셋 경로", index_col = 0) dataset.head() 위와 같이 옵션을 설정하면 이제 해당 칼럼("Unnamed: 0") 없이 데이터가..

변경 방법 변경하고자 하는 칼럼들의 순서대로 아래와 같이 나열하여 작성해 주면 됩니다. 데이터프레임 = 데이터프레임[['칼럼1', '칼럼2', ...]] 변경 전 아래 예시 데이터셋에서는 appName, review_raw, date_full, date_year 칼럼 순서입니다. dataset.head() 만약 date_full, date_year 칼럼을 review_raw 앞으로 이동하고 싶다면 어떻게 하면 될까요? 변경 후 date_full, date_year 칼럼을 review_raw 칼럼보다 앞서 입력하였습니다. dataset = dataset[['appName', 'date_full', 'date_year', 'review_raw']] dataset.head() 위와 같이 정상적으로 칼럼 순서가..

🔥 목표 오늘은 파이썬 map 함수와 lambda 함수를 활용하여 데이터를 핸들링하는 방법과 이점에 대해 알아봅니다. 👨‍💻 문제 상황 예시 데이터프레임 내 특정 칼럼의 데이터를 활용하여 어떠한 연산을 거쳐 새로운 값들로 이루어진 칼럼을 새롭게 생성하고 싶다면 어떻게 해야 할까요? 구체적인 예시와 함께 알아보겠습니다. 아래와 같이 dataset이라는 데이터프레임에 yyyymmdd 형식의 date 정보가 담긴 date_full 칼럼이 있다고 가정해 보겠습니다. 만약, 아래와 같이 연도 정보만 추출하여 date_year라는 칼럼에 새롭게 저장하고 싶다면 어떻게 코드를 작성해야 할까요? 💡 해결방법 1: 반복문 활용(Bad Case ❌) 반복문을 활용하여 date_full 칼럼 내 데이터를 한 개씩 접근하여 ..

안녕하세요!오늘은 파이썬(주피터 노트북)을 기반으로 직접 코딩한 구글 플레이 스토어 웹 크롤러 코드를 공유합니다.📝 목차1.  업데이트 Log2.  주요 기능3.  전체 코드4.  필수 초기 세팅5.  코드 및 설명1.  업데이트 Log📌 Last Updated @2024-11-05업데이트 일자 기준으로 구글 플레이 스토어 App 리뷰 데이터 수집 최신 Python 코드는 추가 업데이트되지 않을 예정이며,앞으로는 아래의 DATA101 서비스를 통해 코드 한 줄 없이 App 리뷰 데이터를 수집해 보세요 :) Last Updated @2022-08-24더보기미국 구글 플레이 스토어 크롤러 추가: Github 내 dev_us 브랜치 참고Last Updated @2022-08-21더보기@K1ddong 님께서..

MySQL Shell 루트 권한 접근 터미널에 아래 명령어 입력 mysql -u root -p 루트 계정 비밀번호 입력 기존 비밀번호 입력 MySQL Shell에 루트권한으로 접근하였다면, 아래와 같이 사용자 이름과 변경할 비밀번호 입력 ALTER USER '사용자 이름'@'localhost' IDENTIFIED BY '새로운 비밀번호'; FLUSH PRIVILEGES; OK문이 나왔다면 비밀번호 변경 완료 포스팅 내용에 오류가 있다면 아래에 댓글 남겨주세요. 고맙습니다 :)