DATA101

본 포스팅에서는 Python pandas 패키지를 활용하여 결측치를 확인하고 제거하는 방법에 대해 다룹니다. 👨‍💻 들어가며 기본적으로 pandas 설치 및 import는 되어 있고 원하는 데이터셋도 불러왔다고 가정합니다. pandas 패키지 설치 !pip install pandas !pip install openpyxl # excel 파일 불러오기 위함 # pipenv 가상환경용 # !pipenv install pandas # !pipenv install openpyxl pandas 패키지 import import pandas as pd 데이터셋 Load dataset_raw = pd.read_excel("./data/dataset_raw.xlsx") 1. 결측치 확인 결측치 개수를 확인하는 방법은 크..

📌 Text 빅데이터분석 플랫폼 베타테스트 참가자 모집 중!(네이버페이 4만 원 전원 지급) 👋 안녕하세요, 코딩이 필요 없는 AI/빅데이터 분석 All in One 플랫폼  개발팀입니다.😊 저희 서비스를 사용해 보시고 경험담을 들려주세요 :)💸 참여해 주신 "모든" 분들께 네이버페이 4만 원 쿠폰을 지급해 드립니다.👨‍💻 참여 희망 시 카톡플러스친구 1:1 채팅 or 인스타그램 DM 부탁드립니다 :)📆 참여기간 : 11/25(월)~11/29(금) 11:00~21:00 중 택1 (1시간 1타임)👉 참여장소 : 강남역 인근 스터디카페 미팅Room📍 소요시간 : 총 40분 내외(서비스 체험 및 인터뷰 포함)✅ 참가조건 : Text 빅데이터 분석 업무 경험자👉 참가 가능일정 조회하기 : ht..

📌 Text 빅데이터분석 플랫폼 베타테스트 참가자 모집 중!(네이버페이 4만 원 전원 지급) 👋 안녕하세요, 코딩이 필요 없는 AI/빅데이터 분석 All in One 플랫폼  개발팀입니다.😊 저희 서비스를 사용해 보시고 경험담을 들려주세요 :)💸 참여해 주신 "모든" 분들께 네이버페이 4만 원 쿠폰을 지급해 드립니다.👨‍💻 참여 희망 시 카톡플러스친구 1:1 채팅 or 인스타그램 DM 부탁드립니다 :)📆 참여기간 : 11/25(월)~11/29(금) 11:00~21:00 중 택1 (1시간 1타임)👉 참여장소 : 강남역 인근 스터디카페 미팅Room📍 소요시간 : 총 40분 내외(서비스 체험 및 인터뷰 포함)✅ 참가조건 : Text 빅데이터 분석 업무 경험자👉 참가 가능일정 조회하기 : ht..

📚 목차 Step 1. Github 리포지토리 준비 Step 2. Access 토큰 생성 Step 3. 코랩의 드라이브 마운트 Step 4. Github 커밋용 폴더 생성 Step 5. 디렉토리 변경 Step 6. Git 클론 Step 7. Git 접근권한 부여 Step 8. Commit 테스트 Step 1. Github 리포지토리 준비 구글 코랩(Google Colab)과 연동할 리포지토리(Repository)를 준비합니다(그림 1). Step 2. Access 토큰 생성 Step 2-1. 개인 Setting 콘솔 접근 우측 상단 프로필 클릭 - Settings 순으로 클릭합니다(그림 2). Step 2-2. Personal access tokens 접근 좌측에 Personal access tokens..

📚 목차 1. MFA 개념 2. AWS MFA 활성화 1. MFA 개념 다중 인증(MFA: Multi-Factor Authentication)은 말 그대로 서비스에 액세스 할 때 최소 2가지 이상의 인증을 받게끔 한 액세스 제어 방식입니다. 예를 들어, 인터넷 뱅킹 로그인 시 보안 강화를 위하여 OTP(One Time Password)를 사용하는 것도 MFA 방식 중 하나라고 볼 수 있습니다(그림 1). 아마존웹서비스(AWS)의 루트 계정은 보안이 무엇보다 중요합니다. 루트 계정이 탈취당할 시 서비스 제어권을 완전히 잃어버리는 것은 물론이고, 해커의 비트코인 채굴에 활용되며 과금 폭탄을 받을 수 있기 때문입니다. 따라서 루트 계정 사용을 최대한 자제하는 것이 좋으며, 로그인 시 2개 이상의 인증 절차를 ..

📚 목차 1. 루트 사용자의 개념 2. IAM 사용자의 개념 👨‍💻 들어가며 아마존웹서비스(AWS)에는 아래와 같이 2가지 종류의 계정이 존재합니다(그림 1 참고). 루트 계정 IAM 계정 본 포스팅에서는 2가지 사용자별 개념에 대해 각각 알아봅니다. 1. 루트 사용자의 개념 AWS 루트 사용자는 회원가입 시 만든 계정으로서 모든 AWS 권한을 갖고 있는 사용자입니다. 이 계정은 탈취당할 시 복구가 매우 어려울 뿐만 아니라, 최근에는 해커들이 비트코인 채굴에 AWS 계정을 착취하여 사용하기 때문에 상상을 초월하는 과금폭탄을 맞을 수 있습니다. 실제로 최근 국내에서 AWS 계정이 해킹을 당하여 과금만 3억이 나온 사례도 있습니다. 따라서, 루트 사용자는 계정 설정을 변경하거나 과금 관리(i.e., Bill..

📚 목차 1. AWS EC2 개념 2. AWS 기본 세팅 3. AWS EC2 사용방법 1. AWS EC2 개념 AWS EC2는 Elastic Compute Cloud의 약자로 독립된 가상의 컴퓨터를 임대해 주는 웹 서비스입니다. 물리적인 컴퓨터가 아닌 리눅스, 윈도우와 같은 OS가 설치된 가상 머신을 빌려주는 것이기 때문에 사용자는 원격으로 해당 컴퓨터를 제어하여 사용할 수 있습니다. 이러한 가상 머신을 인스턴스(Instance)라고 부릅니다. AWS EC2는 사용목적이나 예산에 맞춰 메모리, 스토리지, 네트워크 성능 등의 인스턴스 스펙을 선택할 수 있습니다(참고). AWS EC2는 인스턴스 시작과 제거(컴퓨터 임대/반납)의 절차가 매우 간편합니다. 만약 더이상 인스턴스가 필요하지 않으면 언제든지 간편하..

👨‍💻 들어가며 본 포스팅에서는 딥러닝 분야에서 하이퍼파라미터 최적화 방법 3가지인 Grid Search, Random Search, Bayesian Optimization에 대해 알아봅니다. 📚 목차 1. Grid Search 2. Random Search 3. Bayesian Optimization 1. Grid Search 그리드 서치(Grid Search)는 하이퍼파라미터를 일정한 간격으로 변경하며 최적의 파라미터를 찾아가는 기법입니다. 아래의 그림 1처럼 가로축이 하이퍼파라미터이고 세로축이 목표함수일 때, 목표함수 값이 최대가 되는 하이퍼파라미터를 찾는 문제를 풀어야 한다고 가정해 보겠습니다. 그리드 서치는 특정 범위 내에서 하이퍼파라미터를 일정 값만큼 일일이 변경하며 출력값을 비교하는 방식으로..