300x250 bigquery5 [NYC 택시 수요 예측 PJT] 6. 데이터 전처리 데이터 전처리란 모델링하고자 하는 목적에 맞고 분석하기 좋게 데이터를 다듬고 이상값을 제거하는 과정을 말한다. 데이터 전처리는 SQL(BigQuery)와 Python 둘 다에서 진행이 가능하며, SQL에서 가능한 부분은 SQL에서, SQL에서 하기 힘든 부분은 Python의 Label Encoding, One Hot Encoding을 통해 하고자 한다. 코딩에 앞서 전처리할 부분은 아래와 같다. Time data pre-processing Reverse Geocoding via BigQiery GIS Categorical data pre-processing Train-Test Split 1. Library Import import pandas as pd from sklearn.preprocessing i.. 2021. 7. 27. [NYC 택시 수요 예측 PJT] 4. 데이터 EDA - 데이터 시각화 (Time Domain) - 2 지난 포스트에 이어 이번에도 데이터 시각화를 진행하고자한다. 5. 요일별 시간대별 Trip 수 현재 데이터프레임을 다시 한번 살펴보면 현재는 1월 1일부터 시간별 Trip의 수와 날짜만을 보여준다. df.head(2) 현재 확인하고자 하는 요소들은 요일별 시간대별 Trip수이기때문에 요일, 시간 주차 정보를 추가로 데이터프레임에 추가한다. df['weekday'] = df.index.weekday #요일을 숫자로 표기 df['hour'] = df.index.hour df['weeknum'] = df.index.week #주차를 숫자로 표기 df.head() datetime모듈의 weekday()함수는 날짜의 요일 정보를 숫자값으로 0(월요일)부터 6(일요일)까지 리턴해주며, weeknum()은 주차를 숫.. 2021. 7. 14. [NYC 택시 수요 예측 PJT] 4. 데이터 EDA - 데이터 시각화 (Time Domain) - 1 EDA(Exploratory Data Analysis) - Exploratory data analysis (EDA) is used by data scientists to analyze and investigate data sets and summarize their main characteristics, often employing data visualization methods. - 탐색적 데이터 분석으로 도표(Plot), 그래포(Graph), 요약 통계(Summary Statistics)등으로 시각화하여 데이터를 다양한 각도에서 관찰하고 이해하는 과정 PJT Code for EDA 1. Library Install pip install plotly cufflinks pandas numpy seabor.. 2021. 7. 11. [NYC 택시 수요 예측 PJT] 3. BigQuery 소개 1. BigQuery - BigQuery is a serverless, cost-effective and multicloud data warehouse designed to help you turn big data into valuable business insights - 페타바이트급 이상의 데이터에 대해 스케일링 분석을 가능케 하는 완전 관리형 서버리스 컴퓨팅 데이터 웨어하우스 2. BigQuery 특징 - SQL기반으로 데이터 추출 가능 - 다른 데이터베이스는 Index 또는 서버의 성능에 따라 속도가 느리지만, BigQuery는 Index 개념이 없음 - Firebase를 사용할 경우 앱 데이터를 쉽게 획득 가능, 사용기기, 위치, OS버전, 이벤트 행동까지 획득 가능 - 서버를 따로 구축, 관리.. 2021. 7. 11. [NYC 택시 수요 예측 PJT] 1. 개요 1. 개요 모빌리티 산업의 데이터를 통해 문제를 정의하고 이를 해결하고자 함 2. 데이터세트 Google BigQuery 공개 데이터세트를 사용하며 현업에서 사용하는 데이터와 매우 유사한 형태 3. 프로젝트 목표 - BigQuery(SQL)을 활용한 클라우드 환경에 익숙해질 수 있으며, SQL 쿼리문을 사용해 Feature를 만드는 방법 학습 - 머신러닝 모델링의 베이스라인과 개선 방법 학습 2021. 7. 11. 이전 1 다음 300x250
