[NYC 택시 수요 예측 PJT] 3. BigQuery 소개

1. BigQuery

- BigQuery is a serverless, cost-effective and multicloud data warehouse designed to help you turn big data into valuable business insights

- 페타바이트급 이상의 데이터에 대해 스케일링 분석을 가능케 하는 완전 관리형 서버리스 컴퓨팅 데이터 웨어하우스

 

2. BigQuery 특징

- SQL기반으로 데이터 추출 가능

- 다른 데이터베이스는 Index 또는 서버의 성능에 따라 속도가 느리지만, BigQuery는 Index 개념이 없음

- Firebase를 사용할 경우 앱 데이터를 쉽게 획득 가능, 사용기기, 위치, OS버전, 이벤트 행동까지 획득 가능

- 서버를 따로 구축, 관리할 필요가 없음

 

3. BigQuery 문법

#LegacySQL : 과거에 주로 사용하던 문법

#StandardSQL : 최근에 주로 사용하는 문법, BigQuery 표준

 

3-1) 용도별 명령어

데이터 선택 : SELECT

데이터조작 (DML : Data Manipulation Language) : INSERT, UPDATE, DELETE

데이터 정의 (DDL : Data Definition Language) : CREATE, ALTER, DROP

 

3-2) SELECT의 구조

SELECT [컬럼 이름] 

FROM [테이블 이름]

WHERE [조건]

GROUP BY [그룹화할 컬럼]

HAVING [그룹화한 뒤 컬럼]

LIMIT [제한할 개수]

행렬 (Row, Column)	Column 1	Column 2	Column 3
Row 1
Row 2
Row 3

 

3-3) 응용

- SELECT, FROM

- SELECT, FROM, WHERE

- SELECT, FROM, WHERE, GROUP BY

- SELECT, FROM, WHERE, GROUP BY, HAVING, LIMIT

 4. BigQueiry 시간 데이터 함수

DATE : Date만 표시하는 데이터, 2021-07-11

DATETIME : Date와 Time까지 표시하는 데이터, Time Zone 정보 없음, 2021-07-11 14:00:00

(※ DATETIME으로 시간을 변경하고 싶을 경우 변경하고 싶은 Time Zone을 꼭 명시해야 함)

TIME : 날짜와 무관하게 시간만 표시하는 데이터, 20:45:00.00

TIMESTAMP : 마이크로초 단위 정밀도를 갖는 절대 시점, Time Zone 정보 있음, 2021-07-11 14:00:00 UTC

 

Google BigQuery 페이지에서 다양한 함수 참고 가능

 

 

Reference 

BigQuery 의 모든 것 - 입문편

BigQuery의 모든 것(기획자, 마케터, 신입 데이터 분석가를 위한) 입문편