redshift(2)
-
Airflow ETL 환경 구축
* uv 기반 가상환경 사용도커 환경 (MySQL)docker run -d \ --name airflow-mysql \ -e MYSQL_ROOT_PASSWORD=0000 \ -e MYSQL_DATABASE=airflow_db \ -e MYSQL_USER=airflow \ -e MYSQL_PASSWORD=airflow_pass \ -p 3306:3306 \ mysql:8.0MySQL 예제 쿼리 및 데이터 입력CREATE TABLE users ( user_id INT PRIMARY KEY, name VARCHAR(50), age INT, country VARCHAR(50));INSERT INTO users (user_id, name, age, country) VALUES ..
2025.10.08 -
데이터 웨어하우스 및 Airflow 자동화
📘 Airflow를 활용한 ETL 자동화: MySQL → S3 → Redshift데이터 파이프라인 자동화를 위한 Airflow 기반 ETL 구축 튜토리얼(UI 연동 직전까지 전체 구조 완성)1️⃣ ETL 개념 정리ETL은 Extract → Transform → Load 3단계를 거쳐 데이터를 수집하고 정제해 데이터 웨어하우스(DWH)로 옮기는 과정입니다.2️⃣ 아키텍처 구조┌───────────┐ ┌────────────┐ ┌────────────┐ ┌──────────────┐│ MySQL DB │ → │ Extract │ → │ Transform │ → │ Load (S3) │└───────────┘ └────────────┘ └────────────┘ ..
2025.10.06