서비스 개요Service: bigquery.googleapis.comEndpoint: https://bigquery.googleapis.comDiscovery Document: 보기Google BigQuery REST API는 데이터를 생성, 관리, 공유, 쿼리할 수 있는 강력한 데이터 플랫폼입니다.주요 API 리소스 요약📁 v2.datasets메서드HTTP 요청설명deleteDELETE /bigquery/v2/projects/{projectId}/datasets/{datasetId}지정 데이터셋 삭제getGET /bigquery/v2/projects/{projectId}/datasets/{datasetId}데이터셋 정보 반환insertPOST /bigquery/v2/projects/{projectId..

* uv 기반 가상환경 사용​도커 환경 (MySQL)docker run -d \ --name airflow-mysql \ -e MYSQL_ROOT_PASSWORD=0000 \ -e MYSQL_DATABASE=airflow_db \ -e MYSQL_USER=airflow \ -e MYSQL_PASSWORD=airflow_pass \ -p 3306:3306 \ mysql:8.0MySQL 예제 쿼리 및 데이터 입력CREATE TABLE users ( user_id INT PRIMARY KEY, name VARCHAR(50), age INT, country VARCHAR(50));INSERT INTO users (user_id, name, age, country) VALUES ..

📘 Airflow를 활용한 ETL 자동화: MySQL → S3 → Redshift데이터 파이프라인 자동화를 위한 Airflow 기반 ETL 구축 튜토리얼(UI 연동 직전까지 전체 구조 완성)1️⃣ ETL 개념 정리ETL은 Extract → Transform → Load 3단계를 거쳐 데이터를 수집하고 정제해 데이터 웨어하우스(DWH)로 옮기는 과정입니다.2️⃣ 아키텍처 구조┌───────────┐ ┌────────────┐ ┌────────────┐ ┌──────────────┐│ MySQL DB │ → │ Extract │ → │ Transform │ → │ Load (S3) │└───────────┘ └────────────┘ └────────────┘ ..

📝 네이버 & 공공데이터 API 활용하기1. 왜 API를 활용할까? (목적)데이터를 수집할 때 직접 크롤링을 하면 한계가 많다.크롤링 대상 웹사이트가 변경되면 코드도 바꿔야 함로봇 차단, 속도 제한 등 제약 존재이때 API(Application Programming Interface)를 활용하면, 공식적으로 제공되는 데이터를 가져올 수 있다.예를 들어, 네이버 검색 API를 활용하면 뉴스, 블로그, 책 정보 등을 원하는 조건으로 가져올 수 있고, 공공데이터 API를 활용하면 정부·기관이 공개한 교통, 날씨, 환경 데이터를 쉽게 받아올 수 있다.2. API의 기본 동작 원리 (개념)API를 활용하는 절차URL 구성API 문서에서 제시하는 형식에 맞게 요청 URL을 만든다.예: 검색어, 인증키, 옵션(페이..

모험의 순간 (MOMENT OF VOYAGE) 드디어 멋쟁이사자처럼 13기 중앙해커톤이 끝났다..나는 사실 참가자로 참여하지 않았고 나의 부대표와 전체적인 관리와 애들의 질의응답을 위주로 맡았다. 하지만 이번 8월 해커톤이 당일이 오기전까지 서경대학교의 부대표로써 어떤 운영을 하고 어떠한 성장을 했는지 회고록을 좀 남겨보려고 한다. (ㅎㅎ 하반기도 남긴 했지만 중앙해커톤이 멋사의 flower이니까~) 중앙해커톤을 하기 전에 기획이 한명 나가버리는 바람에 원래 계획했던 인원이 맞지 않아버렸다.. 초반에 총 기획 인원에 맞춰 아기사자를 뽑았는데 (중앙해커톤의 인원을 최대 7명까지 가능하다는 가정으로..) 기획이 나가버림으로써 공석이 생겨버렸다... 하지만 우리에겐 아이디어 뱅크 백엔드 아기사자 ㅅㅅㅎ씨 덕분..

JavaScript 회원가입/로그인/회원 조회 시스템이번 포스팅은 JavaScript만으로 회원가입, 로그인, 회원정보 조회 기능을 만드는 과제 예시입니다. 데이터베이스 없이 새로고침 전까지 가입정보를 배열에 저장하며 로그인·조회 기능을 제공합니다. (실제 서비스용이 아니라 학교 과제 목적이므로 참고용으로만 사용 바랍니다!)회원 정보 관리 객체 예시// 사용자 관리 객체 (회원가입, 로그인, 회원정보 조회)const UserManagement = { users: [], signUp() { let post_member = prompt("아이디 비밀번호 이름을 입력하시오"); let words = post_member.split(' '); if (words.length !== 3) { ..