배우자고

Google BigQuery REST API

컴퓨터와 하나가 된다. — Sat, 11 Oct 2025 09:44:23 +0900

서비스 개요

Service: bigquery.googleapis.com
Endpoint: https://bigquery.googleapis.com
Discovery Document: 보기

Google BigQuery REST API는 데이터를 생성, 관리, 공유, 쿼리할 수 있는 강력한 데이터 플랫폼입니다.

주요 API 리소스 요약

v2.datasets

메서드	HTTP 요청	설명
delete	`DELETE /bigquery/v2/projects/{projectId}/datasets/{datasetId}`	지정 데이터셋 삭제
get	`GET /bigquery/v2/projects/{projectId}/datasets/{datasetId}`	데이터셋 정보 반환
insert	`POST /bigquery/v2/projects/{projectId}/datasets`	빈 데이터셋 생성
list	`GET /bigquery/v2/projects/{projectId}/datasets`	프로젝트의 모든 데이터셋 나열
patch	`PATCH /bigquery/v2/projects/{projectId}/datasets/{datasetId}`	데이터셋 정보 부분 수정
undelete	`POST /bigquery/v2/projects/{projectId}/datasets/{datasetId}:undelete`	삭제 복구(윈도우 내)
update	`PUT /bigquery/v2/projects/{projectId}/datasets/{datasetId}`	전체 정보 수정

datasets API 문서

v2.jobs

메서드	HTTP 요청	설명
cancel	`POST /bigquery/v2/projects/{projectId}/jobs/{jobId}/cancel`	작업 취소 요청
delete	`DELETE /bigquery/v2/projects/{projectId}/jobs/{jobId}`	작업 메타데이터 삭제
get	`GET /bigquery/v2/projects/{projectId}/jobs/{jobId}`	작업 정보 반환
getQueryResults	`GET /bigquery/v2/projects/{projectId}/queries/{jobId}`	쿼리 결과 조회
insert	`POST /bigquery/v2/projects/{projectId}/jobs`	비동기 작업 시작
list	`GET /bigquery/v2/projects/{projectId}/jobs`	모든 작업 목록 나열
query	`POST /bigquery/v2/projects/{projectId}/queries`	동기 쿼리 실행 및 결과

jobs API 문서

v2.models

메서드	HTTP 요청	설명
delete	`DELETE /bigquery/v2/projects/{projectId}/datasets/{datasetId}/models/{modelId}`	모델 삭제
get	`GET /bigquery/v2/projects/{projectId}/datasets/{datasetId}/models/{modelId}`	모델 정보 반환
list	`GET /bigquery/v2/projects/{projectId}/datasets/{datasetId}/models`	모든 모델 목록
patch	`PATCH /bigquery/v2/projects/{projectId}/datasets/{datasetId}/models/{modelId}`	모델 일부 필드 수정

models API 문서

v2.projects

메서드	HTTP 요청	설명
getServiceAccount	`GET /bigquery/v2/projects/{projectId}/serviceAccount`	서비스 계정 정보 반환
list	`GET /bigquery/v2/projects`	프로젝트 목록 나열

projects API 문서

v2.routines

메서드	HTTP 요청	설명
delete	`DELETE /bigquery/v2/projects/{projectId}/datasets/{datasetId}/routines/{routineId}`	루틴 삭제
get	`GET /bigquery/v2/projects/{projectId}/datasets/{datasetId}/routines/{routineId}`	루틴 정보 반환
getIamPolicy	`POST /bigquery/v2/{resource=projects//datasets//routines/*}:getIamPolicy`	IAM 정책 조회
insert	`POST /bigquery/v2/projects/{projectId}/datasets/{datasetId}/routines`	새 루틴 생성
list	`GET /bigquery/v2/projects/{projectId}/datasets/{datasetId}/routines`	루틴 목록 나열
setIamPolicy	`POST /bigquery/v2/{resource=projects//datasets//routines/*}:setIamPolicy`	IAM 정책 설정
testIamPermissions	`POST /bigquery/v2/{resource=projects//datasets//routines/*}:testIamPermissions`	IAM 권한 테스트
update	`PUT /bigquery/v2/projects/{projectId}/datasets/{datasetId}/routines/{routineId}`	루틴 전체 정보 수정

routines API 문서

기타

v2.rowAccessPolicies: 테이블 행 접근 정책 관리
v2.tabledata: 테이블 데이터 삽입 및 조회
v2.tables: 테이블 생성, 관리, 수정, 삭제

참고 자료

Airflow ETL 환경 구축

컴퓨터와 하나가 된다. — Wed, 8 Oct 2025 11:58:51 +0900

* uv 기반 가상환경 사용

도커 환경 (MySQL)

docker run -d \
  --name airflow-mysql \
  -e MYSQL_ROOT_PASSWORD=0000 \
  -e MYSQL_DATABASE=airflow_db \
  -e MYSQL_USER=airflow \
  -e MYSQL_PASSWORD=airflow_pass \
  -p 3306:3306 \
  mysql:8.0

MySQL 예제 쿼리 및 데이터 입력

CREATE TABLE users (
    user_id INT PRIMARY KEY,
    name VARCHAR(50),
    age INT,
    country VARCHAR(50)
);

INSERT INTO users (user_id, name, age, country) VALUES
  (1, 'Alice', 25, 'US'),
  (2, 'Bob', 32, 'KR'),
  (3, 'Charlie', 29, 'JP'),
  (4, 'David', 40, 'US'),
  (5, 'Eunji', 27, 'KR');

위 docker run 명령어로 MySQL 8.0 컨테이너를 생성하고, 예제 쿼리로 users 테이블과 샘플 데이터를 구성했습니다.

ETL_Project

[ETL_tutorial GitHub 바로가기]
(https://github.com/Jindongleee/ETL_tutorial#etl_project)

Extract(운영DB, 데이터포털, SNS) → Transform(Pandas, Spark ML, Spark, Hadoop) → Load(S3, AWS Redshift, GCP BigQuery, HBase) 사용예정

airflow 보안 이슈 .env 사용

cd [project 위치]
export $(cat .env | xargs)   # airflow.cfg 파일 lite 버전 덮어씌우기 위함
airflow db migrate
airflow api-server --port
airflow triggler
airflow dag-processor

반드시 가상환경과 파일이 ~/airflow/dags 에 존재해야 함(감시 위치)
위 명령어 안쓰고 airflow standalone 일단 사용 예정

Flow

-- Airflow --
Mysql dump → transform (pandas) → load to s3 → copy s3 to redshift

Airflow Connection 설정

Mysql_default
(docker create → mysql, MacOS/Ubuntu → default IPv6 따라서 localhost가 아닌 IPv4 127.0~로 설정)

host: 127.0.0.1
port: 3306
db: ariflow_db

AWS_S3_default, IAM (AmazonS3FullAccess 생성)

AWS Access Key ID = IAM Access Key
AWS Secret Access Key = IAM Secret Key
추가 필드 JSON:
{ "region_name": "ap-northeast-2" }

redshift_default, IAM role 생성\\ (AmazonS3ReadOnlyAccess, 퍼블릭 모드로 전환 필요)

host: redshift 작업그룹 엔드포인트
User: 네임스페이스 user
pwd: 네임스페이스 작업 토글 관리자 보안
port: 5439
db: 네임스페이스 DB 이름
추가 필드 JSON:
{ "sslmode": "require" }

결과 Redshift → query editor v2

*다음 시간에는 Transform을 Transform에 대해 자세히 다뤄보도록 하겠습니다
\ 질문에 답변 달아드립니다!

데이터 웨어하우스 및 Airflow 자동화

컴퓨터와 하나가 된다. — Mon, 6 Oct 2025 23:48:53 +0900

Airflow를 활용한 ETL 자동화: MySQL → S3 → Redshift

데이터 파이프라인 자동화를 위한 Airflow 기반 ETL 구축 튜토리얼
(UI 연동 직전까지 전체 구조 완성)

1️⃣ ETL 개념 정리

ETL은 Extract → Transform → Load 3단계를 거쳐 데이터를 수집하고 정제해 데이터 웨어하우스(DWH)로 옮기는 과정입니다.

2️⃣ 아키텍처 구조

┌───────────┐    ┌────────────┐    ┌────────────┐    ┌──────────────┐
│ MySQL DB │ → │  Extract   │ → │ Transform  │ → │  Load (S3)   │
└───────────┘    └────────────┘    └────────────┘    └──────────────┘
                                                         │
                                                         ↓
                                               ┌────────────────┐
                                               │ Redshift (DWH) │
                                               └────────────────┘

Airflow는 이 전체 파이프라인의 스케줄링 및 자동화 오케스트레이션을 담당합니다.

3️⃣ 사용 기술 스택

Airflow 3.1.0 : ETL 스케줄링 및 자동화
MySQL : 운영 DB (데이터 원본)
AWS S3 : 중간 데이터 저장소
Amazon Redshift : 최종 데이터 웨어하우스
Python (pandas) : 데이터 전처리

4️⃣ Airflow 프로젝트 구조

~/airflow/
├── airflow.cfg            # Airflow 설정 파일
├── dags/                  # DAG 파일 저장 폴더
│   └── etl_redshift.py    # ETL DAG 정의 파일
├── logs/                  # Task 로그
└── airflow.db             # Airflow 내부 DB

Airflow는 airflow.cfg의 [core] dags_folder 설정을 지속적으로 감시하며,
해당 폴더의 .py 파일에서 DAG 정의를 자동으로 등록합니다.

5️⃣ .env 환경 설정

IAM=arn:aws:iam:::role/...

6️⃣ ETL DAG 코드 (etl_redshift.py)

Import 및 초기 설정

from airflow import DAG
from airflow.operators.python import PythonOperator
from airflow.providers.amazon.aws.hooks.s3 import S3Hook
from airflow.providers.postgres.hooks.postgres import PostgresHook
from airflow.providers.mysql.hooks.mysql import MySqlHook
from datetime import datetime
import pandas as pd
from dotenv import load_dotenv
import os

file_path = 'redshift_users.csv'
load_dotenv()
aws_iam = os.getenv("IAM")

Step 1: Extract (MySQL → CSV)

def extract_mysql(**context):
    mysql = MySqlHook(mysql_conn_id='mysql_default')
    df = mysql.get_pandas_df('SELECT * FROM users;')
    df.to_csv(file_path, index=False)
    context['ti'].xcom_push(key='file_path', value=file_path)

Step 2: Transform (데이터 전처리)

def transform_data(**context):
    file_path = context['ti'].xcom_pull(key='file_path', task_ids='extract')
    df = pd.read_csv(file_path)
    # 데이터 정제
    df["name"] = df["name"].str.upper()
    df = df.fillna({"country": "UNKNOWN"})
    transformed_path = "users_clean.csv"
    df.to_csv(transformed_path, index=False)
    context['ti'].xcom_push(key="transformed_path", value=transformed_path)

Step 3: Load (S3 적재)

def load_to_s3(**context):
    transformed_path = context['ti'].xcom_pull(key='transformed_path', task_ids='transform')
    s3 = S3Hook(aws_conn_id="aws_default")
    bucket_name = 'etl-tutorial-of-eddy'
    key = 'users/users_clean.csv'
    s3.load_file(filename=transformed_path, bucket_name=bucket_name, key=key, replace=True)
    context['ti'].xcom_push(key='s3_path', value=f's3://{bucket_name}/{key}')

Step 4: Copy (Redshift 적재)

def copy_to_redshift(**context):
    s3_path = context['ti'].xcom_pull(key='s3_path', task_ids='load')
    redshift = PostgresHook(postgres_conn_id='redshift_default')
    conn = redshift.get_conn()
    cur = conn.cursor()

    # 테이블 생성
    cur.execute("""
        CREATE TABLE IF NOT EXISTS users(
            user_id INT,
            name VARCHAR(50),
            age INT,
            country VARCHAR(50)
        );
    """)

    # S3에서 Redshift로 COPY
    copy_sql = f"""
        COPY users
        FROM '{s3_path}'
        IAM_ROLE '{aws_iam}'
        CSV IGNOREHEADER 1;
    """
    cur.execute(copy_sql)
    conn.commit()
    cur.close()

DAG 정의 및 의존성 설정

with DAG(
    dag_id="etl_redshift",
    start_date=datetime(2025, 10, 6),
    schedule="@daily",
    catchup=False
) as dag:

    extract = PythonOperator(task_id="extract", python_callable=extract_mysql)
    transform = PythonOperator(task_id="transform", python_callable=transform_data)
    load = PythonOperator(task_id="load", python_callable=load_to_s3)
    copy = PythonOperator(task_id="copy", python_callable=copy_to_redshift)

    # Task 의존성 정의
    extract >> transform >> load >> copy

다음 편 예고

Airflow 내부 구조 완전 해부 — Scheduler, Triggerer, DagProcessor의 역할과 상호작용

공공데이터 API로 데이터 수집

컴퓨터와 하나가 된다. — Thu, 2 Oct 2025 14:22:28 +0900

네이버 & 공공데이터 API 활용하기

1. 왜 API를 활용할까? (목적)

데이터를 수집할 때 직접 크롤링을 하면 한계가 많다.

크롤링 대상 웹사이트가 변경되면 코드도 바꿔야 함
로봇 차단, 속도 제한 등 제약 존재

이때 API(Application Programming Interface)를 활용하면, 공식적으로 제공되는 데이터를 가져올 수 있다.

예를 들어, 네이버 검색 API를 활용하면 뉴스, 블로그, 책 정보 등을 원하는 조건으로 가져올 수 있고, 공공데이터 API를 활용하면 정부·기관이 공개한 교통, 날씨, 환경 데이터를 쉽게 받아올 수 있다.

2. API의 기본 동작 원리 (개념)

API를 활용하는 절차

URL 구성
- API 문서에서 제시하는 형식에 맞게 요청 URL을 만든다.
- 예: 검색어, 인증키, 옵션(페이지 수, 출력 건수 등)을 쿼리 파라미터로 붙임.
요청(Request)
- requests.get() 또는 requests.post() 같은 방식으로 요청을 보낸다.
응답(Response)
- 서버가 JSON 형식으로 데이터를 반환한다.
파싱(Parsing)
- JSON 데이터를 파이썬의 dict나 list로 변환해서 다룬다.
활용
- 필요한 값만 뽑아 리스트/DB에 저장하거나 시각화·분석에 활용한다.

3. 간단한 예시 코드 (Python)

import requests
import json  

# 네이버 뉴스 검색 API URL  
url = "https://openapi.naver.com/v1/search/news.json"  
headers = {  
    "X-Naver-Client-Id": "YOUR_CLIENT_ID",  
    "X-Naver-Client-Secret": "YOUR_CLIENT_SECRET"  
}  

# 요청 보내기 (검색어: 데이터엔지니어)  
response = requests.get(url, headers=headers, params={"query": "데이터엔지니어"})  

# 응답을 JSON 형태로 변환  
data = response.json()  

# 기사 제목만 추출해서 리스트에 담기  
titles = [item["title"] for item in data["items"]]  
print(titles)

위 코드는 네이버 뉴스 검색 API를 활용하여 "데이터엔지니어"라는 키워드의 기사 제목만 뽑아오는 예시

Client ID와 Client Secret을 네이버 개발자 센터에서 발급받아야 합니다.

추가로 공부하면 좋은 것들
• REST API 기본 구조 (GET, POST, PUT, DELETE)
• JSON 데이터 구조 다루기 (dict, list, key/value 탐색)
• requests 라이브러리 활용 심화 (status code, 에러 처리, timeout 설정)
• 공공데이터 API 인증키 발급 및 사용 방법

2025 멋쟁이사자처럼 해커톤 회고록

컴퓨터와 하나가 된다. — Fri, 5 Sep 2025 23:30:22 +0900

모험의 순간 (MOMENT OF VOYAGE)

드디어 멋쟁이사자처럼 13기 중앙해커톤이 끝났다..

나는 사실 참가자로 참여하지 않았고 나의 부대표와 전체적인 관리와 애들의 질의응답을 위주로 맡았다.

하지만 이번 8월 해커톤이 당일이 오기전까지 서경대학교의 부대표로써 어떤 운영을 하고 어떠한 성장을 했는지 회고록을 좀 남겨보려고 한다. (ㅎㅎ 하반기도 남긴 했지만 중앙해커톤이 멋사의 flower이니까~)

중앙해커톤을 하기 전에 기획이 한명 나가버리는 바람에 원래 계획했던 인원이 맞지 않아버렸다.. 초반에 총 기획 인원에 맞춰 아기사자를 뽑았는데 (중앙해커톤의 인원을 최대 7명까지 가능하다는 가정으로..) 기획이 나가버림으로써 공석이 생겨버렸다... 하지만 우리에겐 아이디어 뱅크 백엔드 아기사자 ㅅㅅㅎ씨 덕분에 (백엔드 + 기획 하이브리드 형 인간 정말 감사합니다) 운영이 되었고 정말 감사해요~

열심히 팀 구성을 하고 결과를 보며 깨달은 점을 몇가지 적어보려고 한다.

배움과 모험

나는 배움이라는 것은 결국 “결핍”에서 비롯된다고 생각한다. 모든 것이 완벽하게 준비되어 있고, 순리대로만 흘러간다면 배움의 자리는 줄어들 수밖에 없다. 오히려 어떤 자리가 비어 있을 때, 그 공백을 채우기 위해 모두가 힘을 모으고 누군가가 힘들어할 때 함께 도우며 문제를 해결해 나가는 그 순간 속에서 진정한 배움과 깨달음이 찾아온다. 그래서 나는 결핍이 단순한 부족함이 아니라 배움을 만들어내는 원동력이라고 여긴다. 이번 이야기를 꺼내게 된 계기도 사실상 팀 구성을 하면서 겪었던 경험 때문이다.

작년에 내가 속해 있던 팀은 특이한 상황이었다. 운영진이 단 한 명도 없는, 중앙 해커톤 경험이 전혀 없는 아기사자들만으로 이루어진 팀이었다. 즉 우리에겐 "운영진" 부재의 결핍.. 처음 이 사실을 알았을 때는 솔직히 실망스러웠다. ‘아, 나보다 더 잘하는 운영진이 있으면 많이 배우면서 좋은 결과물을 낼 수 있을 텐데…’ 하는 아쉬움이 앞섰다. 그러나 시간이 멈춰주지 않는 이상 우리는 결국 우리만의 방식으로 문제를 풀어나가야 했다. 서버 배포부터 프로젝트 관리까지 발로 뛰어다니며 (ㄹㅇ 발로 뜀 누군가를 찾아가야됨) 부딪히고 배우는 과정은 쉽지 않았지만 그만큼 절실했고 그래서 더 빠르게 성장할 수 있었다. 지금 와서 돌이켜보면 만약 운영진이 있는 편안한 팀이었다면 나는 그렇게까지 간절하게 배움에 매달리지 않았을지도 모른다. 부족한 사람들이 모였기에 서로의 빈틈을 메우려는 노력이 배움으로 이어졌고 그 과정에서 성장의 가능성을 몸소 느낄 수 있었다.

편하지도 않고, 안전하지도 않은 길을 택해 우리만의 목표를 향해 달려가는 것. 그것이야말로 모험이라고 생각한다. 다만 완전히 무모한 모험이 아니라, 어디선가 믿을 수 있는 끈이 조금이라도 존재해야 한다. 나는 대표단 활동을 하면서 그런 환경을 만들고 싶었다. 그래서 중앙 해커톤 팀을 구성할 때도 운영진이 없는 아기사자들끼리 팀을 꾸리게 했다. 물론 자칫 잘못하면 누군가는 불만을 품고 팀을 떠날 수도 있는 위험한 선택이었다.

그렇기에 우리는 더 일찍부터 준비했다. 단순히 해커톤을 위한 팀 구성이 아니라, 우리가 소속감을 가질 수 있는 기반을 마련해야 했다. 그래서 올해 2월부터 ‘우리만의 해자’를 만들었다. 여기서 말하는 해자는 멋쟁이사자처럼이라는 조직에 대한 소속감과 자부심이다. 구성원들이 “우리는 혼자가 아니고, 같은 가치를 공유하는 집단에 속해 있다”는 감각을 갖도록 다양한 활동을 준비했고, 그 노력이 결국 해커톤에서도 힘을 발휘했다. 그 결과, 무려 우리 학교에서 3팀이 예선에 진출했으며, 그중에는 아기사자들만으로 이루어진 팀도 있었다. 더 놀라운 건 본선까지 올라갔다는 사실이다. 이 성과는 단순히 대회 결과 이상의 의미를 가진다. 나는 내 나름의 배움과 성장을 챙길 수 있었고, 무엇보다 팀원들이 스스로 성장했다고 말해줄 때 그 어떤 보상보다 값진 기쁨을 느낄 수 있었다.

나만의 모험

나에게 이런 환경을 만드는 일 자체가 하나의 모험이었다. 조직의 유지와 성장을 동시에 이끌어가려는 시도는 결코 안전한 선택이 아니었다. 언제든 실패할 수 있고, 팀이 와해될 수도 있는 위험을 내포하고 있었으니까. 하지만 나는 그 불완전함 속에서 진짜 배움이 태어난다고 믿었다.

돌아보면, 2년 동안 멋쟁이사자처럼 활동을 하면서 아기사자 시절부터 부대표까지 위치에 따라 전혀 다른 깨달음을 얻을 수 있었다. 그 모든 경험이 지금의 나를 만들었고 함께 고민하고 결정해준 동료들 덕분에 가능했다. 특히 언제나 나와 뜻을 함께하며 무거운 고민을 나눠준 우리 대표(ㅅㅎㅇ)에게 진심으로 감사하다. 이 회고록을 마무리하며 그 고마움과 함께 이제는 새로운 모험을 향해 한 걸음을 내딛고자 한다.

우리 서경대학교 13기 멋쟁이사자처럼 모두 사랑해

JavaScript 회원가입

컴퓨터와 하나가 된다. — Mon, 3 Jun 2024 19:15:06 +0900

JavaScript 회원가입/로그인/회원 조회 시스템

이번 포스팅은 JavaScript만으로 회원가입, 로그인, 회원정보 조회 기능을 만드는 과제 예시입니다. 데이터베이스 없이 새로고침 전까지 가입정보를 배열에 저장하며 로그인·조회 기능을 제공합니다. (실제 서비스용이 아니라 학교 과제 목적이므로 참고용으로만 사용 바랍니다!)

회원 정보 관리 객체 예시

// 사용자 관리 객체 (회원가입, 로그인, 회원정보 조회)
const UserManagement = {
  users: [],

  signUp() {
    let post_member = prompt("아이디 비밀번호 이름을 입력하시오");
    let words = post_member.split(' ');
    if (words.length !== 3) {
      alert("올바른 형식으로 입력해 주세요 (아이디 비밀번호 이름)");
      return;
    }
    const Post = { id: words[0], pw: words[1], name: words[2] };
    for (let i = 0; i < this.users.length; i++) {
      if (Post.id === this.users[i].id) {
        alert("아이디 중복으로 인해 회원가입이 어렵습니다");
        return;
      }
    }
    this.users.push(Post);
    alert("회원가입이 완료되었습니다!");
  },

  signIn() {
    let get_member = prompt("아이디 비밀번호 입력하시오");
    let words = get_member.split(' ');
    if (words.length !== 2) {
      alert("올바른 형식으로 입력해 주세요 (아이디 비밀번호)");
      return;
    }
    const Get = { id: words[0], pw: words[1] };
    for (let i = 0; i < this.users.length; i++) {
      if (Get.id === this.users[i].id && Get.pw === this.users[i].pw) {
        alert(Get.id + "님 환영합니다.");
        return;
      }
    }
    alert("회원정보가 일치하지 않습니다.");
  },

  getAllMembers() {
    let show = () => {
      let out = "";
      for (let i = 0; i < this.users.length; i++) {
        out += this.users[i].id + " " + this.users[i].name + "<br>";
      }
      return out;
    }
    document.getElementById("findAll").innerHTML = show();
  }
};

주요 기능 버튼/태그 예시

회원가입: UserManagement.signUp();
로그인: UserManagement.signIn();
전체회원조회: UserManagement.getAllMembers();
(id="findAll"인 태그에 결과 출력)

#html #css #javascript #signup #signin #과제
순수 JS로 객체/배열 조작하며 과제 UI 수행!

Comment(댓글) CRUD 설계

컴퓨터와 하나가 된다. — Mon, 27 May 2024 11:39:43 +0900

회원, 게시물, 댓글 중 오늘은 댓글 CRUD를 만들려고 한다.

CRUD는 Create(생성)Read(조회)Update(수정)Delete(삭제)로 이루어지는데 각 요소는 Post, Get, (Put, Patch), Delete에 매치된다.

댓글 CRUD를 작성하기 위해서는 나는 편의상 Controller(Mapping) Service(dto 처리) Dto(실제 정보가 담긴 파일) Domain(멤버 변수)를 만들었다.

어노테이션과 멤버함수 변수의 종류와 역할을 설명하면서

어떤식으로 CRUD가 이루어지는지 알아보자

@Entity : 쉽게 생각해서 데이터베이스 중 하나의 테이블을 지칭하는 말이다. 따라서 여기서는 현재 Comment라는 테이블을 의미한다.

@Getter, Setter : lombok 라이브러리를 통해 class내의 getter,setter을 만들지 않아도 사용가능한 어노테이션이다.

@Id: 현재 테이블의 기본키를 의미하며 여기서는 private Long id의 id가 기본키다.

@Column: 테이블을 이루는 하나의 열을 의미한다.

@ManyToOne, 여기는 없지만 (@OneToOne , @ManyToOne, @OneToMany) : 테이블간의 관계에는 일대일 다대다 일대다 다대일 등이 존재한다. 현재 ManyToOne은 다대일이라는 뜻을 의미하며 여기에는 포스팅하지 않았지만 앞서 나는 게시물과 회원정보의 Entity를 만들어 놓았다. 내가 작성중인 댓글 테이블은 게시물,회원정보 테이블의 id를 외래키로 참조하고 있으며 여러개의 댓글이 하나의 게시물에만 종속 되기 때문에 댓글과 게시물 관계는 ManyToOne(다대일) 관계가 된다.

@CreationTimestamp: Insert 쿼리가 발생할 때 현재 시간을 값으로 채워주는 역할을 한다.

@JoinColumn: 현재 키가 참조된 외래키라는 의미다.

이제 각 멤버 변수가 무엇이 있는지 보면 (테이블을 이루는 키)

id(PK), member_id(FK), post_id(FK), content, commnetDate 다.

위 파일은 댓글 파일의 Dto (CommentDto) Dto(Data Transfer Object) 즉 데이터 전달 객체를 의미한다.

순수 전달하고자 하는 데이터만 담겨 있다. 따라서 Domain 파일의 정보들이 담기는 객체다.

위는 Service 파일로 데이터 처리를 담당하는 역할이다. 즉 우리가 원하는 CRUD 요청의 처리를 한다.

각 어노테이션을 통해 어떤 역할을 하는지 보자

@Serivce : 로직처리를 하기 class파일임을 명시한다.

@AutoWired : 현재 사용중인 spring 프레임워크에서 의존성 주입을 위한 어노테이션이다. 객체간의 결합도를 낮추고 테스트와 유지보수를 용이하게 만든다.

@Transcational: 트래잭션이란 어떤것을 수정 혹은 삭제시 서버의 다운이나 데이터베이스의 장애가 발생하는 것을 방지하고자 만들어졌다. 장애가 발생시 이전 상황으로 돌아가는 rollback 역할을 한다. 단순 조회는 데이터가 변하지 않기 때문에 트래잭션이 발생하지 않아 어노테이션을 명시하지 않았다.

이제 CRUD가 Service에서 어떠한 방식으로 처리 되는지 알아보자

C(create)

현재 registerComment가 Post역할을 한다.

들어가기 앞서 Repository 파일의 역할을 알아보자

Repository 파일은 실제 데이터베이스와 연결된 액세스 계층이다. Repository의 메서드를 사용하여 따로 일일이 SQL쿼리문 작성 없이 CRUD작업을 수행한다.

Domain 파일의 객체를 생성한 후 commentRepository.save(comment) save메서드를 통해 객체를 저장한다.

R(Read)

Get(조회) 현재 두가지있다. getAllComments와 getCommentById 전자는 모든 정보를 불러들이며 후자는 내가 조회하고자 하는 id의 값을 통해 해당 id가 있는 정보를 조회할 수 있다.

findAll()메서드를 통해 모든 정보를 불러들이며 findById는 해당 id값의 정보를 불러들인다.

U(update)

(Put, Patch) 둘다 조회인데 차이점은 목적에 따라 다르다 Put은 수정에 있어 하나만 수정시 다른 값이 null 이 되며 Patch는 다른 값을 건들지 않고 원하는 데이터만 수정할 수 있다.

우리는 여기서 Patch를 사용할 것이며 updateComment로 구현한다. Patch는 ㄴ수정을 원하는 id만을 불러들여 수정하며 내가 검색한 id와 정보가 들어있는 Dto를 불러들이며 정보를 수정할 데이터를 findByid()메서드를 통해 찾는다 이후 그 객체를 commentOptional 변수에 저장하여 수정이 완료되면 save()메서드를 통해 Repository에 저장하고 해당 원하는 id가 존재하지 않을 시 "Comment is not found id"를 보여준다.

D(Delete)

delete(삭제)는 내가 삭제하고자 하는 id값만 받은 후 deleteById()메서드를 통해 삭제한다.

우리는 지금까지 Repository의 메서드를 사용하여 CRUD의 작동원리를 익혔다. 다음으로는 클라이언트의 요청을 받아 서비스 계층에 위임하며 사용자에게 interface를 표시해주는 HTTP 상태코드를 생성하는 Controller파일을 분석하려고한다.

@RestController: @Controller + @RespnseBody로 목적은 데이터를 JSON의 형태로 객체를 반환하기 위함이다.

@RequestMapping: 우리는 url("/api/comments)로 요청을 보내면 Controller에서 어떠한 방식으로 처리할지 정의하는데 이떄 들어온 요청을 특정 메서드와 매핑하기 위해 사용하는 어노테이션이다.

@---Mapping: 은 원하는 요청에 대한 각 매핑이 이루어지는 메서드다.

Service에서 생성한 데이터 처리를 통해 ResponseEntity 메서드를 통해 응답코드를 생성한다.

ok(HTTP 상태 코드: 200) 성공적으로 처리되며 본문이 담겨 있다는 의미다.

noContent(HTTP 상태 코드: 204) 로 Delete에서 사용되는데 삭제되었으므로 본문이 없어야한다. 따라서 204가 뜬다는 것은 처리가 되었다느 의미다.

notFound(HTTP 상태 코드: 404)로 클라이언트가 요청한 데이터가 없다는 의미다.

------결론------

CommentController 파일의 전체적인 코드 형태를 보면 각 요청에 대한 메서드가 생성 되어있고 dto를 통해 데이터를 기존에 만든 Service(데이터 처리 담당)에서 각 요청에 받는 데이터를 처리한 후 거기에 맞는 응답코드를 생성하는 역할까지 하는 것을 볼 수 있었다.

우리는 지금까지 Comment(댓글)에 관련된 CRUD의 작동원리와 클라이언트에서 서버까지 어떠한 방식으로 처리되는지 살펴보았다.

Vscode java package 경로 설정

컴퓨터와 하나가 된다. — Thu, 2 May 2024 21:17:43 +0900

Vscode에서 java 파일에 Package를 사용하려고 할 떄

Error: Could not find or load main class <fileName>
Caused by: java.lang.NoClassDefFoundError: <fileName> (wrong name: <packageName>/<fileName>) 이 뜬다.

현재 필자의 Setting.json에는

"java": "cd $dir && javac $fileName && java $fileNameWithoutExt",

처럼 설정되어있다.

해결 방법은

만약 패키지이름 = com.test , 파일 = Hello.java 인 경우

출력창 즉 터미널에서 아래와 같이 작성하면

cd "$dir" && javac Hello.java && java com.test.Hello",

해결이 됩니다.