home
home

배치 관리

배치(Batch)란? 
복잡한 연산이 필요하거나 데이터 양이 많은 경우, 사용자가 조회할 때마다 실시간으로 데이터를 가져오면 속도가 느려질 수 있습니다.
배치 관리는 대용량의 데이터를 분석에 최적화된 형태로 미리 준비하는 기능입니다.
사용자는 원하는 주기에 맞춰 데이터를 자동으로 갱신하고, 대용량 데이터 환경에서도 지연 없이 AI분석을 사용할 수 있습니다.

1. 배치 관리 메뉴 접속하기

화면 우측 상단의 설정 → 데이터 → 배치 관리를 클릭합니다.

2. 배치 목록 확인하기

배치 관리 화면에서 현재 등록된 모든 배치 작업의 상태와 일정을 한눈에 확인할 수 있습니다.
•
최근 실행 — 마지막으로 배치가 성공적으로 완료된 시각을 표시합니다.
•
이름 — 배치 작업의 명칭입니다.
•
일정 — 배치가 실행되도록 예약된 일정 정보입니다.
•
유형 — 전체 적재 또는 증분 적재 여부를 나타냅니다.
•
활성화 — 토글 버튼을 통해 해당 배치의 자동 실행 여부를 켜거나 끌 수 있습니다.
•
작업
◦
 즉시 실행: 다음 예정된 배치 일정까지 기다리지 않고, 즉시 배치 작업을 수동으로 시작합니다. 데이터셋을 즉각 갱신해야 하는 상황에 유용합니다.
◦
 실행 기록: 해당 배치의 실행 내역을 확인합니다. 작업 성공 여부, 시작/종료 시각, 에러 발생 시 상세 로그 등을 확인할 수 있습니다.
◦
 수정하기: 배치 이름, 일정, 적재 방식 등 기존 설정을 변경할 수 있는 팝업창을 엽니다.
◦
 삭제하기: 등록된 배치 작업을 영구적으로 삭제합니다. 배치 설정을 삭제해도 원본 데이터셋은 삭제되지 않습니다.

3. 신규 배치 추가하기

우측 상단의 + 데이터셋 배치 버튼을 클릭합니다.

기본 정보 및 데이터셋 선택

•
배치 이름 — 배치 작업의 이름을 입력합니다.
•
소유자 — 해당 배치를 관리할 사용자를 선택합니다.
•
설명 — 다른 관리자가 배치의 용도를 이해할 수 있도록 상세 설명을 작성할 수 있습니다.
•
데이터셋 선택 — 배치 대상 데이터베이스, 스키마, 데이터셋을 순서대로 선택합니다.
이미 등록됨으로 표시되어 회색으로 비활성화된 데이터셋은 다른 배치에서 사용 중입니다. 하나의 데이터셋에는 하나의 배치 작업만 등록할 수 있습니다.

배치 일정 설정

a.
기본 일정 설정 매 [단위] [시작 시점] — 드롭다운에서 주기를 선택하여 간편하게 설정할 수 있습니다.
•
예 : 매월 1일, 매주 월요일, 매시 30분 등
b.
CRON 일정 설정 — CRON 표현식을 직접 입력하여 주기를 지정할 수 있습니다.
•
매일 오전 2시 실행 : 0 2 * * *
•
매주 월요일 오전 9시 실행 : 0 9 * * 1
•
표준 시간대: 배치가 실행될 기준 시간대를 설정합니다.
•
로그 보관 기간: 실행 기록 로그를 유지할 기간을 선택합니다. (기본: 90일)
•
작업 타임아웃: 배치 작업이 너무 오래 걸릴 경우 강제 종료할 제한 시간(초)을 설정합니다.

데이터 적재 방식 선택

데이터를 어떻게 업데이트할지 결정합니다.
안내: '증분 적재' 및 '증분 기준 컬럼' 선택 기능은 현재 오픈 예정 으로, 정식 오픈 전까지는 전체 적재 방식을 이용해 주시기 바랍니다.
a.
전체 적재 (Full Load) — 매 실행 시 기존 데이터를 모두 데이터셋의 기존 내용을 모두 지우고 전체 데이터를 다시 가져옵니다. 데이터 정합성이 가장 높지만, 데이터양이 많을 경우 시간이 오래 걸릴 수 있습니다.
b.
증분 적재 (Incremental Load) — 마지막 실행 이후에 추가되거나 변경된 데이터만 가져와서 덧붙입니다.
•
증분 기준 컬럼 : 어떤 데이터가 '새로운 것'인지 판단할 기준이 되는 컬럼을 선택해야 합니다.
◦
예 : updated_at, id 등
언제 증분 적재를 사용해야 하나요? 
로그, 거래 내역 등 원본 데이터의 양이 수백만 건 이상으로 매우 많고, 과거 데이터는 변하지 않으면서 최신 데이터만 계속 추가되는 형태일 때 증분 적재를 사용하면 시스템 부하를 줄일 수 있습니다.

4. 배치 실행 기록 확인하기

배치 목록에서  실행 기록 아이콘을 클릭하면 해당 배치의 상세 실행 내역을 확인할 수 있습니다.
•
상태 — SUCCESS(성공) 또는 FAILURE(실패) 등 상태 메세지로 작업 결과를 한눈에 확인합니다.
•
작업 ID — 각 배치 실행 건에 부여되는 고유 식별 번호입니다. 에러 발생 시 기술 지원을 받기 위한 정보로 사용됩니다.
•
시간 정보(UTC) — 예정/시작/종료 시간이 UTC(세계 표준시) 기준으로 표시됩니다. 로컬 시간(KST)과는 차이가 있을 수 있으니 시간 확인 시 유의해 주세요.
•
행 — 적재된 데이터의 총 건수입니다. FAILED 상태인 경우 데이터가 적재되지 않아 비어있을 수 있습니다.
•
대상 경로 — 분석을 위해 데이터셋이 parquet 형태로 변환되어 저장된 내부 서버의 위치를 나타냅니다. 데이터가 성공적으로 적재되었을 때 경로가 생성됩니다.
•
에러 메시지 — 상태가 FAILED인 경우, 우측 끝의 에러 메시지를 통해 구체적인 실패 원인을 확인할 수 있습니다.
배치가 실패했다면 에러 메시지를 먼저 확인해보세요. 원인을 수정했다면 목록으로 돌아가 즉시 실행 버튼을 눌러 수동으로 재실행 해보세요.