Search

バッチ管理

バッチ（Batch）とは？
複雑な演算が必要だったり、データ量が多かったりする場合、ユーザーが照会するたびにリアルタイムでデータを取得すると、処理速度が遅くなる可能性があります。
バッチ管理は、大量データを分析に最適化された形式であらかじめ準備する機能です。
ユーザーは、希望する周期に合わせてデータを自動的に更新し、大量データ環境でも遅延なく AI分析を利用できます。

1. バッチ管理メニューにアクセスする

画面右上の  設定 → データ → バッチ管理をクリックします。

2. バッチ一覧を確認する

バッチ管理画面では、現在登録されているすべてのバッチジョブの状態とスケジュールを一目で確認できます。
•
最近の実行 — 最後にバッチが正常に完了した時刻を表示します。
•
名前 — バッチジョブの名称です。
•
スケジュール — バッチが実行されるよう予約されたスケジュール情報です。
•
タイプ — 全量ロードまたは増分ロードのいずれかを示します。
•
有効化 — トグルボタンで、そのバッチの自動実行可否を切り替えられます。
•
操作
◦
 すぐに実行: 次に予定されているバッチスケジュールまで待たずに、 すぐにバッチジョブを手動で開始します。データセットを即座に更新する必要がある場合に役立ちます。
◦
 実行履歴: 該当バッチの実行履歴を確認します。ジョブの成功可否、開始/終了時刻、エラー発生時の詳細ログなどを確認できます。
◦
 編集: バッチ名、スケジュール、ロード方式など、既存設定を変更できるポップアップ画面を開きます。
◦
 削除: 登録済みのバッチジョブを永久に削除します。バッチ設定を削除しても、元のデータセットは削除されません。

3. 新しいバッチを追加する

右上の + データセットバッチ ボタンをクリックします。

基本情報およびデータセットの選択

•
バッチ名 — バッチジョブの名前を入力します。
•
所有者 — 該当バッチを管理するユーザーを選択します。
•
説明 — 他の管理者がバッチの用途を理解できるよう、詳細な説明を記述できます。
•
データセットの選択 — バッチ対象の データベース、スキーマ、データセットを順に選択します。
すでに登録済みとして表示され、灰色で無効化されているデータセットは、他のバッチで使用中です。1つのデータセットには1つのバッチジョブのみを登録できます。

バッチスケジュールの設定

1.
基本スケジュール設定 毎 [単位] [開始時点] — ドロップダウンで周期を選択して簡単に設定できます。
•
例 : 毎月1日、毎週月曜日、毎時30分 など
2.
CRONスケジュール設定 — CRON式を直接入力して周期を指定できます。
•
毎日午前2時に実行 : 0 2 * * *
•
毎週月曜日午前9時に実行 : 0 9 * * 1
•
標準時間帯: バッチが実行される基準となる時間帯を設定します。
•
ログ保持期間: 実行履歴ログを保持する期間を選択します。 (デフォルト: 90日)
•
ジョブタイムアウト: バッチジョブが長時間かかりすぎる場合に強制終了する制限時間（秒）を設定します。

データロード方式の選択

データをどのように更新するかを決定します。
案内: 「増分ロード」および「増分基準カラム」選択機能は、現在 公開予定 であり、正式公開前までは 全量ロード 方式をご利用ください。
1.
全量ロード (Full Load) — 各実行時に、既存データをすべて削除したうえで、データセットの内容を初期化し、全データを再取得します。データ整合性は最も高い一方、データ量が多い場合は時間がかかることがあります。
2.
増分ロード (Incremental Load) — 最後の実行以降に追加または変更されたデータのみを取得して追加します。
•
増分基準カラム : どのデータが「新規」かを判断する基準となるカラムを選択する必要があります。
◦
例 : updated_at, id など
増分ロードはどのような場合に使用すべきですか。
ログや取引履歴など、元データの件数が数百万件以上と非常に多く、過去データは変更されず、最新データのみが継続的に追加される形式である場合、増分ロードを使用するとシステム負荷を抑えられます。

4. バッチ実行履歴を確認する

バッチ一覧で  実行履歴 アイコンをクリックすると、該当バッチの詳細な実行履歴を確認できます。
•
状態 — SUCCESS(成功) または FAILURE(失敗) などの状態メッセージで、ジョブの結果を一目で確認できます。
•
ジョブ ID — 各バッチ実行件ごとに付与される一意の識別番号です。エラー発生時に技術サポートを受けるための情報として使用されます。
•
時間情報(UTC) — 予定/開始/終了時刻が UTC(協定世界時) 基準で表示されます。ローカル時間(KST)とは異なる場合があるため、時刻を確認する際はご注意ください。
•
件数 — 読み込まれたデータの総件数です。FAILED 状態の場合、データが読み込まれないため空になることがあります。
•
対象パス — 分析用にデータセットを parquet 形式に変換して保存した内部サーバー上の場所を示します。データが正常に読み込まれた場合にパスが生成されます。
•
エラーメッセージ — 状態が FAILEDの場合、右端のエラーメッセージから具体的な失敗原因を確認できます。
バッチが失敗した場合は、まずエラーメッセージを確認してください。原因を修正した後は、一覧に戻って すぐに実行 ボタンを押して手動で再実行してください。
 メニューに戻る