001/*
002 * Copyright (c) 2009 The openGion Project.
003 *
004 * Licensed under the Apache License, Version 2.0 (the "License");
005 * you may not use this file except in compliance with the License.
006 * You may obtain a copy of the License at
007 *
008 *     http://www.apache.org/licenses/LICENSE-2.0
009 *
010 * Unless required by applicable law or agreed to in writing, software
011 * distributed under the License is distributed on an "AS IS" BASIS,
012 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND,
013 * either express or implied. See the License for the specific language
014 * governing permissions and limitations under the License.
015 */
016package org.opengion.hayabusa.taglib;
017
018import org.opengion.fukurou.system.OgRuntimeException ;         // 6.4.2.0 (2016/01/29)
019import org.opengion.hayabusa.common.HybsSystem;
020import org.opengion.hayabusa.common.HybsSystemException;
021import org.opengion.hayabusa.common.HybsOverflowException;              // 6.2.5.0 (2015/06/05)
022import org.opengion.hayabusa.resource.GUIInfo;
023import org.opengion.hayabusa.db.DBColumn;
024import org.opengion.hayabusa.db.ColumnActionListener;                   // 6.2.2.0 (2015/03/27)
025import org.opengion.hayabusa.io.TableReader;
026import org.opengion.fukurou.db.Transaction;
027import org.opengion.fukurou.util.ErrorMessage;                                  // 6.2.5.0 (2015/06/05)
028import org.opengion.fukurou.util.StringUtil;
029import org.opengion.fukurou.system.Closer ;
030import org.opengion.fukurou.util.ToString;                                              // 6.1.1.0 (2015/01/17)
031import org.opengion.fukurou.util.FileInfo;                                              // 6.2.3.0 (2015/05/01)
032import org.opengion.fukurou.model.Formatter;
033import org.opengion.fukurou.model.ArrayDataModel;
034
035import static org.opengion.fukurou.util.StringUtil.nval ;
036import static org.opengion.fukurou.system.HybsConst.BR;                 // 6.1.0.0 (2014/12/26) refactoring
037
038import java.sql.Connection;
039import java.sql.PreparedStatement;
040import java.sql.SQLException;
041
042import java.io.File;
043import java.util.List ;                                                                                 // 7.3.0.0 (2021/01/06)
044
045/**
046 * 指定のファイルを直接データベースに登録するデータ入力タグです。
047 *
048 * 通常の readTable などは、DBTableModelオブジェクトを介して全件メモリに
049 * ロードしてから表示させる為、大量データ処理ができません。
050 * このタグでは、直接ファイルを読み取りながらデータベース登録するので
051 * 大量データをバッチ的に登録する場合に使用します。
052 *
053 * 読み取るファイルは、先頭(または実データが現れるまでに) #NAME 行が必要です。
054 * これは、ファイルデータのカラム名を指定しています。また、columns 属性を使用すれば、
055 * ファイルの#NAME 行より優先して(つまり存在していなくても良い)データのカラム名を
056 * 指定することが出来ます。
057 * この#NAME 行は、ファイルのセパレータと無関係に必ずタブ区切りで用意されています。
058 * タグのBODY部に、実行するSQL文を記述します。
059 * このSQL文は、
060 * INSERT INTO GE41 (CLM,NAME_JA,SYSTEM_ID,FGJ,DYSET)
061 * VALUES ([CLM],[NAME_JA],[SYSTEM_ID],'1','{@USER.YMDH}')
062 * と、いう感じで、ファイルから読み込んだ値は、[カラム名]に割り当てられます。
063 * もちろん、通常の固定値(FGJに'1'をセット)や、リクエスト変数(DYSETの{@USER.YMDH})
064 * なども使用できます。
065 *
066 * ※ 6.2.3.0 (2015/05/01)
067 *    BODY部にSQL文を記述しない場合は、table 属性に、INSERTするテーブルIDを指定します。
068 *
069 * ※ 6.2.4.0 (2015/05/15)
070 *    omitNames に、WRITABLE と ROWID を、強制的に含めます(無条件)。
071 *
072 * ※ 7.3.1.3 (2021/03/09) DB.NAMES , DB.ORGNAMES
073 *    #NAME や columns で指定したカラムは、{@DB.NAMES} で取り出すことが可能です。
074 *    ファイルにかかれた、オリジナルの #NAME は、{@DB.ORGNAMES} で取り出すことが可能です。
075 *
076 * ※ このタグは、Transaction タグの対象です。
077 *
078 * @og.formSample
079 * ●形式:<og:directTableInsert filename="[・・・]" ・・・ >INSERT INTO ・・・ </og:directTableInsert >
080 * ●body:あり(EVAL_BODY_BUFFERED:BODYを評価し、{@XXXX} を解析します)
081 *
082 * ●Tag定義:
083 *   <og:directTableInsert
084 *       readerClass        【TAG】実際に読み出すクラス名の略称(TableReader_**** の ****)をセットします
085 *                                  (初期値:TABLE_READER_DEFAULT_CLASS[={@og.value SystemData#TABLE_READER_DEFAULT_CLASS}])
086 *  専   commitBatch        【TAG】指定数毎にコミットを発行します(初期値:0 終了までコミットしません)
087 *  専   dbid               【TAG】(通常は使いません)検索時のDB接続IDを指定します(初期値:DEFAULT)
088 *  専   table              【TAG】BODYのSQL文を指定しない場合に使用するテーブルIDを指定します
089 *       command            【TAG】コマンド (NEW,RENEW)をセットします(初期値:NEW)
090 *       fileURL            【TAG】読取元ディレクトリ名を指定します(初期値:FILE_URL)
091 *       filename           【TAG】ファイルを作成するときのファイル名をセットします (初期値:FILE_FILENAME[=file.xls])
092 *       encode             【TAG】ファイルを作成するときのファイルエンコーディング名をセットします(初期値:FILE_ENCODE)
093 *       skipRowCount       【TAG】(通常は使いません)データの読み飛ばし件数を設定します
094 *       maxRowCount        【TAG】読取時の最大取り込み件数をセットします (初期値:0:[無制限])
095 *       errRowCount        【TAG】読取時の最大エラー件数をセットします (初期値:{@og.value ReadTableTag#ERROR_ROW_COUNT})(0:[無制限])
096 *       separator          【TAG】可変長ファイルを作成するときの項目区切り文字をセットします
097 *       columns            【TAG】読取元ファイルのカラム列を、外部(タグ)よりCSV形式で指定します
098 *       omitNames          【TAG】読取対象外のカラム列を、外部(タグ)よりCSV形式で指定します
099 *       modifyType         【TAG】ファイル取り込み時の モディファイタイプ(A(追加),C(更新),D(削除))を指定します
100 *       displayMsg         【TAG】query の結果を画面上に表示するメッセージIDを指定します(初期値:VIEW_DISPLAY_MSG[={@og.value SystemData#VIEW_DISPLAY_MSG}]))
101 *       overflowMsg        【TAG】読取データが最大検索数をオーバーした場合に表示するメッセージリソースIDを指定します (初期値:MSG0007[検索結果が、制限行数を超えましたので、残りはカットされました])
102 *       notfoundMsg        【TAG】検索結果がゼロ件の場合に表示するメッセージリソースIDを指定します(初期値:MSG0077[対象データはありませんでした])
103 *  ※   sheetName          【TAG】EXCELファイルを読み込むときのシート名を設定します(初期値:指定なし)
104 *  ※   sheetNos           【TAG】EXCELファイルを読み込むときのシート番号を複数設定できます(初期値:0)
105 *  ※   sheetConstKeys     【TAG】EXCELファイルを読み込むときの固定値となるカラム名(CSV形式)
106 *  ※   sheetConstAdrs     【TAG】EXCELファイルを読み込むときの固定値となるアドレス(行-列,行-列,・・・)
107 *       nullBreakClm       【TAG】カラム列に NULL が現れた時点で読取を中止します(複数Sheetの場合は、次のSheetを読みます)。
108 *       nullSkipClm        【TAG】カラム列に NULL が現れたレコードは読み飛ばします。
109 *       useNumber          【TAG】行番号情報を、使用している/していない[true/false]を指定します(初期値:true)
110 *       useRepeatClms      【TAG】読取処理で横持ちデータの繰り返しが存在する場合に、trueを指定します(初期値:false) 7.3.0.0 (2021/01/06)
111 *       useRenderer        【TAG】読取処理でKEY:VAL形式のコードリソースから、KEYを取り出す処理を行うかどうかを指定します(初期値:USE_TABLE_READER_RENDERER[=false])
112 *       adjustColumns      【TAG】読取元ファイルのデータ変換を行うカラム列をカンマ指定します
113 *       checkColumns       【TAG】読取元ファイルの整合性チェックを行うカラム列をカンマ指定します
114 *       useStrict          【TAG】整合性チェック時に、厳密にチェックするかどうか[true/false]を指定します(初期値:true) 7.3.2.0 (2021/03/19)
115 *       nullCheck          【TAG】NULL チェックすべきカラム列をCSV形式(CSV形式)で指定します
116 *       matchKeys          【TAG】レコードの読取条件指定時のカラム列をCSV形式で指定します 6.4.6.0 (2016/05/27)
117 *       matchVals          【TAG】レコードの読取条件指定時のカラム列に対応する正規表現データをCSV形式で指定します 6.4.6.0 (2016/05/27)
118 *       language           【TAG】タグ内部で使用する言語コード[ja/en/zh/…]を指定します
119 *       stopZero           【TAG】読込件数が0件のとき処理を続行するかどうか[true/false]を指定します(初期値:false[続行する])
120 *       mainTrans          【TAG】(通常は使いません)タグで処理される処理がメインとなるトランザクション処理かどうかを指定します(初期値:false)
121 *       tableId            【TAG】(通常は使いません)sessionから所得する DBTableModelオブジェクトの ID
122 *       scope              【TAG】キャッシュする場合のスコープ[request/page/session/application]を指定します(初期値:session)
123 *       useTimeView        【TAG】処理時間を表示する TimeView を表示するかどうかを指定します
124 *                                                                              (初期値:VIEW_USE_TIMEBAR[={@og.value SystemData#VIEW_USE_TIMEBAR}])。
125 *       useSLabel          【TAG】7.0.7.0 (2019/12/13) エラーメッセージにSLABELを利用するかどうか[true/false]を指定します(初期値:false)
126 *       useLocal           【TAG】システム定数でクラウド設定されていても、クラウド環境を使用しない場合、trueを指定します(初期値:false) 8.0.1.0 (2021/10/29)
127 *       caseKey            【TAG】このタグ自体を利用するかどうかの条件キーを指定します(初期値:null) 5.7.7.2 (2014/06/20)
128 *       caseVal            【TAG】このタグ自体を利用するかどうかの条件値を指定します(初期値:null) 5.7.7.2 (2014/06/20)
129 *       caseNN             【TAG】指定の値が、null/ゼロ文字列 でない場合(Not Null=NN)は、このタグは使用されます(初期値:判定しない) 5.7.7.2 (2014/06/20)
130 *       caseNull           【TAG】指定の値が、null/ゼロ文字列 の場合は、このタグは使用されます(初期値:判定しない) 5.7.7.2 (2014/06/20)
131 *       caseIf             【TAG】指定の値が、true/TRUE文字列の場合は、このタグは使用されます(初期値:判定しない)
132 *       debug              【TAG】デバッグ情報を出力するかどうか[true/false]を指定します(初期値:false)
133 *   >   ... Body ...
134 *   </og:directTableInsert>
135 *
136 * ●使用例
137 *     <og:directTableInsert
138 *         dbid         = "ORCL"                接続データベースID(初期値:DEFAULT)
139 *         separator    = ","                   ファイルの区切り文字(初期値:タブ)
140 *         fileURL      = "{@USER.ID}"     読み取り元ディレクトリ名
141 *         filename     = "{@filename}"    読み取り元ファイル名
142 *         encode       = "Shift_JIS"           読み取り元ファイルエンコード名
143 *         displayMsg   = "MSG0040"             登録完了後のメッセージ
144 *         columns      = "CLM,NAME_JA,LABEL_NAME,KBSAKU,SYSTEM_ID,LANG"
145 *                                              #NAME の代わりに使用するカラム列名
146 *         commitBatch  = "100"                 この件数ずつコミットを発行(初期値:無制限)
147 *         useColumnCheck  = "true"             カラムチェックを行うかどうか(初期値:false)
148 *         useColumnAdjust = "true"             カラム変換を行うかどうか(初期値:false)
149 *         nullCheck       = "CLM,SYSTEM_ID"    NULLチェックを実行します。
150 *     >
151 *          INSERT INTO GE41
152 *              (CLM,NAME_JA,LABEL_NAME,KBSAKU,SYSTEM_ID,LANG,
153 *                 FGJ,DYSET,DYUPD,USRSET,USRUPD,PGUPD)
154 *          VALUES
155 *              ([CLM],[NAME_JA],[LABEL_NAME],[KBSAKU],[SYSTEM_ID],[LANG],
156 *                '1','{@USER.YMDH}','{@USER.YMDH}','{@USER.ID}','{@USER.ID}','{@GUI.KEY}')
157 *     </og:directTableInsert >
158 *
159 * @og.group ファイル入力
160 *
161 * @version  4.0
162 * @author   Kazuhiko Hasegawa
163 * @since    JDK5.0,
164 */
165public class DirectTableInsertTag extends ReadTableTag {
166        /** このプログラムのVERSION文字列を設定します。 {@value} */
167        private static final String VERSION = "7.0.7.0 (2019/12/13)" ;
168        private static final long serialVersionUID = 707020191213L ;
169
170        // 6.2.4.0 (2015/05/15) 無条件でOMITする名称を指定します(WRITABLE,ROWID)
171        private static final String DEFAULT_OMIT = "WRITABLE,ROWID" ;
172
173        // 4.0.0.0 (2007/10/10) dbid の初期値を、"DEFAULT" から null に変更
174        private String          dbid            ;
175        private int                     commitBatch     ;                               // コミットするまとめ件数
176        private String          sql                     ;
177        private String          table           ;                               // 6.2.3.0 (2015/05/01)
178        private long            dyStart         ;                               // 実行時間測定用のDIV要素を出力します。
179        private boolean useTimeView             = HybsSystem.sysBool( "VIEW_USE_TIMEBAR" );             // 6.3.6.0 (2015/08/16)
180
181        /**
182         * デフォルトコンストラクター
183         *
184         * @og.rev 6.4.2.0 (2016/01/29) PMD refactoring. Each class should declare at least one constructor.
185         */
186        public DirectTableInsertTag() { super(); }              // これも、自動的に呼ばれるが、空のメソッドを作成すると警告されるので、明示的にしておきます。
187
188        /**
189         * Taglibの開始タグが見つかったときに処理する doStartTag() を オーバーライドします。
190         *
191         * @og.rev 6.2.2.0 (2015/03/27) ColumnActionListener 対応。
192         * @og.rev 6.2.3.0 (2015/05/01) table属性追加。BODYのSQL文が無くても、table属性で自動生成します。
193         * @og.rev 6.2.4.0 (2015/05/15) 無条件でOMITする名称を指定します。
194         *
195         * @return      後続処理の指示( EVAL_BODY_BUFFERED )
196         */
197        @Override
198        public int doStartTag() {
199                dyStart = System.currentTimeMillis();
200
201                // 6.2.4.0 (2015/05/15) 無条件でOMITする名称を指定します。
202                addOmitNames( DEFAULT_OMIT );
203
204                // 6.2.3.0 (2015/05/01) table属性追加
205                // 6.4.1.1 (2016/01/16) PMD refactoring. A method should have only one exit point, and that should be the last statement in the method
206                return table == null || table.isEmpty()
207                                        ? EVAL_BODY_BUFFERED            // Body を評価する。( extends BodyTagSupport 時)
208                                        : SKIP_BODY ;                           // Body を評価しない
209        }
210
211        /**
212         * Taglibのタグ本体を処理する doAfterBody() を オーバーライドします。
213         *
214         * @og.rev 3.6.0.2 (2004/10/04) SQL文の [カラム] 対応とパーサー機能追加
215         * @og.rev 3.8.6.3 (2006/11/30) SQL 文の前後のスペースを取り除きます。
216         * @og.rev 6.2.3.0 (2015/05/01) table属性追加。BODYのSQL文が無くても、table属性で自動生成します。
217         *
218         * @return      後続処理の指示(SKIP_BODY)
219         */
220        @Override
221        public int doAfterBody() {
222                sql = getBodyString();
223                if( sql == null || sql.isEmpty() || sql.trim().isEmpty() ) {
224                        final String errMsg = "table属性を指定しない場合は、BODY 部の登録用 Insert/Update文は、必須です。";
225                        throw new HybsSystemException( errMsg );
226                }
227
228                return SKIP_BODY ;                              // Body を評価しない
229        }
230
231        /**
232         * #doEndTag() の後続処理を記述します。
233         *
234         * これは、サブクラスで、DBTableModel以外の処理を行う場合に、
235         * 処理内容を分けるために用意します。
236         *
237         * @og.rev 6.2.2.0 (2015/03/27) #afterEnd() メソッド 新規作成。
238         * @og.rev 6.2.5.0 (2015/06/05) AutoReaderの仕様変更。checkColumns エラー処理が抜けていたので、追加します。
239         * @og.rev 7.0.7.0 (2019/12/13) useSLabel 属性を追加。
240         *
241         * @return      後続処理の指示
242         */
243        @Override
244        protected int afterEnd() {
245                // 6.2.5.0 (2015/06/05) エラー処理の追加
246                final ErrorMessage errMsg = clmAct.getErrorMessage();
247                if( !errMsg.isOK() ) {
248//                      jspPrint( TaglibUtil.makeHTMLErrorTable( errMsg,getResource() ) );
249                        jspPrint( TaglibUtil.makeHTMLErrorTable( errMsg,getResource(),useSLabel ) );            // 7.0.7.0 (2019/12/13)
250                        return SKIP_PAGE ;
251                }
252
253                // 実行件数の表示
254                // 4.0.0 (2005/11/30) 出力順の変更。一番最初に出力します。
255                if( displayMsg != null && displayMsg.length() > 0 ) {
256                        final String status = executeCount + getResource().getLabel( displayMsg ) ;
257                        jspPrint( status + BR );
258                }
259
260                // 5.7.6.2 (2014/05/16) 検索結果の件数を、"DB.COUNT" キーでリクエストにセットする。
261                setRequestAttribute( "DB.COUNT" , String.valueOf( executeCount ) );
262
263                // 5.7.6.2 (2014/05/16) 件数0件かつ stopZero = true
264                if( executeCount == 0 && stopZero ) { return SKIP_PAGE; }
265
266                final long dyTime = System.currentTimeMillis()-dyStart;
267
268                // 4.0.0 (2005/01/31) セキュリティチェック(データアクセス件数登録)
269                final GUIInfo guiInfo = (GUIInfo)getSessionAttribute( HybsSystem.GUIINFO_KEY );
270                if( guiInfo != null ) { guiInfo.addWriteCount( executeCount,dyTime,sql ); }
271
272                if( useTimeView ) {             // 6.3.6.0 (2015/08/16)
273                        // 時間測定用の DIV 要素を出力
274                        jspPrint( "<div id=\"queryTime\" value=\"" + (dyTime) + "\"></div>" );  // 3.5.6.3 (2004/07/12)
275                }
276                return EVAL_PAGE ;
277        }
278
279        /**
280         * タグリブオブジェクトをリリースします。
281         * キャッシュされて再利用されるので、フィールドの初期設定を行います。
282         *
283         * @og.rev 3.6.0.2 (2004/10/04) useColumnCheck,useColumnAdjust 属性追加
284         * @og.rev 3.8.0.2 (2005/06/30) nullCheck 属性追加
285         * @og.rev 4.0.0.0 (2007/10/10) dbid の初期値を、"DEFAULT" から null に変更
286         * @og.rev 5.5.7.1 (2012/10/05) skipRowCount追加
287         * @og.rev 5.7.6.2 (2014/05/16) stopZero属性追加
288         * @og.rev 6.2.2.0 (2015/03/27) ColumnActionListener 対応。
289         * @og.rev 6.2.3.0 (2015/05/01) table属性追加
290         */
291        @Override
292        protected void release2() {
293                super.release2();
294                dbid                    = null;
295                commitBatch             = 0;                                    // コミットするまとめ件数
296                table                   = null;                                 // 6.2.3.0 (2015/05/01)
297                useTimeView     = HybsSystem.sysBool( "VIEW_USE_TIMEBAR" );     // 6.3.6.0 (2015/08/16)
298        }
299
300        /**
301         * ファイルオブジェクト より読み込み、データベースに書き込みます。
302         *
303         * @og.rev 3.6.0.2 (2004/10/04) カラムオブジェクトのDBType属性の整合性チェック
304         * @og.rev 3.8.0.2 (2005/06/30) nullチェック確認
305         * @og.rev 3.8.5.1 (2006/05/08) 取込データが name 列より少ない場合の対応を追加
306         * @og.rev 3.8.7.0 (2006/12/15) アクセスログ取得の為,ApplicationInfoオブジェクトを設定
307         * @og.rev 4.0.0.0 (2005/01/31) CheckColumnDataクラス static 化、引数にResourceManager追加
308         * @og.rev 4.0.0.1 (2007/12/03) try ~ catch ~ finally をきちんと行う。
309         * @og.rev 5.1.9.0 (2010/08/01) Transaction 対応
310         * @og.rev 5.2.2.0 (2010/11/01)) ""で囲われているデータに改行が入っていた場合の対応
311         * @og.rev 5.3.7.0 (2011/07/01) TransactionReal の引数変更
312         * @og.rev 5.3.8.0 (2011/08/01) pstmt.setObject で、useParamMetaData の判定を避けるため、pstmt.setString で代用(PostgreSQL対応)
313         * @og.rev 5.5.7.1 (2012/10/05) omitFirstLine対応
314         * @og.rev 5.7.0.3 (2013/11/22) BufferedReaderのclose処理をこのメソッド内のfinallyで行う
315         * @og.rev 6.2.2.0 (2015/03/27) ColumnActionListener 対応。
316         * @og.rev 6.2.3.0 (2015/05/01) 行読み飛ばし nullSkipClm追加
317         * @og.rev 6.2.4.2 (2015/05/29) executeCount の設定がおかしい。DirectTableInsertTagでは、初期値が -1 のため、件数が1件少なくなっていた。
318         * @og.rev 6.2.5.0 (2015/06/05) AutoReaderの仕様変更。checkColumns エラー処理が抜けていたので、追加します。
319         * @og.rev 6.3.6.1 (2015/08/28) Transaction でAutoCloseableを使用したtry-with-resources構築に対応。
320         * @og.rev 6.4.3.3 (2016/03/04) HybsSystem.newInstance(String,String) への置き換え。
321         * @og.rev 6.6.0.1 (2016/12/07) エンコードが複数ある場合、SQLのパースで、上書きするとカラム名が取れないバグ修正。
322         * @og.rev 7.0.4.3 (2019/07/15) AutoReaderでencode指定の場合、columnNamesを複数回通ることがあるため、executeCountは都度クリアする
323         *
324         * @param   file ファイルオブジェクト
325         */
326        @Override
327        protected void create( final File file )  {
328
329                // 6.3.6.1 (2015/08/28) Transaction で処理
330                try( Transaction tran = getTransaction() ) {
331                        /**
332                         * ColumnActionListenerインターフェースの内部無名クラス
333                         *
334                         * @og.rev 6.2.2.0 (2015/03/27) ColumnActionListener 対応。
335                         * @og.rev 6.3.6.1 (2015/08/28) Transaction で処理
336                         *
337                         * @param names カラム名配列
338                         */
339                        final ColumnActionListener listener = new ColumnActionListener() {
340                                private DBColumn[]      dbClms ;
341                                private String[]        clmKeys         ;                               // SQL文の[カラム名]配列
342                                private int                     commitCount ;
343
344                                private int[] clmNos    ;
345                                private int   clmNosLen ;
346
347                                private PreparedStatement pstmt  ;
348                                private final Connection conn = tran.getConnection( dbid );             // 6.3.6.1 (2015/08/28)
349
350                                /**
351                                 * 一連の作業終了時に呼ばれます。
352                                 *
353                                 * @og.rev 6.2.2.0 (2015/03/27) ColumnActionListener 対応。
354                                 * @og.rev 6.3.6.1 (2015/08/28) Transaction で処理
355                                 *
356                                 */
357                                @Override
358                                public void end() {
359                                        Closer.stmtClose( pstmt );
360                                        tran.commit();                                  // 6.3.6.1 (2015/08/28) ここでは常にcommit()させる。
361                                }
362
363                                /**
364                                 * カラム名の配列が設定された場合に、呼び出されます。
365                                 *
366                                 * @og.rev 6.2.2.0 (2015/03/27) ColumnActionListener 対応。
367                                 * @og.rev 6.2.4.2 (2015/05/29) executeCount の設定がおかしい。DirectTableInsertTagでは、初期値が -1 のため、件数が1件少なくなっていた。
368                                 * @og.rev 6.3.6.1 (2015/08/28) Transaction で処理
369                                 * @og.rev 6.4.1.1 (2016/01/16) HybsOverflowException をthrow するとき、最大件数を引数に渡す。
370                                 * @og.rev 6.4.3.4 (2016/03/11) Formatterに新しいコンストラクターを追加する。
371                                 * @og.rev 6.6.0.1 (2016/12/07) エンコードが複数ある場合、SQLのパースで、上書きするとカラム名が取れないバグ修正。
372                                 * @og.rev 6.9.5.0 (2018/04/23) カラム名が存在しない場合に、Exception を throw するかどうかを指定可能にする。
373                                 * @og.rev 7.0.4.3 (2019/07/15) AutoReaderでencode指定の場合、columnNamesを複数回通ることがあるため、executeCountは都度クリアする
374                                 * @og.rev 7.3.1.1 (2021/02/25) カラム列を、"DB.NAMES" キーでリクエストにセットする。
375                                 *
376                                 * @param names カラム名配列
377                                 */
378                                @Override
379                                public void columnNames( final String[] names ) {
380                                        String pstSql = null;                   // 6.6.0.1 (2016/12/07)
381
382                                        final String[] nms = clmAct.makeNames( names );
383
384                                        // 6.4.1.1 (2016/01/16) PMD refactoring. Avoid if (x != y) ..; else ..;
385                                        if( table == null || table.isEmpty() ) {
386                                                if( sql != null && !sql.isEmpty() ) {
387//                                                      final ArrayDataModel nmdata = new ArrayDataModel( nms );
388                                                        final ArrayDataModel nmdata = new ArrayDataModel( nms,true );   // 6.9.5.0 (2018/04/23) カラム名が存在しない場合に、Exception を throw する
389                                                        final Formatter format = new Formatter( nmdata,sql.trim() );    // 6.4.3.4 (2016/03/11)
390                                                        clmNos          = format.getClmNos();                                                           // 指定されたセルのカラム番号。存在しなければ、Exception を throw する
391                                                        clmNosLen       = clmNos.length ;
392                                                        clmKeys         = format.getClmKeys();
393                                                        pstSql          = format.getQueryFormatString();                                        // 6.6.0.1 (2016/12/07)
394                                                }
395                                        }
396                                        else {
397                                                if( "FILE.NAME".equals( table ) ) {
398                                                        table = FileInfo.getNAME( file );
399                                                }
400
401                                                clmNosLen = nms.length;
402                                                clmNos  = new int[clmNosLen];
403                                                clmKeys = nms;
404
405                                                final StringBuilder buf = new StringBuilder( BUFFER_MIDDLE );
406                                                buf.append( "INSERT INTO " ).append( table ).append( " ( " )
407                                                        .append( String.join( ",",nms ) )
408                                                        .append( " ) VALUES ( ?" );
409                                                clmNos[0] = 0;
410                                                for( int i=1; i<clmNosLen; i++ ) {
411                                                        clmNos[i] = i;
412                                                        buf.append( ",?" );
413                                                }
414                                                buf.append( ')' );
415                                                pstSql = buf.toString();                        // 6.6.0.1 (2016/12/07)
416                                        }
417
418                                        try {
419                                                pstmt = conn.prepareStatement( pstSql );                        // 6.6.0.1 (2016/12/07)
420                                        }
421                                        catch( final SQLException ex ) {
422                                                final String errMsg = CR + ex.getMessage()                                                                      + CR
423                                                                                        + " sql   =["            + sql                                          + "]"   + CR
424                                                                                        + " names =[" + StringUtil.array2csv( names )   + "]"   + CR            // 6.6.0.1 (2016/12/07)
425                                                                                        + " encode=[" + encode                                                  + "]"   + CR            // 6.6.0.1 (2016/12/07)
426                                                                                        + " ErrorCode=[" + ex.getErrorCode()                    + "]"
427                                                                                        + " State=["     + ex.getSQLState()                             + "]"   + CR ;
428                                                jspPrint( errMsg );
429                                                tran.rollback();                                                                                // 6.3.6.1 (2015/08/28) Transaction で処理
430                                //              tran.close();                                                                                   // 6.3.6.1 (2015/08/28) Transaction で処理
431                                                sqlError = true;                                                                                // 6.3.6.1 (2015/08/28) DirectTableInsertTag でSQLException発生時
432                                                throw new HybsSystemException( errMsg,ex );                             // 6.2.4.2 (2015/05/29) refactoring
433                                        }
434
435                                        final StringBuilder nmsBuf = new StringBuilder( BUFFER_MIDDLE );                // 7.3.1.1 (2021/02/25)
436                                        dbClms = new DBColumn[nms.length];
437                                        for( int no=0; no<nms.length; no++ ) {
438                                                nmsBuf.append( ',' ).append( nms[no] );                                                         // 7.3.1.1 (2021/02/25)
439                                                dbClms[no] = getDBColumn( nms[no] );
440                                        }
441
442                                        if( nmsBuf.length() > 1 ) {             // 7.3.1.1 (2021/02/25) 最初のカンマを削除して、DB.NAMES で登録する。
443                                                setRequestAttribute( "DB.NAMES" , nmsBuf.substring(1) );
444                                        }
445
446                                        // 6.2.4.2 (2015/05/29) executeCount の設定がおかしい。DirectTableInsertTagでは、初期値が -1 のため、件数が1件少なくなっていた。
447                                        // 7.0.4.3 (2019/07/15) AutoReaderでencode指定の場合、columnNamesを複数回通ることがあるため、executeCountは都度クリアする
448//                                      executeCount++ ;
449                                        executeCount = 0;                       // 7.0.4.3 (2019/07/15)
450                                }
451
452                                /**
453                                 * #NAME のオリジナルカラム名配列がそろった段階で、イベントが発生します。
454                                 *
455                                 * @og.rev 7.3.1.3 (2021/03/09) #NAMEのオリジナルを取得できるようにします。
456                                 *
457                                 * @param   names  カラム名配列
458                                 */
459                                @Override
460                                public void originalNames( final String[] names ) {
461                                        if( names != null && names.length > 0 ) {
462                                                final StringBuilder nmsBuf = new StringBuilder( BUFFER_MIDDLE );
463                                                for( int no=0; no<names.length; no++ ) {
464                                                        nmsBuf.append( ',' ).append( names[no] );
465                                                }
466
467                                                if( nmsBuf.length() > 1 ) {             // 7.3.1.1 (2021/02/25) 最初のカンマを削除して、DB.NAMES で登録する。
468                                                        setRequestAttribute( "DB.ORGNAMES" , nmsBuf.substring(1) );
469                                                }
470                                        }
471                                }
472
473                                /**
474                                 * 1行分のデータが設定された場合に、呼び出されます。
475                                 *
476                                 * @og.rev 6.2.2.0 (2015/03/27) ColumnActionListener 対応
477                                 * @og.rev 6.2.5.0 (2015/06/05) 読み取り件数オーバーフロー時、HybsOverflowException を throw します
478                                 * @og.rev 6.3.6.1 (2015/08/28) Transaction で処理
479                                 * @og.rev 6.3.9.0 (2015/11/06) コンストラクタで初期化されていないフィールドを null チェックなしで利用している(findbugs)
480                                 * @og.rev 6.4.6.0 (2016/05/27) レコードの読取条件指定を追加。条件に一致しなければ、null が返されます
481                                 * @og.rev 7.3.0.0 (2021/01/06) 横持ちデータの繰り返し対応
482                                 * @og.rev 7.3.1.3 (2021/03/09) [J] で、登録件数(1~) を表現する。
483                                 *
484                                 * @param   vals    文字列値の1行分の配列
485                                 * @param   rowNo   行番号(0~)
486                                 */
487                                @Override
488                                public void values( final String[] vals, final int rowNo ) {
489                                        if( maxRowCount <= 0 || executeCount <= maxRowCount ) {         // 読み取り件数無制限か、最大件数以下の場合
490                                                // 6.3.9.0 (2015/11/06) コンストラクタで初期化されていないフィールドを null チェックなしで利用している(findbugs)
491                                                // 6.4.1.1 (2016/01/16) PMD refactoring. 処理の順番を入れ替えます。
492                                                if( pstmt == null || clmNos == null ) {
493                                                        final String errMsg = "#columnNames(String[])を先に実行しておいてください。"  ;
494                                                        throw new OgRuntimeException( errMsg );
495                                                }
496
497                                                try {
498                                                        // 7.3.0.0 (2021/01/06) 横持ちデータの繰り返し対応。
499                                                        final List<String[]> valsList = clmAct.clmAction( vals , dbClms , rowNo );      // この処理結果が、getErrorMessage() に反映するので、移動不可
500//                                                      final String[] newVals = clmAct.clmAction( vals , dbClms , rowNo );                     // この処理結果が、getErrorMessage() に反映するので、移動不可
501
502                                                        // 6.2.5.0 (2015/06/05) エラー発生時は、以下の処理は行いません。
503                                                        // 6.4.6.0 (2016/05/27) レコードの読取条件指定を追加。条件に一致しなければ、null が返されます。
504//                                                      if( newVals == null || !clmAct.getErrorMessage().isOK() || sqlError ) { return; }               // 6.3.6.1 (2015/08/28)
505                                                        if( valsList.isEmpty() || !clmAct.getErrorMessage().isOK() || sqlError ) { return; }    // 7.3.0.0 (2021/01/06)
506
507                                                        // 7.3.0.0 (2021/01/06) 横持ちデータの繰り返し対応。
508                                                        for( final String[] newVals : valsList ) {
509                                                                // ※ skipTailCount:末尾から指定行数分は取り込まない処理を入れる場合、newVals[]をListにaddしておき、指定件数以上で先頭を処理する。
510                                                                for( int i=0; i<clmNosLen; i++ ) {
511                                                                        // 7.3.1.3 (2021/03/09) [I] で行番号を指定できるようにする。
512//                                                                      pstmt.setString( i+1,newVals[clmNos[i]] );
513                                                                        if( clmNos[i] >= 0 ) {
514                                                                                pstmt.setString( i+1,newVals[clmNos[i]] );
515                                                                        }
516                                                                        // 7.3.1.3 (2021/03/09) ここでは行番号をセットします。
517                                                                        else if( clmNos[i] == Formatter.SYS_ROWNUM ) {                          // [KEY.カラム名] , [I] , [ROW.ID] は、行番号指定
518                                                                                pstmt.setString( i+1,String.valueOf( rowNo ) );                 // ここでは行番号をセットします。
519                                                                        }
520                                                                        // 7.3.1.3 (2021/03/09) [J] 登録時の件数(1~)
521                                                                        else if( clmNos[i] == Formatter.SYS_CNT ) {                                     // [J] 登録時の件数(1~)
522                                                                                pstmt.setString( i+1,String.valueOf( executeCount+1 ) );
523                                                                        }
524                                                                        else {
525                                                                                pstmt.setString( i+1,"" );                                              // 7.3.1.3 (2021/03/09) エラーでもよいが、空文字列をセットしておきます。
526                                                                        }
527                                                                }
528                                                                pstmt.execute();
529                                                                if( commitBatch > 0 && ( executeCount%commitBatch == 0 ) ) {
530                                                                        conn.commit();                  // 5.1.9.0 (2010/08/01) Transaction 対応
531                                                                        commitCount = executeCount;
532                                                                }
533                                                                executeCount++ ;
534                                                        }
535                                                }
536                                                catch( final SQLException ex ) {
537                                                        final String errMsg = CR + ex.getMessage()                                                      + CR
538                                                                                + " sql   =[" + sql                                                             + "]"   + CR
539                                                                                + " encode=[" + encode                                                  + "]"   + CR            // 6.6.0.1 (2016/12/07)
540                                                                                + " keys  =[" + StringUtil.array2csv( clmKeys ) + "]"   + CR
541                                                                                + " vals  =[" + StringUtil.array2csv( vals )    + "]"   + CR
542                                                                                + " 行番号=["    + (rowNo+1)         + "]"
543                                                                                + " 登録件数=["  + commitCount       + "]"  + CR
544                                                                                + " ErrorCode=[" + ex.getErrorCode() + "]"
545                                                                                + " State=["     + ex.getSQLState()  + "]"  + CR ;
546                                                        jspPrint( errMsg );
547                                                        tran.rollback();                                                                // 6.3.6.1 (2015/08/28) Transaction で処理
548                                        //              tran.close();                                                                   // 6.3.6.1 (2015/08/28) Transaction で処理
549                                                        sqlError = true;                                                                // 6.3.6.1 (2015/08/28) DirectTableInsertTag でSQLException発生時
550                                                        throw new HybsSystemException( errMsg,ex );
551                                                }
552                                        }
553                                        else {
554                                                throw new HybsOverflowException( maxRowCount ); // 6.4.1.1 (2016/01/16)
555                                        }
556                                }
557
558                                /**
559                                 * 新しくEXCELのシートを処理する際に、シート名をセットするときに呼び出されます。
560                                 *
561                                 * @og.rev 7.3.1.1 (2021/02/25) 現在実行中のシート名を、"DB.SHEET_NAME" キーでリクエストにセットする。
562                                 *
563                                 * @param   sheetName   現在実行中のシート名
564                                 */
565                                @Override
566                                public void shtName( final String sheetName ) {
567                                        setRequestAttribute( "DB.SHEET_NAME" , sheetName );
568                                }
569                        };
570
571                        final TableReader reader = HybsSystem.newInstance( "TableReader_" , readerClass );      // 3.5.5.3 (2004/04/09)
572
573                        reader.setSeparator( separator );
574                        reader.setColumns( columns );                                   // 3.5.4.5 (2004/01/23) 、6.2.0.0 (2015/02/27) 削除
575                        reader.setUseNumber( useNumber );                               // 3.7.0.5 (2005/04/11)
576                        reader.setSkipRowCount( skipRowCount );                 // 5.1.6.0 (2010/05/01)
577                        reader.setDebug( isDebug() );                                   // 5.5.7.2 (2012/10/09) デバッグ情報を出力するかどうかを指定
578                        // 6.2.0.0 (2015/02/27) EXCELでない場合でも、メソッドは呼び出す。(空振りします)
579                        reader.setSheetName( sheetName );                               // 3.5.4.2 (2003/12/15)
580                        reader.setSheetNos( sheetNos );                                 // 5.5.7.2 (2012/10/09) 複数シートを指定できるようにシート番号を指定できるようにする。
581                        reader.setSheetConstData( sheetConstKeys,sheetConstAdrs ) ;             // 5.5.8.2 (2012/11/09) 固定値となるカラム名、アドレスの指定
582                        reader.setNullBreakClm( nullBreakClm ) ;                // 5.5.8.2 (2012/11/09) 取込み条件/Sheet BREAK条件
583                        reader.setNullSkipClm( nullSkipClm ) ;                  // 6.2.3.0 (2015/05/01) 行読み飛ばし
584                        // 6.6.0.1 (2016/12/07) setColumnActionListener は、内部処理が走るため、他の設定が終わってから呼び出す。
585                        reader.setColumnActionListener( listener );             // 6.2.2.0 (2015/03/27)
586
587                        reader.readDBTable( file,encode );                              // 6.2.0.0 (2015/02/27) 追加
588
589                        listener.end();                                                                 // 6.3.6.1 (2015/08/28) tran.commit() は、この、end メソッドで行われる。
590                }
591        }
592
593                // 6.3.6.1 (2015/08/28) Transaction で処理
594
595        /**
596         * 【TAG】(通常は使いません)検索時のDB接続IDを指定します(初期値:DEFAULT)。
597         *
598         * @og.tag
599         *   検索時のDB接続IDを指定します。初期値は、DEFAULT です。
600         *
601         * @param       id データベース接続ID
602         */
603        public void setDbid( final String id ) {
604                dbid = nval( getRequestParameter( id ),dbid );
605        }
606
607        /**
608         * 【TAG】指定数毎にコミットを発行します(初期値:0 終了までコミットしません)。
609         *
610         * @og.tag
611         * 通常は、全ての処理が正常に終了するか、なにもしないか(トランザクション)
612         * を判断すべきで、途中でのコミットはしません。
613         * しかし、場合によって、件数が異常に多い場合や、再実行可能な場合は、
614         * 途中でコミットして、都度、処理できるものだけを処理してしまうという方法があります。
615         * また、ロールバックエリアの関係などで、データ量が多い場合に、処理時間が異常に
616         * 長くなる事があり、指定件数ごとのコミット機能を用意しています。
617         * 0 に設定すると、終了までコミットしません。初期値は、0 です。
618         *
619         * @param   cmtBat コミットを発行する行数 (初期値:0)
620         */
621        public void setCommitBatch( final String cmtBat ) {
622                commitBatch = nval( getRequestParameter( cmtBat ),commitBatch );
623        }
624
625        /**
626         * 【TAG】BODYのSQL文を指定しない場合に使用するテーブルIDを指定します。
627         *
628         * @og.tag
629         * 通常は、BODYに記述したSQL文を実行しますが、テーブルIDを指定すると、
630         * INSERT用のSQL文を自動作成します。
631         * その場合は、BODYのSQL文は設定不要です。
632         * また、FILE.NAME という文字列を指定した場合は、file1 に指定した
633         * ファイル名から、拡張子を取り除いた名称をテーブル名として使用します。
634         *
635         * @og.rev 6.2.3.0 (2015/05/01) table属性追加
636         *
637         * @param   tbl テーブルID
638         */
639        public void setTable( final String tbl ) {
640                table = nval( getRequestParameter( tbl ),table );
641        }
642
643        /**
644         * 【TAG】処理時間を表示する TimeView を表示するかどうか[true:する/false:しない]を指定します
645         *              (初期値:VIEW_USE_TIMEBAR[={@og.value SystemData#VIEW_USE_TIMEBAR}])。
646         *
647         * @og.tag
648         * true に設定すると、処理時間を表示するバーイメージが表示されます。
649         * これは、DB検索、APサーバー処理、画面表示の各処理時間をバーイメージで
650         * 表示させる機能です。処理時間の目安になります。
651         * (初期値:VIEW_USE_TIMEBAR[={@og.value SystemData#VIEW_USE_TIMEBAR}])。
652         *
653         * @og.rev 6.3.6.0 (2015/08/16) useTimeView の初期値を、VIEW_USE_TIMEBAR にする。
654         *
655         * @param       flag    処理時間を表示 [true:する/false:しない]
656         */
657        public void setUseTimeView( final String flag ) {
658                useTimeView = nval( getRequestParameter( flag ),useTimeView );
659        }
660
661        /**
662         * このオブジェクトの文字列表現を返します。
663         * 基本的にデバッグ目的に使用します。
664         *
665         * @return このクラスの文字列表現
666         * @og.rtnNotNull
667         */
668        @Override
669        public String toString() {
670                return ToString.title( this.getClass().getName() )
671                                .println( "VERSION"                     ,VERSION                )
672                                .println( "dbid"                        ,dbid                   )
673        //                      .println( "clmKeys"                     ,clmKeys                )
674                                .println( "sql"                         ,sql                    )
675                                .println( "commitBatch"         ,commitBatch    )
676                                .println( "Other..."            ,getAttributes().getAttribute() )
677                                .fixForm().toString() ;
678        }
679}