001/*
002 * Copyright (c) 2009 The openGion Project.
003 *
004 * Licensed under the Apache License, Version 2.0 (the "License");
005 * you may not use this file except in compliance with the License.
006 * You may obtain a copy of the License at
007 *
008 *     http://www.apache.org/licenses/LICENSE-2.0
009 *
010 * Unless required by applicable law or agreed to in writing, software
011 * distributed under the License is distributed on an "AS IS" BASIS,
012 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND,
013 * either express or implied. See the License for the specific language
014 * governing permissions and limitations under the License.
015 */
016package org.opengion.hayabusa.taglib;
017
018import org.opengion.hayabusa.common.HybsSystem;
019import org.opengion.hayabusa.common.HybsSystemException;
020import org.opengion.hayabusa.resource.ResourceManager;
021import org.opengion.hayabusa.resource.GUIInfo;
022import org.opengion.hayabusa.db.DBColumn;
023import org.opengion.fukurou.db.Transaction;
024import org.opengion.fukurou.db.TransactionReal;
025import org.opengion.fukurou.util.FileUtil;
026import org.opengion.fukurou.util.ErrorMessage;
027import org.opengion.fukurou.util.StringUtil;
028import org.opengion.fukurou.util.Closer ;
029import org.opengion.fukurou.model.Formatter;
030import org.opengion.fukurou.model.ArrayDataModel;
031
032import static org.opengion.fukurou.util.StringUtil.nval ;
033
034import java.sql.Connection;
035import java.sql.PreparedStatement;
036import java.sql.SQLException;
037
038import java.io.File;
039import java.io.BufferedReader;
040import java.io.IOException;
041
042/**
043 * 指定のファイルを直接データベースに登録するデータ入力タグです。
044 *
045 * 通常の readTable などは、DBTableModelオブジェクトを介して全件メモリに
046 * ロードしてから表示させる為、大量データ処理ができません。
047 * このタグでは、直接ファイルを読み取りながらデータベース登録するので
048 * 大量データをバッチ的に登録する場合に使用します。
049 *
050 * 読み取るファイルは、先頭(または実データが現れるまでに) #NAME 行が必要です。
051 * これは、ファイルデータのカラム名を指定しています。また、columns 属性を使用すれば、
052 * ファイルの#NAME 行より優先して(つまり存在していなくても良い)データのカラム名を
053 * 指定することが出来ます。
054 * この#NAME 行は、ファイルのセパレータと無関係に必ずタブ区切りで用意されています。
055 * タグのBODY部に、実行するSQL文を記述します。
056 * このSQL文は、
057 * INSERT INTO GE41 (CLM,NAME_JA,SYSTEM_ID,FGJ,DYSET)
058 * VALUES ([CLM],[NAME_JA],[SYSTEM_ID],'1','{@USER.YMDH}')
059 * と、いう感じで、ファイルから読み込んだ値は、[カラム名]に割り当てられます。
060 * もちろん、通常の固定値(FGJに'1'をセット)や、リクエスト変数(DYSETの{@USER.YMDH})
061 * なども使用できます。
062 *
063 * ※ このタグは、Transaction タグの対象です。
064 *
065 * @og.formSample
066 * ●形式:<og:directTableInsert filename="[・・・]" ・・・ >INSERT INTO ・・・ </og:directTableInsert >
067 * ●body:あり(EVAL_BODY_BUFFERED:BODYを評価し、{@XXXX} を解析します)
068 *
069 * ●Tag定義:
070 *   <og:directTableInsert
071 *       fileURL            【TAG】読み取り元ディレクトリ名を指定します (初期値:FILE_URL[=filetemp/])
072 *       filename           【TAG】ファイルを作成するときのファイル名をセットします (初期値:FILE_FILENAME[=file.xls])
073 *       encode             【TAG】ファイルを作成するときのファイルエンコーディング名をセットします (初期値:FILE_ENCODE[=UnicodeLittle])
074 *       separator          【TAG】可変長ファイルを作成するときの項目区切り文字をセットします(初期値:タブ)
075 *       displayMsg         【TAG】query の結果を画面上に表示するメッセージIDを指定します(初期値:MSG0040[ 件登録しました])
076 *       columns            【TAG】#NAME 属性の代わりとなるファイルのカラム名を CSV形式で指定します
077 *       commitBatch        【TAG】指定数毎にコミットを発行します(初期値:0 終了までコミットしません)
078 *       useColumnAdjust    【TAG】カラム変換(DBType変換)を行うかどうかを設定します(初期値:false)
079 *       useColumnCheck     【TAG】カラムチェック(DBTypeチェック)を行うかどうかを設定します(初期値:false)
080 *       nullCheck          【TAG】NULL チェックすべきカラム列をカンマ区切り(CSV形式)で指定します
081 *       dbid               【TAG】(通常は使いません)検索時のDB接続IDを指定します(初期値:DEFAULT)
082 *       skipRowCount       【TAG】データの読み飛ばし件数を設定します(初期値:0)
083 *       stopZero           【TAG】検索結果が0件のとき処理を続行するかどうか[true/false]を指定します(初期値:false[続行する])
084 *       debug              【TAG】デバッグ情報を出力するかどうか[true/false]を指定します(初期値:false)
085 *   >   ... Body ...
086 *   </og:directTableInsert>
087 *
088 * ●使用例
089 *     <og:directTableInsert
090 *         dbid         = "ORCL"                接続データベースID(初期値:DEFAULT)
091 *         separator    = ","                   ファイルの区切り文字(初期値:タブ)
092 *         fileURL      = "{@USER.ID}"     読み取り元ディレクトリ名
093 *         filename     = "{@filename}"    読み取り元ファイル名
094 *         encode       = "Shift_JIS"           読み取り元ファイルエンコード名
095 *         displayMsg   = "MSG0040"             登録完了後のメッセージ
096 *         columns      = "CLM,NAME_JA,LABEL_NAME,KBSAKU,SYSTEM_ID,LANG"
097 *                                              #NAME の代わりに使用するカラム列名
098 *         commitBatch  = "100"                 この件数ずつコミットを発行(初期値:無制限)
099 *         useColumnCheck  = "true"             カラムチェックを行うかどうか(初期値:false)
100 *         useColumnAdjust = "true"             カラム変換を行うかどうか(初期値:false)
101 *         nullCheck       = "CLM,SYSTEM_ID"    NULLチェックを実行します。
102 *     >
103 *          INSERT INTO GE41
104 *              (CLM,NAME_JA,LABEL_NAME,KBSAKU,SYSTEM_ID,LANG,
105 *                 FGJ,DYSET,DYUPD,USRSET,USRUPD,PGUPD)
106 *          VALUES
107 *              ([CLM],[NAME_JA],[LABEL_NAME],[KBSAKU],[SYSTEM_ID],[LANG],
108 *                '1','{@USER.YMDH}','{@USER.YMDH}','{@USER.ID}','{@USER.ID}','{@GUI.KEY}')
109 *     </og:directTableInsert >
110 *
111 * @og.group ファイル入力
112 *
113 * @version  4.0
114 * @author   Kazuhiko Hasegawa
115 * @since    JDK5.0,
116 */
117public class DirectTableInsertTag extends CommonTagSupport {
118        //* このプログラムのVERSION文字列を設定します。   {@value} */
119        private static final String VERSION = "5.7.6.2 (2014/05/16)" ;
120
121        private static final long serialVersionUID = 576220140516L ;
122
123        private static final String TAB_SEPARATOR = "\t" ;
124
125        // 4.0.0.0 (2007/10/10) dbid の初期値を、"DEFAULT" から null に変更
126        private String          dbid            = null;
127        private String          separator       = TAB_SEPARATOR;   // 項目区切り文字
128        private String          fileURL         = HybsSystem.sys( "FILE_URL" );                 // 4.0.0 (2005/01/31)
129        private String          filename        = HybsSystem.sys( "FILE_FILENAME" );    // ファイル名
130        private String          encode          = HybsSystem.sys( "FILE_ENCODE"   );    // ファイルエンコーディング  "JISAutoDetect" ,"JIS", "EUC_JP", "MS932", "SJIS" , "Windows-31J" , "Shift_JIS"
131        private String          displayMsg      = "MSG0040";    //  件登録しました。
132        private String[]        columns         = null;
133        private String[]        clmKeys         = null;                 // SQL文の[カラム名]配列
134        private String          sql                     = null;
135        private int                     commitBatch     = 0;                    // コミットするまとめ件数
136        private boolean         useColumnCheck  = false;        // 3.6.0.2 (2004/10/04)
137        private boolean         useColumnAdjust = false;        // 3.6.0.2 (2004/10/04)
138        private String[]        nullCheck       = null;                 // 3.8.0.2 (2005/06/30) nullチェック確認
139        private long            dyStart         = 0;                    // 実行時間測定用のDIV要素を出力します。
140        private int                     skipRowCount= 0;                        // 5.5.7.1 (2012/10/01)
141        private boolean         stopZero        = false;                // 5.7.6.2 (2014/05/16) stopZero属性追加
142
143        /**
144         * Taglibの開始タグが見つかったときに処理する doStartTag() を オーバーライドします。
145         *
146         * @return      後続処理の指示( EVAL_BODY_BUFFERED )
147         */
148        @Override
149        public int doStartTag() {
150                dyStart = System.currentTimeMillis();           // 時間測定用
151                return EVAL_BODY_BUFFERED ;     // Body を評価する。( extends BodyTagSupport 時)
152        }
153
154        /**
155         * Taglibのタグ本体を処理する doAfterBody() を オーバーライドします。
156         *
157         * @og.rev 3.6.0.2 (2004/10/04) SQL文の [カラム] 対応とパーサー機能追加
158         * @og.rev 3.8.6.3 (2006/11/30) SQL 文の前後のスペースを取り除きます。
159         *
160         * @return      後続処理の指示(SKIP_BODY)
161         */
162        @Override
163        public int doAfterBody() {
164                sql = getBodyString();
165                if( sql == null || sql.length() == 0 ) {
166                        String errMsg = "BODY 部の登録用 Insert/Update文は、必須です。";
167                        throw new HybsSystemException( errMsg );
168                }
169
170                return SKIP_BODY ;                              // Body を評価しない
171        }
172
173        /**
174         * Taglibの終了タグが見つかったときに処理する doEndTag() を オーバーライドします。
175         *
176         * @og.rev 4.0.0.0 (2007/10/18) メッセージリソース統合( getResource().getMessage ⇒ getResource().getLabel )
177         * @og.rev 5.7.0.3 (2013/11/22) BufferedReaderのcloseをcreate内で行うように変更
178         * @og.rev 5.7.6.2 (2014/05/16) stopZero属性、DB.COUNT キーで検索件数をリクエストにセットする。
179         *
180         * @return      後続処理の指示
181         */
182        @Override
183        public int doEndTag() {
184                debugPrint();           // 4.0.0 (2005/02/28)
185
186                BufferedReader pw = getBufferedReader();
187                int executeCount = create( pw );
188
189                // 実行件数の表示
190                // 4.0.0 (2005/11/30) 出力順の変更。一番最初に出力します。
191                if( displayMsg != null && displayMsg.length() > 0 ) {
192                        String status = executeCount + getResource().getLabel( displayMsg ) ;
193                        jspPrint( status + HybsSystem.BR );
194                }
195
196                // 5.7.6.2 (2014/05/16) 検索結果の件数を、"DB.COUNT" キーでリクエストにセットする。
197                setRequestAttribute( "DB.COUNT" , String.valueOf( executeCount ) );
198
199                // 5.7.6.2 (2014/05/16) 件数0件かつ stopZero = true
200                if( executeCount == 0 && stopZero ) { return SKIP_PAGE; }
201
202                // 時間測定用の DIV 要素を出力
203                long dyTime = System.currentTimeMillis()-dyStart;
204                jspPrint( "<div id=\"queryTime\" value=\"" + (dyTime) + "\"></div>" );      // 3.5.6.3 (2004/07/12)
205
206                // 4.0.0 (2005/01/31) セキュリティチェック(データアクセス件数登録)
207                GUIInfo guiInfo = (GUIInfo)getSessionAttribute( HybsSystem.GUIINFO_KEY );
208                if( guiInfo != null ) { guiInfo.addWriteCount( executeCount,dyTime,sql ); }
209
210                return EVAL_PAGE ;
211        }
212
213        /**
214         * タグリブオブジェクトをリリースします。
215         * キャッシュされて再利用されるので、フィールドの初期設定を行います。
216         *
217         * @og.rev 3.6.0.2 (2004/10/04) useColumnCheck,useColumnAdjust 属性追加
218         * @og.rev 3.8.0.2 (2005/06/30) nullCheck 属性追加
219         * @og.rev 4.0.0.0 (2007/10/10) dbid の初期値を、"DEFAULT" から null に変更
220         * @og.rev 5.5.7.1 (2012/10/05) skipRowCount追加
221         * @og.rev 5.7.6.2 (2014/05/16) stopZero属性追加
222         */
223        @Override
224        protected void release2() {
225                super.release2();
226                dbid                    = null;
227                separator               = TAB_SEPARATOR;   // 項目区切り文字
228                fileURL                 = HybsSystem.sys( "FILE_URL" );         // 4.0.0 (2005/01/31)
229                filename                = HybsSystem.sys( "FILE_FILENAME"        );   // ファイル名
230                encode                  = HybsSystem.sys( "FILE_ENCODE"          );   // ファイルエンコーディング  "JISAutoDetect" ,"JIS", "EUC_JP", "MS932", "SJIS" , "Windows-31J" , "Shift_JIS"
231                displayMsg              = "MSG0040";    //  件登録しました。
232                columns                 = null;         // 3.5.4.5 (2004/01/23)
233                useColumnCheck  = false;        // 3.6.0.2 (2004/10/04)
234                useColumnAdjust = false;        // 3.6.0.2 (2004/10/04)
235                nullCheck               = null;         // 3.8.0.2 (2005/06/30)
236                skipRowCount    = 0;            // 5.5.7.1 (2012/10/05)
237                stopZero                = false;        // 5.7.6.2 (2014/05/16) stopZero属性追加
238        }
239
240        /**
241         * BufferedReader より読み込み、データベースに書き込みます。
242         *
243         * @og.rev 3.6.0.2 (2004/10/04) カラムオブジェクトのDBType属性の整合性チェック
244         * @og.rev 3.8.0.2 (2005/06/30) nullチェック確認
245         * @og.rev 3.8.5.1 (2006/05/08) 取込データが name 列より少ない場合の対応を追加
246         * @og.rev 3.8.7.0 (2006/12/15) アクセスログ取得の為,ApplicationInfoオブジェクトを設定
247         * @og.rev 4.0.0.0 (2005/01/31) CheckColumnDataクラス static 化、引数にResourceManager追加
248         * @og.rev 4.0.0.1 (2007/12/03) try 〜 catch 〜 finally をきちんと行う。
249         * @og.rev 5.1.9.0 (2010/08/01) Transaction 対応
250         * @og.rev 5.2.2.0 (2010/11/01)) ""で囲われているデータに改行が入っていた場合の対応
251         * @og.rev 5.3.7.0 (2011/07/01) TransactionReal の引数変更
252         * @og.rev 5.3.8.0 (2011/08/01) pstmt.setObject で、useParamMetaData の判定を避けるため、pstmt.setString で代用(PostgreSQL対応)
253         * @og.rev 5.5.7.1 (2012/10/05) omitFirstLine対応
254         * @og.rev 5.7.0.3 (2013/11/22) BufferedReaderのclose処理をこのメソッド内のfinallyで行う
255         *
256         * @param   reader BufferedReaderオブジェクト
257         *
258         * @return  取り込み件数
259         */
260        private int create( final BufferedReader reader )  {
261
262                String[] names = readName( reader );    // ファイルのカラム名
263                int   nameLen = names.length ;                  // 3.8.5.1 (2006/05/08) 追加
264
265                ArrayDataModel nmdata = new ArrayDataModel( names );
266                Formatter format = new Formatter( nmdata );
267                format.setFormat( sql.trim() );
268                sql = format.getQueryFormatString();
269                int[] clmNos = format.getClmNos();
270                int   clmNosLen = clmNos.length ;
271                clmKeys = format.getClmKeys();
272
273                CheckColumnData checkClass = new CheckColumnData( clmNos,clmKeys,getResource() );
274
275                ArrayDataModel nullData = new ArrayDataModel( names );
276                int[] nullClmNos = nullData.getColumnNos( nullCheck );  // バインド変数のアドレス求め
277
278                // 3.8.0.2 (2005/06/30) nullチェック確認
279                int   nullClmNosLen = nullClmNos.length ;
280
281                int    executeCount = 0;
282                int    commitCount  = 0;
283                char   sep  = separator.charAt(0);
284                boolean errFlag  = true;
285                Transaction tran = null;        // 5.1.9.0 (2010/08/01) Transaction 対応
286                PreparedStatement pstmt = null ;
287                String[] data   = null ;
288                int skip = skipRowCount; // 5.5.7.1 (2012/10/05)
289                try {
290                        // 5.1.9.0 (2010/08/01) Transaction 対応
291                        TransactionTag tranTag = (TransactionTag)findAncestorWithClass( this,TransactionTag.class );
292                        if( tranTag == null ) {
293                                tran = new TransactionReal( getApplicationInfo() );             // 5.3.7.0 (2011/07/01) 引数変更
294                        }
295                        else {
296                                tran = tranTag.getTransaction();
297                        }
298
299                        Connection conn = tran.getConnection( dbid );           // 5.1.9.0 (2010/08/01) Transaction 対応
300                        pstmt = conn.prepareStatement( sql );
301                        String line ;
302                        while((line = reader.readLine()) != null) {
303                                if( line.length() == 0 || line.charAt( 0 ) == '#' ) { continue; }
304                                else if( skip > 0 ){ skip--; continue;} // 5.5.7.1 (2012/10/05) 
305                                else {
306                                        // 5.2.2.0 (2010/11/01) ""で囲われているデータに改行が入っていた場合の対応
307                                        int quotCount = StringUtil.countChar( line, '"' );
308                                        if( quotCount % 2 != 0 ) {
309                                                String addLine = null;
310                                                StringBuilder buf = new StringBuilder( line );
311                                                while(quotCount % 2 != 0 && (addLine = reader.readLine()) != null) {
312                                                        if( line.length() == 0 || line.charAt( 0 ) == '#' ) { continue; }
313                                                        buf.append( HybsSystem.CR ).append( addLine );
314                                                        quotCount += StringUtil.countChar( addLine, '"' );
315                                                }
316                                                line = buf.toString();
317                                        }
318
319                                        // 3.8.5.1 (2006/05/08) 取込データが name 列より少ない場合の対応を追加
320                                        data = StringUtil.csv2Array( line , sep , nameLen );
321
322                                        // 3.6.0.2 (2004/10/04) カラム変換
323                                        if( useColumnAdjust ) {
324                                                data = checkClass.adjustData( data );
325                                        }
326
327                                        // 3.6.0.2 (2004/10/04) カラムチェック
328                                        if( useColumnCheck ) {
329                                                ErrorMessage errMsg = checkClass.checkData( executeCount, data );
330                                                if( !errMsg.isOK() ) {
331                                                        tran.rollback();                        // 5.1.9.0 (2010/08/01) Transaction 対応
332                                                        jspPrint( TaglibUtil.makeHTMLErrorTable( errMsg,getResource() ) );
333                                                        return commitCount;
334                                                }
335                                        }
336
337                                        // 3.8.0.2 (2005/06/30) nullチェック確認
338                                        if( nullClmNosLen > 0 ) {
339                                                ErrorMessage errMsg = new ErrorMessage( "Null Check Columns Error!" );
340
341                                                for( int i=0; i<nullClmNosLen; i++ ) {
342                                                        int clm = nullClmNos[i];
343                                                        if( data[clm] == null || data[clm].length() == 0 ) {
344                                                                String label = getResource().getLabel( nullCheck[i] );
345                                                                // ERR0012 : 指定のデータがセットされていません。(NULLエラー)。key={0}
346                                                                errMsg.addMessage( executeCount+1,ErrorMessage.NG,"ERR0012",label );
347                                                        }
348                                                }
349                                                if( !errMsg.isOK() ) {
350                                                        tran.rollback();                        // 5.1.9.0 (2010/08/01) Transaction 対応
351                                                        jspPrint( TaglibUtil.makeHTMLErrorTable( errMsg,getResource() ) );
352                                                        return commitCount;
353                                                }
354                                        }
355
356                                        for( int i=0; i<clmNosLen; i++ ) {
357                                                String val = data[clmNos[i]];
358                                                if( val != null && val.startsWith( "'0" ) ) {
359                                                        val = val.substring( 1 );
360                                                }
361                                                pstmt.setString( i+1,val );
362                                        }
363
364                                        pstmt.execute();
365                                        if( commitBatch > 0 && ( executeCount%commitBatch == 0 ) ) {
366                                                tran.commit();                  // 5.1.9.0 (2010/08/01) Transaction 対応
367                                                commitCount = executeCount;
368                                        }
369                                        executeCount++ ;
370                                }
371                        }
372                        tran.commit();                  // 5.1.9.0 (2010/08/01) Transaction 対応
373                        commitCount = executeCount ;
374                        errFlag = false;                // エラーではない
375                }
376                catch (IOException ex) {
377                        String errMsg = "ファイル読込みエラー[" + reader.toString() + "]"
378                                                + " 行番号=[" + executeCount +"]"
379                                                + " 登録件数=[" + commitCount + "]"  ;
380                        throw new HybsSystemException( errMsg,ex );
381                }
382                catch (SQLException ex) {
383                        String errMsg = "sql=[" + sql + "]" + HybsSystem.CR
384                                                +       "names=[" + StringUtil.array2csv( names ) + "]" + HybsSystem.CR
385                                                +       "vals =[" + StringUtil.array2csv( data ) + "]" + HybsSystem.CR
386                                                + " 行番号=[" + executeCount +"]"
387                                                + " 登録件数=[" + commitCount + "]"  + HybsSystem.CR
388                                                + " errorCode=[" + ex.getErrorCode() + "] State=[" +
389                                                ex.getSQLState() + "]" + HybsSystem.CR ;
390                        throw new HybsSystemException( errMsg,ex );
391                }
392                finally {
393                        Closer.stmtClose( pstmt );
394                        Closer.ioClose( reader );       // 5.7.0.3 (2013/11/22) finallyでcloseするように変更
395                        if( tran != null ) {                            // 5.5.2.6 (2012/05/25) findbugs対応
396                                tran.close( errFlag );                  // 5.1.9.0 (2010/08/01) Transaction 対応
397                        }
398                }
399
400                return commitCount;
401        }
402
403        /**
404         * BufferedReader より、#NAME 行の項目名情報を読み取ります。
405         * データカラムより前に、項目名情報を示す "#Name" が存在する仮定で取り込みます。
406         * この行は、ファイルの形式に無関係に、TAB で区切られています。
407         * #NAME 配列の先頭(行番号にあたる個所)は、ROW_NO というキーを割り当てます。
408         * columns が設定されている場合は、#NAME 行ではなく、columns を優先します。
409         *
410         * @og.rev 3.6.0.0 (2004/09/22) #NAME 行が見つからない場合は、エラーとします。
411         * @og.rev 3.6.0.2 (2004/10/04) columns が設定されている場合は、それを返します。
412         *
413         * @param       reader PrintWriterオブジェクト
414         *
415         * @return      カラム名配列
416         */
417        private String[] readName( final BufferedReader reader ) {
418                if( columns != null && columns.length > 0 ) {
419                        return columns ;
420                }
421
422                try {
423                        String line;
424                        while((line = reader.readLine()) != null) {
425                                if( line.length() == 0 ) { continue; }
426                                if( line.charAt(0) == '#' ) {
427                                        if( line.length() >= 5 &&
428                                                "#NAME".equalsIgnoreCase( line.substring( 0,5 ) ) ) {
429                                                String[] rtn = StringUtil.csv2Array( line ,TAB_SEPARATOR.charAt(0) );
430                                                rtn[0] = "ROW_NO";      // 先頭カラムにカラム名を与える。
431                                                return rtn ;
432                                        }
433                                        else { continue; }
434                                }
435                                else {
436                                        String errMsg = "#NAME が見つかる前にデータが見つかりました。" + HybsSystem.CR
437                                                        + " LINE=" + line;                      // 5.1.8.0 (2010/07/01) errMsg 修正
438                                        throw new HybsSystemException( errMsg );
439                                }
440                        }
441                }
442                catch (IOException ex) {
443                        String errMsg = "ファイル読込みエラー[" + reader.toString() + "]"  ;
444                        throw new HybsSystemException( errMsg,ex );
445                }
446
447                String errMsg = "#NAME が見つかりませんでした。";
448                throw new HybsSystemException( errMsg );
449        }
450
451        /**
452         * BufferedReader を取得します。
453         *
454         * ここでは、一般的なファイル出力を考慮した BufferedReader を作成します。
455         *
456         * @return      指定の読み取り用BufferedReaderオブジェクト
457         */
458        private BufferedReader getBufferedReader() {
459                if( filename == null ) {
460                        String errMsg = "ファイル名がセットされていません。";
461                        throw new HybsSystemException( errMsg );
462                }
463                String directory = HybsSystem.url2dir( fileURL );
464                File file = new File( StringUtil.urlAppend( directory,filename ) );
465
466                BufferedReader out = FileUtil.getBufferedReader( file,encode );
467
468                return out ;
469        }
470
471        /**
472         * 【TAG】(通常は使いません)検索時のDB接続IDを指定します(初期値:DEFAULT)。
473         *
474         * @og.tag
475         *   検索時のDB接続IDを指定します。初期値は、DEFAULT です。
476         *
477         * @param       id データベース接続ID
478         */
479        public void setDbid( final String id ) {
480                dbid = nval( getRequestParameter( id ),dbid );
481        }
482
483        /**
484         * 【TAG】可変長ファイルを作成するときの項目区切り文字をセットします(初期値:タブ)。
485         *
486         * @og.tag 可変長ファイルを作成するときの項目区切り文字をセットします。
487         *
488         * @param   separator 項目区切り文字
489         */
490        public void setSeparator( final String separator ) {
491                this.separator = nval( getRequestParameter( separator ),this.separator );
492        }
493
494        /**
495         * 【TAG】読み取り元ディレクトリ名を指定します
496         *              (初期値:FILE_URL[={@og.value org.opengion.hayabusa.common.SystemData#FILE_URL}])。
497         *
498         * @og.tag
499         * この属性で指定されるディレクトリより、ファイルを読み取ります。
500         * 指定方法は、通常の fileURL 属性と同様に、先頭が、'/' (UNIX) または、2文字目が、
501         * ":" (Windows)の場合は、指定のURLそのままのディレクトリに、そうでない場合は、
502         * fileURL = "{&#064;USER.ID}" と指定すると、FILE_URL 属性で指定のフォルダの下に、
503         * さらに、各個人ID別のフォルダの下より、読み取ります。
504         * (初期値:システム定数のFILE_URL[={@og.value org.opengion.hayabusa.common.SystemData#FILE_URL}])。
505         *
506         * @og.rev 4.0.0.0 (2005/01/31) StringUtil.urlAppend メソッドの利用
507         * @og.rev 4.0.0.0 (2007/11/20) 指定されたディレクトリ名の最後が"\"or"/"で終わっていない場合に、"/"を付加する。
508         *
509         * @param       url ファイルURL
510         * @see         org.opengion.hayabusa.common.SystemData#FILE_URL
511         */
512        public void setFileURL( final String url ) {
513                String furl = nval( getRequestParameter( url ),null );
514                if( furl != null ) {
515                        char ch = furl.charAt( furl.length()-1 );
516                        if( ch != '/' && ch != '\\' ) { furl = furl + "/"; }
517                        fileURL = StringUtil.urlAppend( fileURL,furl );
518                }
519        }
520
521        /**
522         * 【TAG】ファイルを作成するときのファイル名をセットします
523         *              (初期値:FILE_FILENAME[={@og.value org.opengion.hayabusa.common.SystemData#FILE_FILENAME}])。
524         *
525         * @og.tag
526         * ファイルを作成するときのファイル名をセットします。
527         * (初期値:システム定数のFILE_FILENAME[={@og.value org.opengion.hayabusa.common.SystemData#FILE_FILENAME}])。
528         *
529         * @param   filename ファイル名
530         * @see         org.opengion.hayabusa.common.SystemData#FILE_FILENAME
531         */
532        public void setFilename( final String filename ) {
533                this.filename = nval( getRequestParameter( filename ),this.filename );
534        }
535
536        /**
537         * 【TAG】ファイルを作成するときのファイルエンコーディング名をセットします
538         *              (初期値:FILE_ENCODE[={@og.value org.opengion.hayabusa.common.SystemData#FILE_ENCODE}])。
539         *
540         * @og.tag
541         * 初期値は、システムパラメータ の FILE_ENCODE 属性で、設定しています。
542         * Shift_JIS,MS932,Windows-31J,UTF-8,ISO-8859-1,UnicodeLittle・・・
543         * (初期値:システム定数のFILE_ENCODE[={@og.value org.opengion.hayabusa.common.SystemData#FILE_ENCODE}])。
544         *
545         * @param   enc ファイルエンコーディング名
546         * @see     <a href="http://www.iana.org/assignments/character-sets">IANA Charset Registry</a>
547         * @see         org.opengion.hayabusa.common.SystemData#FILE_ENCODE
548         */
549        public void setEncode( final String enc ) {
550                encode = nval( getRequestParameter( enc ),encode );
551        }
552
553        /**
554         * 【TAG】query の結果を画面上に表示するメッセージIDを指定します(初期値:MSG0040[ 件登録しました])。
555         *
556         * @og.tag
557         * ここでは、検索結果の件数や登録された件数をまず出力し、
558         * その次に、ここで指定したメッセージをリソースから取得して
559         * 表示します。
560         * 表示させたくない場合は, displayMsg = "" をセットしてください。
561         * 初期値は、検索件数を表示します。
562         * ※ この属性には、リクエスト変数({&#064;XXXX})は使用できません。
563         *
564         * @param   id ディスプレイに表示させるメッセージ ID
565         */
566        public void setDisplayMsg( final String id ) {
567                if( id != null ) { displayMsg = id; }
568        }
569
570        /**
571         * 【TAG】#NAME 属性の代わりとなるファイルのカラム名を CSV形式で指定します。
572         *
573         * @og.tag
574         * データファイルの先頭行に、#NAME 行があり、読み取るべきファイルの
575         * カラム名が記述されています。通常は、このカラム名を取り込んで、
576         * 各データ列のカラムを指定します。
577         * この属性は、ファイルに#NAME 行が存在しない(他システムからの入力ファイル等)
578         * 場合に、#NAME 属性の代わりに、カラム名を外部より指定します。
579         *
580         * @og.rev 3.8.5.1 (2006/05/08) getCSVParameter の使用を中止
581         *
582         * @param   clms ファイルのカラム名(カンマ区切り文字)
583         */
584        public void setColumns( final String clms ) {
585                columns = StringUtil.csv2Array( nval( getRequestParameter( clms ),null ),',' );
586        }
587
588        /**
589         * 【TAG】指定数毎にコミットを発行します(初期値:0 終了までコミットしません)。
590         *
591         * @og.tag
592         * 通常は、全ての処理が正常に終了するか、なにもしないか(トランザクション)
593         * を判断すべきで、途中でのコミットはしません。
594         * しかし、場合によって、件数が異常に多い場合や、再実行可能な場合は、
595         * 途中でコミットして、都度、処理できるものだけを処理してしまうという方法があります。
596         * また、ロールバックエリアの関係などで、データ量が多い場合に、処理時間が異常に
597         * 長くなる事があり、指定件数ごとのコミット機能を用意しています。
598         * 0 に設定すると、終了までコミットしません。初期値は、0 です。
599         *
600         * @param   cmtBat 指定数毎にコミットを発行(初期値:0)
601         */
602        public void setCommitBatch( final String cmtBat ) {
603                commitBatch = nval( getRequestParameter( cmtBat ),commitBatch );
604        }
605
606        /**
607         * 【TAG】カラムチェック(DBTypeチェック)を行うかどうかを設定します(初期値:false)。
608         *
609         * @og.tag
610         * カラムの整合性チェックを行う場合、この属性を設定(true)します。
611         * 初期値は、行わない(false)です。
612         * チェックするカラムは、#NAME や columns で指定されたカラムではなく、
613         * BODY部のSQL文で指定されたカラム名( [カラム名] )です。これは、直接、SQL文中に
614         * 記述している値や、{&#064;XXXX}文字等は、チェック出来ない為です。
615         *
616         * @og.rev 3.6.0.2 (2004/10/04) 新規追加 取り込み時全チェック
617         *
618         * @param   flag チェックを行うかどうか(true:行う/false:行わない)
619         * @see     #setUseColumnAdjust( String )
620         */
621        public void setUseColumnCheck( final String flag ) {
622                useColumnCheck = nval( getRequestParameter( flag ),useColumnCheck );
623        }
624
625        /**
626         * 【TAG】カラム変換(DBType変換)を行うかどうかを設定します(初期値:false)。
627         *
628         * @og.tag
629         * カラムの変換を行う場合、この属性を設定(true)します。
630         * 初期値は、行わない(false)です。
631         * 変換するカラムは、#NAME や columns で指定されたカラムではなく、
632         * BODY部のSQL文で指定されたカラム名[カラム名]です。これは、直接、SQL文中に
633         * 記述している値や、{&#064;XXXX}文字等は、変換出来ない為です。
634         *
635         * @og.rev 3.6.0.2 (2004/10/04) 新規追加 取り込み時変換
636         *
637         * @param   flag 変換を行うかどうか(true:行う/false:行わない)
638         * @see     #setUseColumnCheck( String )
639         */
640        public void setUseColumnAdjust( final String flag ) {
641                useColumnAdjust = nval( getRequestParameter( flag ),useColumnAdjust );
642        }
643
644        /**
645         * 【TAG】NULL チェックすべきカラム列をカンマ区切り(CSV形式)で指定します。
646         *
647         * @og.tag nullCheck="AAA,BBB,CCC,DDD"
648         * 分解方法は、通常のパラメータ取得後に、CSV分解します。
649         *
650         * @og.rev 3.8.0.2 (2005/06/30) 新規追加
651         * @og.rev 3.8.8.5 (2007/03/09) 通常のパラメータ取得後に、CSV分解に戻します。
652         *
653         * @param   clms カラム列(CSV形式)
654         */
655        public void setNullCheck( final String clms ) {
656                nullCheck = StringUtil.csv2Array( getRequestParameter( clms ) );
657                if( nullCheck.length == 0 ) { nullCheck = null; }
658        }
659        
660        /**
661         * 【TAG】取り込み時に除外する行を指定します(初期値:0)。
662         *
663         * @og.tag
664         * TAB区切りテキストやEXCEL等のデータの読み始めの初期値を指定します。
665         * ファイルの先頭行が、0行としてカウントしますので、設定値は、読み飛ばす
666         * 件数になります。(1と指定すると、1件読み飛ばし、2行目から読み込みます。)
667         * 読み飛ばしは、コメント行などは、無視しますので、実際の行数分読み飛ばします。
668         * #NAME属性や、columns 属性は、有効です。
669         *
670         * @og.rev 5.5.7.1 (2012/10/05) 新規追加
671         *
672         * @param   count 先頭行を無視するかどうか(true:無視する/false:無視しない)
673         */
674        public void setSkipRowCount( final String count ) {
675                skipRowCount = nval( getRequestParameter( count ),skipRowCount );
676        }
677
678        /**
679         * 【TAG】検索結果が0件のとき処理を続行するかどうか[true/false]を指定します(初期値:false[続行する])。
680         *
681         * @og.tag
682         * 初期値は、false(続行する)です。
683         *
684         * @og.rev 5.7.6.2 (2014/05/16) 新規追加
685         *
686         * @param  cmd 検索結果が0件のとき、[true:処理を中止する/false:続行する]
687         */
688        public void setStopZero( final String cmd ) {
689                stopZero = nval( getRequestParameter( cmd ),stopZero );
690        }
691
692        /**
693         * カラム変換、カラムチェックを行う内部クラス
694         *
695         * @og.rev 4.0.0.0 (2005/01/31) static クラス化、引数にResourceManager追加
696         * @og.group ファイル入力
697         *
698         * @version  4.0
699         * @author   Kazuhiko Hasegawa
700         * @since    JDK5.0,
701         */
702        static class CheckColumnData {
703                private final DBColumn[] dbClm    ;
704                private final int[]      clmChkNo ;
705                private final int        len      ;             // 長さ0の時は、なにもしない。
706                private final ErrorMessage errMsg = new ErrorMessage( "Check Columns Error!" );
707
708                /**
709                 * コンストラクター
710                 *
711                 * @param       clmNo   カラム番号配列
712                 * @param chkClm String[]
713                 * @param resource ResourceManager
714                 */
715                CheckColumnData( final int[] clmNo, final String[] chkClm,final ResourceManager resource ) {
716                        if( clmNo  == null || clmNo.length  == 0 ||
717                                chkClm == null || chkClm.length == 0 ) { // return; }   // 何もしない
718
719                                dbClm    = null;
720                                clmChkNo = null;
721                                len      = 0;
722                        }
723                        else {
724                                clmChkNo = clmNo ;
725                                len = clmNo.length ;
726                                dbClm = new DBColumn[len];
727                                for( int i=0; i<len; i++ ) {
728                                        dbClm[i] = resource.makeDBColumn( chkClm[i] );  // 4.0.0 (2005/01/31)
729                                }
730                        }
731                }
732
733                /**
734                 * 引数のデータを DBColumn で正規化(valueSetメソッド経由)します。
735                 *
736                 * @param       data    1行分のデータ配列
737                 * @return String[]
738                 * @see org.opengion.hayabusa.db.DBColumn#valueSet( String )
739                 */
740                String[] adjustData( final String[] data ) {
741                        if( len == 0 ) { return data; }
742                        String[] ajstData = new String[len];
743                        for( int i=0; i<len; i++ ) {
744                                String val = data[clmChkNo[i]];
745                                ajstData[i] = dbClm[i].valueSet( val );
746                        }
747                        return ajstData ;
748                }
749
750                /**
751                 * 引数のデータを DBColumn で正規化(valueSetメソッド経由)します。
752                 *
753                 * @param       row     行番号
754                 * @param       data    1行分のデータ配列
755                 * @return ErrorMessage
756                 * @see org.opengion.hayabusa.db.DBColumn#valueSet( String )
757                 */
758                ErrorMessage checkData( final int row,final String[] data ) {
759                        for( int i=0; i<len; i++ ) {
760                                String val = data[clmChkNo[i]];
761                                errMsg.append( row+1,dbClm[i].valueCheck( val ) );
762                        }
763                        return errMsg ;
764                }
765        }
766
767        /**
768         * このオブジェクトの文字列表現を返します。
769         * 基本的にデバッグ目的に使用します。
770         *
771         * @return このクラスの文字列表現
772         */
773        @Override
774        public String toString() {
775                return org.opengion.fukurou.util.ToString.title( this.getClass().getName() )
776                                .println( "VERSION"                     ,VERSION                )
777                                .println( "dbid"                        ,dbid                   )
778                                .println( "separator"           ,separator              )
779                                .println( "fileURL"                     ,fileURL                )
780                                .println( "filename"            ,filename               )
781                                .println( "encode"                      ,encode                 )
782                                .println( "displayMsg"          ,displayMsg             )
783                                .println( "columns"                     ,columns                )
784                                .println( "clmKeys"                     ,clmKeys                )
785                                .println( "sql"                         ,sql                    )
786                                .println( "commitBatch"         ,commitBatch    )
787                                .println( "useColumnCheck"      ,useColumnCheck )
788                                .println( "useColumnAdjust"     ,useColumnAdjust)
789                                .println( "nullCheck"           ,nullCheck              )
790                                .println( "dyStart"                     ,dyStart                )
791                                .println( "Other..."            ,getAttributes().getAttribute() )
792                                .fixForm().toString() ;
793        }
794}