001/* 002 * Copyright (c) 2009 The openGion Project. 003 * 004 * Licensed under the Apache License, Version 2.0 (the "License"); 005 * you may not use this file except in compliance with the License. 006 * You may obtain a copy of the License at 007 * 008 * http://www.apache.org/licenses/LICENSE-2.0 009 * 010 * Unless required by applicable law or agreed to in writing, software 011 * distributed under the License is distributed on an "AS IS" BASIS, 012 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, 013 * either express or implied. See the License for the specific language 014 * governing permissions and limitations under the License. 015 */ 016package org.opengion.fukurou.xml; 017 018import org.opengion.fukurou.system.OgRuntimeException ; // 6.4.2.0 (2016/01/29) 019import org.opengion.fukurou.system.ThrowUtil; // 6.4.2.0 (2016/01/29) 020import org.opengion.fukurou.util.FileUtil ; // 6.0.0.0 (2014/04/11) ログ関係を Writer で管理します。 021import org.opengion.fukurou.system.Closer ; 022import static org.opengion.fukurou.system.HybsConst.CR; // 6.1.0.0 (2014/12/26) refactoring 023 024import java.sql.Connection; 025import java.sql.SQLException; 026 027// import java.io.Reader; 028import java.io.BufferedReader; 029import java.io.InputStreamReader; 030// import java.io.FileInputStream; 031import java.io.InputStream; 032import java.io.IOException; 033import java.io.File; 034import java.io.UnsupportedEncodingException; 035import java.io.Writer; // 6.0.0.0 (2014/04/11) ログ関係を Writer で管理します。 036 037import java.util.Arrays; 038import java.util.List; 039import java.util.Map; 040import java.util.ArrayList; 041import java.util.Enumeration; 042import java.util.jar.JarFile; 043import java.util.jar.JarEntry; 044import java.net.URL; 045 046/** 047 * ORACLE XDK 形式のXMLファイルを読み取って、データベースに登録します。 048 * 049 * これは、Ver5の時は、org.opengion.hayabusa.common.InitFileLoader として 050 * 使用されていたクラスを改造したものです。 051 * InitFileLoader は、Ver6 では廃止されていますので、ご注意ください。 052 * 053 * 登録の実行有無の判断は、ファイルの更新時刻より判断します。(useTimeStamp=true の場合) 054 * これは、読み取りファイルの更新時刻が、0でない場合、読み取りを行います。 055 * 読み取りが完了した場合は、更新時刻を 0 に設定します。 056 * 読み取るファイルは、クラスローダーのリソースや、指定のフォルダ以下のファイル、そして、 057 * zip 圧縮されたファイルの中から、拡張子が xml で、UTF-8でエンコードされている 058 * 必要があります。通常は、ファイル名がテーブル名と同一にしておく必要がありますが、 059 * ROWSETのtable属性にテーブル名をセットしておくことも可能です。 060 * ファイルの登録順は、原則、クラスローダーの検索順に、見つかった全てのファイルを 061 * 登録します。データそのものは、INSERT のみ対応していますので、原則登録順は無視されます。 062 * ただし、拡張XDK 形式で、EXEC_SQL タグを使用した場合は、登録順が影響する可能性があります。 063 * 例:GE12.xml GE12 テーブルに登録するXMLファイル 064 * 登録時に、既存のデータの破棄が必要な場合は、拡張XDK 形式のXMLファイルを 065 * 作成してください。これは、EXEC_SQL タグに書き込んだSQL文を実行します。 066 * 詳細は、{@link org.opengion.fukurou.xml.HybsXMLHandler HybsXMLHandler} クラスを参照してください。 067 * 068 * <ROWSET tableName="XX" > 069 * <EXEC_SQL> 最初に記載して、初期処理(データクリア等)を実行させる。 070 * delete from GEXX where YYYYY 071 * </EXEC_SQL> 072 * <ROW num="1"> 073 * <カラム1>値1</カラム1> 074 * ・・・ 075 * <カラムn>値n</カラムn> 076 * </ROW> 077 * ・・・ 078 * <ROW num="n"> 079 * ・・・ 080 * </ROW> 081 * <EXEC_SQL> 最後に記載して、項目の設定(整合性登録)を行う。 082 * update GEXX set AA='XX' , BB='XX' where YYYYY 083 * </EXEC_SQL> 084 * <ROWSET> 085 * 086 * @og.rev 4.0.0.0 (2004/12/31) 新規作成(org.opengion.hayabusa.common.InitFileLoader) 087 * @og.rev 6.0.0.0 (2014/04/11) パッケージ、クラスファイル変更 088 * 089 * @version 6.0 090 * @author Kazuhiko Hasegawa 091 * @since JDK7.0, 092 */ 093public final class XMLFileLoader { 094 private static final String ENCODE = "UTF-8"; // 8.0.0.1 (2021/10/08) cloud対応 095 096 private final Connection connection ; 097 private final boolean useTimeStamp ; 098 099 // 6.0.0.0 (2014/04/11) ログ関係を Writer で管理します。 100 private Writer log = FileUtil.getLogWriter( "System.out" ); 101 102 // 6.0.0.0 (2014/04/11) タイムスタンプのゼロクリア対象のファイルを管理するリスト 103 private final List<File> fileList = new ArrayList<>(); 104 105 // 6.0.0.0 (2014/04/11) setAfterMap メソッドの対応 106 /** 6.4.3.1 (2016/02/12) 作成元のMapを、HashMap から ConcurrentHashMap に置き換え。 */ 107 private Map<String,String> afterMap ; 108 109 // 6.0.0.0 (2014/04/11) 追加,更新,削除,実行 の各実行時のカウントの総数 110 private final int[] crudCnt = new int[] { 0,0,0,0 }; // CRUD カウントですが、配列の順番は追加,更新,削除,実行 111 112 /** getCRUDCount() で返される カウント数の配列番号 {@value} */ 113 public static final int INS = 0; 114 /** getCRUDCount() で返される カウント数の配列番号 {@value} */ 115 public static final int DEL = 1; 116 /** getCRUDCount() で返される カウント数の配列番号 {@value} */ 117 public static final int UPD = 2; 118 /** getCRUDCount() で返される カウント数の配列番号 {@value} */ 119 public static final int DDL = 3; 120 121 /** 122 * コネクションを引数にする、コンストラクターです。 123 * classPath="resource" で初期化された XMLFileLoader を作成します。 124 * useTimeStamp 属性を true に設定すると、このファイルを読み取る都度 125 * タイムスタンプを、クリアします。 126 * また、タイムスタンプがクリアされたファイルは読み込みませんので、機能的に 127 * 一度しか読み込まないという事になります。 128 * 129 * @param conn 登録用コネクション 130 * @param useTimeStamp タイムスタンプの管理を行うかどうか[true:行う/false:行わない] 131 */ 132 public XMLFileLoader( final Connection conn , final boolean useTimeStamp ) { 133 connection = conn ; 134 this.useTimeStamp = useTimeStamp; 135 } 136 137 /** 138 * ログ出力を行う 内部ログ(Writer) を指定します。 139 * 140 * 内部ログ(Writer) の初期値は、null とします。 141 * 内部ログ(Writer)が null の場合は、なにもしません。 142 * 143 * @og.rev 6.0.0.0 (2014/04/11) ログ関係を Writer で管理します。 144 * 145 * @param log Writerオブジェクト 146 */ 147 public void setLogWriter( final Writer log ) { 148 this.log = log ; 149 } 150 151 /** 152 * XMLファイルを読み取った後で指定するカラムと値のペア(マップ)情報をセットします。 153 * 154 * このカラムと値のペアのマップは、オブジェクト構築後に設定される為、 155 * XMLファイルのキーの存在に関係なく、Mapのキーと値が使用されます。(Map優先) 156 * null を設定した場合は、なにも処理されません。 157 * 158 * @og.rev 6.0.0.0 (2014/04/11) 新規追加 159 * 160 * @param map 後設定するカラムデータマップ 161 */ 162 public void setAfterMap( final Map<String,String> map ) { 163 afterMap = map; 164 } 165 166 /** 167 * XMLファイルを登録後の、追加,更新,削除,実行 のカウント配列を返します。 168 * 169 * 簡易的に処理したいために、配列に設定しています。 170 * 順番に、追加,更新,削除,実行 のカウント値になります。 171 * 172 * @og.rev 6.0.0.0 (2014/04/11) 新規追加 173 * 174 * @return 追加,更新,削除,実行 のカウント配列 175 * @og.rtnNotNull 176 */ 177 public int[] getCRUDCount() { 178 // 6.0.2.5 (2014/10/31) refactoring 179 return crudCnt.clone(); 180 } 181 182 /** 183 * 対象となるファイル群を ClassLoader の指定パスから、検索します。 184 * 185 * 対象ファイルは、指定フォルダに テーブル名.xml 形式で格納しておきます。 186 * このフォルダのファイルをピックアップします。 187 * useTimeStamp 属性を true に設定すると、このファイルを読み取る都度 188 * タイムスタンプを、クリアします。 189 * また、タイムスタンプがクリアされたファイルは読み込みませんので、機能的に 190 * 一度しか読み込まないという事になります。 191 * 192 * @og.rev 6.0.0.0 (2014/04/11) 新規追加 193 * @og.rev 6.4.0.4 (2015/12/26) Writer(ログ)のCloseは、ここでは行わない。 194 * @og.rev 6.8.5.1 (2018/01/15) ファイル名は、##バージョン番号を変換しておく必要がある。 195 * 196 * @param path 対象となるファイル群を検索する、クラスパス 197 */ 198 public void loadClassPathFiles( final String path ) { 199 try { 200 final ClassLoader loader = Thread.currentThread().getContextClassLoader(); 201 final Enumeration<URL> enume = loader.getResources( path ); 202 while( enume.hasMoreElements() ) { 203 final URL url = enume.nextElement(); 204 // jar:file:/実ディレクトリ または、file:/実ディレクトリ 205 println( " XMLFileLoader Scan:[ " + url + " ]" ); // 6.0.0.0 (2014/04/11) ログ関係を Writer で管理 206// final String dir = url.getFile(); 207 final String dir = url.getFile().replaceAll( "%23%23","##" ); // 6.8.5.1 (2018/01/15) 208 209 if( "jar".equals( url.getProtocol() ) ) { 210 // dir = file:/C:/webapps/gf/WEB-INF/lib/resource2.jar!/resource 形式です。 211 final String jar = dir.substring(dir.indexOf( ':' )+1,dir.lastIndexOf( '!' )); 212 // jar = /C:/webapps/gf/WEB-INF/lib/resource2.jar 形式に切り出します。 213 214 // 5.6.6.1 (2013/07/12) jarファイルも、タイムスタンプ管理の対象 215 loadJarFile( new File( jar ) ); 216 } 217 else { 218 // 5.3.6.0 (2011/06/01) 実フォルダの場合、フォルダ階層を下る処理を追加 219 // dir = /C:/webapps/gf/WEB-INF/classes/resource/ 形式です。 220 loadXMLDir( new File( dir ) ); 221 } 222 } 223 Closer.commit( connection ); 224 } 225 catch( final SQLException ex ) { 226 final String errMsg = "SQL実行時にエラーが発生しました。" 227 + CR + ex.getMessage(); 228 Closer.rollback( connection ); 229 throw new OgRuntimeException( errMsg,ex ); 230 } 231 catch( final IOException ex ) { 232 final String errMsg = "XMLファイル読み取り時にエラーが発生しました。" 233 + CR + ex.getMessage(); 234 throw new OgRuntimeException( errMsg,ex ); 235 } 236 finally { 237 // 6.4.0.4 (2015/12/26) Writer(ログ)のCloseは、ここでは行わない。 238 setZeroTimeStamp(); // 6.0.0.0 (2014/04/11) タイムスタンプの書き換えをメソッド化 239 } 240 } 241 242 /** 243 * 対象となるファイル群を ファイル単体、フォルダ階層以下、ZIPファイル から、検索します。 244 * 245 * 対象ファイルは、テーブル名.xml 形式で格納しておきます。 246 * この処理では、ファイル単体(*.xml)、フォルダ階層以下、ZIPファイル(*.jar , *.zip) は混在できません。 247 * 最初に判定した形式で、個々の処理に振り分けています。 248 * 249 * @og.rev 6.0.0.0 (2014/04/11) 新規追加 250 * @og.rev 6.4.0.4 (2015/12/26) Writer(ログ)のCloseは、ここでは行わない。 251 * 252 * @param fileObj 読取元のファイルオブジェクト 253 * @see #loadClassPathFiles( String ) 254 */ 255 public void loadXMLFiles( final File fileObj ) { 256 try { 257 // nullでなく、ファイル/フォルダが存在することが前提 258 if( fileObj != null && fileObj.exists() ) { 259 println( " XMLFileLoader Scan:[ " + fileObj + " ]" ); // 6.0.0.0 (2014/04/11) ログ関係を Writer で管理 260 loadXMLDir( fileObj ); // ファイルかディレクトリ 261 } 262 Closer.commit( connection ); 263 } 264 catch( final SQLException ex ) { 265 final String errMsg = "SQL実行時にエラーが発生しました。" 266 + CR + ex.getMessage(); 267 Closer.rollback( connection ); 268 throw new OgRuntimeException( errMsg,ex ); 269 } 270 catch( final IOException ex ) { 271 final String errMsg = "XMLファイル読み取り時にエラーが発生しました。" 272 + CR + ex.getMessage(); 273 throw new OgRuntimeException( errMsg,ex ); 274 } 275 finally { 276 // 6.4.0.4 (2015/12/26) Writer(ログ)のCloseは、ここでは行わない。 277 setZeroTimeStamp(); // 6.0.0.0 (2014/04/11) タイムスタンプの書き換えをメソッド化 278 } 279 } 280 281 /** 282 * XMLフォルダ/ファイルを読み取り、データベースに追加(INSERT)するメソッドをコールします。 283 * 284 * ここでは、フォルダ階層を下るための再起処理を行っています。 285 * XMLファイルは、ORACLE XDK拡張ファイルです。テーブル名を指定することで、 286 * XMLファイルをデータベースに登録することが可能です。 287 * ORACLE XDK拡張ファイルや、EXEC_SQLタグなどの詳細は、{@link org.opengion.fukurou.xml.HybsXMLSave} 288 * を参照願います。 289 * 290 * @og.rev 5.3.6.0 (2011/06/01) 実フォルダの場合、フォルダ階層を下る処理を追加 291 * @og.rev 8.0.0.1 (2021/10/08) cloud対応 292 * 293 * @param jarObj 読取元のJarファイルオブジェクト 294 * @throws SQLException,IOException データベースアクセスエラー、または、データ入出力エラー 295 */ 296 private void loadJarFile( final File jarObj ) throws SQLException,IOException { 297 if( ! useTimeStamp || jarObj.lastModified() > 0 ) { 298 JarFile jarFile = null; 299 try { 300 jarFile = new JarFile( jarObj ); 301 final Enumeration<JarEntry> flEnum = jarFile.entries() ; // 4.3.3.6 (2008/11/15) Generics警告対応 302 while( flEnum.hasMoreElements() ) { 303 final JarEntry ent = flEnum.nextElement(); // 4.3.3.6 (2008/11/15) Generics警告対応 304 final String file = ent.getName(); 305 if( ! ent.isDirectory() && file.endsWith( ".xml" ) ) { 306 // 5.6.6.1 (2013/07/12) jarファイルの中身のタイムスタンプは見ない。 307 final String table = file.substring( file.lastIndexOf('/')+1,file.lastIndexOf('.') ); 308 InputStream stream = null; 309 try { 310 stream = jarFile.getInputStream( ent ) ; 311 // 8.0.0.1 (2021/10/08) cloud対応 312// loadXML( stream,table,file ); 313 final BufferedReader reader = new BufferedReader( new InputStreamReader( stream,ENCODE ) ); 314 loadXML( reader,table,file ); 315 } 316 finally { 317 Closer.ioClose( stream ); 318 } 319 } 320 } 321 fileList.add( jarObj ); // 5.6.6.1 (2013/07/12) jarファイルも、タイムスタンプ管理の対象 322 } 323 finally { 324 Closer.zipClose( jarFile ); // 5.5.2.6 (2012/05/25) findbugs対応 325 } 326 } 327 } 328 329 /** 330 * XMLフォルダ/ファイルを読み取り、データベースに追加(INSERT)するメソッドをコールします。 331 * 332 * ここでは、フォルダ階層を下るための再起処理を行っています。 333 * XMLファイルは、ORACLE XDK拡張ファイルです。テーブル名を指定することで、 334 * XMLファイルをデータベースに登録することが可能です。 335 * ORACLE XDK拡張ファイルや、EXEC_SQLタグなどの詳細は、{@link org.opengion.fukurou.xml.HybsXMLSave} 336 * を参照願います。 337 * 338 * @og.rev 5.3.6.0 (2011/06/01) 実フォルダの場合、フォルダ階層を下る処理を追加 339 * @og.rev 8.0.0.1 (2021/10/08) cloud対応 340 * 341 * @param fileObj 読取元のファイルオブジェクト 342 * @throws SQLException,IOException データベースアクセスエラー、または、データ入出力エラー 343 */ 344 private void loadXMLDir( final File fileObj ) throws SQLException,IOException { 345 if( fileObj.isDirectory() ) { 346 final File[] list = fileObj.listFiles(); 347 // 6.3.9.0 (2015/11/06) null になっている可能性がある(findbugs) 348 if( list != null ) { 349 Arrays.sort( list ); 350 for( final File file : list ) { 351 loadXMLDir( file ); 352 } 353 } 354 } 355 else if( ! useTimeStamp || fileObj.lastModified() > 0 ) { 356 final String name = fileObj.getName() ; 357 if( name.endsWith( ".xml" ) ) { 358 final String table = name.substring( name.lastIndexOf('/')+1,name.lastIndexOf('.') ); 359 // InputStream stream = null; 360 // try { 361 println( " " + fileObj ); // 6.0.0.0 (2014/04/11) ログ関係を Writer で管理 362 // 8.0.0.1 (2021/10/08) cloud対応 363// stream = new FileInputStream( fileObj ) ; 364// loadXML( stream,table,fileObj.getPath() ); 365 final BufferedReader reader = FileUtil.getBufferedReader( fileObj,ENCODE ); 366 loadXML( reader,table,fileObj.getPath() ); 367 fileList.add( fileObj ); // 正常に処理が終われば、リストに追加します。 368 // } 369 // finally { 370 // Closer.ioClose( stream ); 371 // } 372 } 373 else if( name.endsWith( ".zip" ) || name.endsWith( ".jar" ) ) { 374 loadJarFile( fileObj ); 375 } 376 } 377 } 378 379 /** 380 * XMLファイルを読み取り、データベースに追加(INSERT)します。 381 * 382 * XMLファイルは、ORACLE XDK拡張ファイルです。テーブル名を指定することで、 383 * XMLファイルをデータベースに登録することが可能です。 384 * ORACLE XDK拡張ファイルや、EXEC_SQLタグなどの詳細は、{@link org.opengion.fukurou.xml.HybsXMLSave} 385 * を参照願います。 386 * 387 * @og.rev 5.6.6.1 (2013/07/12) 更新カウント数も取得します。 388 * @og.rev 5.6.7.0 (2013/07/27) HybsXMLSave の DDL(データ定義言語:Data Definition Language)の処理件数追加 389 * @og.rev 5.6.9.2 (2013/10/18) EXEC_SQL のエラー時に Exception を発行しない。 390 * @og.rev 6.2.0.0 (2015/02/27) try ~ finally 構文 391 * @og.rev 7.3.2.0 (2021/03/19) isExecErr でfalseを指定した場合に、エラー内容の文字列を取り出します。 392 * @og.rev 8.0.0.1 (2021/10/08) cloud対応 393 * 394// * @param stream XMLファイルを読み取るInputStream 395 * @param reader XMLファイルを読み取るBufferedReader(cloud対応) 396 * @param table テーブル名(ROWSETタグのtable属性が未設定時に使用) 397 * @param file ログ出力用のファイル名 398 * @see org.opengion.fukurou.xml.HybsXMLSave 399 */ 400// private void loadXML( final InputStream stream, final String table, final String file ) 401 private void loadXML( final BufferedReader reader, final String table, final String file ) 402 throws SQLException,UnsupportedEncodingException { 403 // 6.2.0.0 (2015/02/27) try ~ finally 構文 404// Reader reader = null; 405 try { 406// // InputStream より、XMLファイルを読み取り、table に追加(INSERT)します。 407// reader = new BufferedReader( new InputStreamReader( stream,"UTF-8" ) ); 408 final HybsXMLSave save = new HybsXMLSave( connection,table ); 409 save.onExecErrException( false ); // 5.6.9.2 (2013/10/18) falseで、EXEC_SQL のエラー時に Exception を発行しない。 410 save.setAfterMap( afterMap ); // 6.0.0.0 (2014/04/11) 新規追加 411 save.insertXML( reader ); 412 413 final int insCnt = save.getInsertCount(); 414 final int delCnt = save.getDeleteCount(); 415 final int updCnt = save.getUpdateCount(); // 5.6.6.1 (2013/07/12) 更新カウント数も取得 416 final int ddlCnt = save.getDDLCount(); // 5.6.7.0 (2013/07/27) DDL処理件数追加 417 418 crudCnt[INS] += insCnt ; 419 crudCnt[DEL] += delCnt ; 420 crudCnt[UPD] += updCnt ; 421 crudCnt[DDL] += ddlCnt ; 422 423 final String tableName = save.getTableName() ; 424 425 // 6.0.0.0 (2014/04/11) ログ関係を Writer で管理 426 println( " File=[" + file + "] TABLE=[" + tableName + "] DEL=["+ delCnt +"] INS=[" + insCnt + "] UPD=[" + updCnt + "] DDL=[" + ddlCnt + "]" ); 427 428 // 7.3.2.0 (2021/03/19) isExecErr でfalseを指定した場合に、エラー内容の文字列を取り出します。 429 final String errMsg = save.getErrorMessage() ; 430 if( !errMsg.isEmpty() ) { 431 println( errMsg ); 432 } 433 } 434 finally { 435 Closer.ioClose( reader ); 436 } 437 } 438 439 /** 440 * 指定のリストのファイルのタイムスタンプをゼロに設定します。 441 * useTimeStamp=true の時に、XMLファイルのロードに成功したファイルの 442 * タイムスタンプをゼロに設定することで、2回目の処理が避けられます。 443 * 444 * @og.rev 6.0.0.0 (2014/04/11) 新規追加 445 */ 446 private void setZeroTimeStamp() { 447 if( useTimeStamp ) { 448 for( final File file : fileList ) { 449 if( !file.setLastModified( 0L ) ) { 450 final String errMsg = "タイムスタンプの書き換えに失敗しました。" 451 + "file=" + file ; 452 System.err.println( errMsg ); 453 } 454 } 455 } 456 } 457 458 /** 459 * 登録されている ログ(Writer) に、メッセージを書き込みます。 460 * メッセージの最後に改行を挿入します。 461 * 462 * 内部ログ(Writer)が null の場合は、なにもしません。 463 * 内部ログ(Writer) の初期値は、標準出力(System.out) から作成された Writerです。 464 * 465 * @og.rev 6.0.0.0 (2014/04/11) ログ関係を Writer で管理 466 * @og.rev 6.4.2.0 (2016/01/29) ex.printStackTrace() を、ThrowUtil#ogStackTrace(Throwable) に置き換え。 467 * 468 * @param msg 書き出すメッセージ 469 */ 470 private void println( final String msg ) { 471 if( log != null ) { 472 try { 473 log.write( msg ); 474 log.write( CR ); 475 } 476 catch( final IOException ex ) { 477 // ファイルが書き込めなかった場合 478 final String errMsg = msg + " が、書き込めませんでした。" 479 + ex.getMessage() ; 480 System.err.println( errMsg ); 481 System.err.println( ThrowUtil.ogStackTrace( ex ) ); // 6.4.2.0 (2016/01/29) 482 } 483 } 484 } 485}