001/*
002 * Copyright (c) 2009 The openGion Project.
003 *
004 * Licensed under the Apache License, Version 2.0 (the "License");
005 * you may not use this file except in compliance with the License.
006 * You may obtain a copy of the License at
007 *
008 *     http://www.apache.org/licenses/LICENSE-2.0
009 *
010 * Unless required by applicable law or agreed to in writing, software
011 * distributed under the License is distributed on an "AS IS" BASIS,
012 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND,
013 * either express or implied. See the License for the specific language
014 * governing permissions and limitations under the License.
015 */
016package org.opengion.fukurou.process;
017
018import org.opengion.fukurou.system.OgRuntimeException ;                         // 6.4.2.0 (2016/01/29)
019import org.opengion.fukurou.system.OgCharacterException ;                       // 6.5.0.1 (2016/10/21)
020import org.opengion.fukurou.system.DateSet;                                                     // 6.4.2.0 (2016/01/29)
021import org.opengion.fukurou.system.Closer;
022import org.opengion.fukurou.util.FileUtil;
023import org.opengion.fukurou.util.CommentLineParser;
024import org.opengion.fukurou.util.FileInfo;                                                      // 6.4.0.2 (2015/12/11)
025import org.opengion.fukurou.security.HybsCryptography ;                         // 5.7.2.1 (2014/01/17)
026import static org.opengion.fukurou.system.HybsConst.CR;                         // 6.3.1.0 (2015/06/28)
027
028import java.io.File;
029import java.io.BufferedReader;
030import java.io.PrintWriter;
031import java.io.IOException;
032import java.nio.charset.CharacterCodingException;                                       // 6.3.1.0 (2015/06/28)
033
034/**
035 * FileLineModel は、LineModel を継承した ファイルリスト専用の
036 * LineModel の実装クラスです。
037 *
038 * FileLineModel オブジェクトには、ファイル属性(Level,File,Length,Modify,LineCnt,Biko,MD5)
039 * が設定されます。
040 * オプションで、FILEPATH,ADDRESS,FILENAME 属性を文字列で準備できます。(6.3.1.0 (2015/06/28))
041 * ADDRESS は、指定ファイルの親フォルダ。FILENAME はファイル名。FILEPATH は、ファイル名を含む
042 * 完全なファイルパスになります。
043 * ※ 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
044 *    この、新しい属性に、値をセットする場合は、useFilePath="true" をセットしてください。
045 * ※ 6.3.1.1 (2015/07/10) Modify のフォーマット(modifyForm)を、指定可能にします。
046 *    これは、Date型のまま、扱いたい所だが、文字列化しています。
047 *    初期値は、"yyyy/MM/dd HH:mm:ss" です。
048 *
049 * LineCnt と、MD5 は、それぞれ、計算するかどうかのフラグを設定する必要があります。
050 *
051 * ※ useLineCnt=false の場合のLength(文字数)は、File#length() メソッドで求めます。
052 *    一方、useLineCnt=true にすると、行単位に、String#length() を加算するため、
053 *    先のLength(文字数)値とは異なりますのでご注意ください。
054 *
055 * omitCmnt=true にすると、コメント部分を削除した行数と文字数を求めます。
056 * これは、/* から */ の間、// から改行までです。
057 * ただし、"(二重引用符)で囲まれた文字列は、コメントとみなしません。
058 *
059 * 8.1.0.4 (2022/01/28)
060 *  さらに、各行の空行はカウントに含めないことにします。
061 *
062 * データの1行分を FileLineModel に割り当てます。
063 * カラム番号は、0 から始まります。カラム名よりカラム番号を求める場合に、
064 * 存在しない場合は、-1 を返します。
065 * カラム番号が -1 の場合は、処理を行いません。
066 *
067 * 注意:このクラスは、同期処理されていません。
068 *
069 * @version  4.0
070 * @author   Kazuhiko Hasegawa
071 * @since    JDK5.0,
072 */
073public class FileLineModel extends LineModel {
074        // 5.7.2.1 (2014/01/17) MD5 項目追加
075        // 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
076        private static final String[] KEYS = { "Level","File","Length","Modify","LineCnt","Biko","MD5","FILEPATH","ADDRESS","FILENAME" };
077
078        private static final int LEVEL          = 0;
079        private static final int FILE           = 1;
080        private static final int LENGTH         = 2;
081        private static final int MODIFY         = 3;
082        private static final int LINECNT        = 4;
083        private static final int BIKO           = 5;
084        private static final int MD5            = 6;            // 5.7.2.1 (2014/01/17)
085        private static final int FILEPATH       = 7;            // 6.3.1.0 (2015/06/28)
086        private static final int ADDRESS        = 8;            // 6.3.1.0 (2015/06/28)
087        private static final int FILENAME       = 9;            // 6.3.1.0 (2015/06/28)
088
089        private final boolean useLineCnt ;
090        private final boolean useMD5 ;                          // 5.7.2.1 (2014/01/17) MD5 項目追加
091        private final boolean omitCmnt ;                        // 5.7.4.0 (2014/03/07) コメント除外の可否(true:除外する)
092        private final boolean useFilePath ;                     // 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性を使う場合は、true
093        private String encode = "JISAutoDetect";        // 5.7.4.0 (2014/03/07) コメント削除時の文字数計算で利用するファイルのエンコード
094        private String modifyForm = "yyyy/MM/dd HH:mm:ss" ;     // 6.3.1.1 (2015/07/10)
095
096        /**
097         * コンストラクターです。
098         * useLineCnt=false , useMD5=false , omitCmnt=false で初期化されます。
099         *
100         * @og.rev 5.7.2.1 (2014/01/17) MD5対応
101         * @og.rev 5.7.4.0 (2014/03/07) コメント除外の可否(true:除外する)対応
102         * @og.rev 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
103         *
104         */
105        public FileLineModel() {
106                this( false,false,false,false );                // 6.3.1.0 (2015/06/28)
107        }
108
109        /**
110         * ラインカウントの有無を指定した、コンストラクターです。
111         * useMD5=false , omitCmnt=false で初期化されます。
112         *
113         * @og.rev 4.2.2.0 (2008/05/10) 行数カウントの使用有無
114         * @og.rev 5.7.2.1 (2014/01/17) MD5対応
115         * @og.rev 5.7.4.0 (2014/03/07) コメント除外の可否(true:除外する)対応
116         * @og.rev 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
117         *
118         * @param       isLineCnt       行数カウントの使用有無
119         */
120        public FileLineModel( final boolean isLineCnt ) {
121                this( isLineCnt,false,false,false );            // 6.3.1.0 (2015/06/28)
122        }
123
124        /**
125         * ラインカウントの有無と、MD5計算の有無を指定した、コンストラクターです。
126         * omitCmnt=false で初期化されます。
127         *
128         * @og.rev 5.7.2.1 (2014/01/17) 新規追加(MD5対応)
129         * @og.rev 5.7.4.0 (2014/03/07) コメント除外の可否(true:除外する)対応
130         * @og.rev 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加。
131         *
132         * @param       isLineCnt       行数カウントの使用有無
133         * @param       isMD5           ファイルのMD5の使用有無
134         */
135        public FileLineModel( final boolean isLineCnt,final boolean isMD5 ) {
136                this( isLineCnt,isMD5,false,false );            // 6.3.1.0 (2015/06/28)
137        }
138
139        /**
140         * ラインカウントの有無と、MD5計算の有無と、コメント除外の可否を指定した、コンストラクターです。
141         *
142         * @og.rev 5.7.4.0 (2014/03/07) コメント除外の可否(true:除外する)
143         * @og.rev 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
144         *
145         * @param       isLineCnt       行数カウントの使用有無
146         * @param       isMD5           ファイルのMD5の使用有無
147         * @param       isOmit          コメント除外の可否(true:除外する)
148         */
149        public FileLineModel( final boolean isLineCnt,final boolean isMD5,final boolean isOmit ) {
150                this( isLineCnt,isMD5,isOmit,false );   // 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
151        }
152
153        /**
154         * ラインカウントの有無と、MD5計算の有無と、コメント除外の可否と、追加属性可否を指定した、コンストラクターです。
155         *
156         * @og.rev 5.7.4.0 (2014/03/07) コメント除外の可否(true:除外する)
157         * @og.rev 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
158         * @og.rev 6.4.1.1 (2016/01/16) PMD refactoring. It is a good practice to call super() in a constructor
159         *
160         * @param       isLineCnt       行数カウントの使用有無
161         * @param       isMD5           ファイルのMD5の使用有無
162         * @param       isOmit          コメント除外の可否(true:除外する)
163         * @param       isPath          FILEPATH,ADDRESS,FILENAME 属性の可否(true:使用する)
164         */
165        public FileLineModel( final boolean isLineCnt,final boolean isMD5,final boolean isOmit,final boolean isPath ) {
166                super();
167                // 4.3.4.4 (2009/01/01)
168                useLineCnt      = isLineCnt;
169                useMD5          = isMD5;                                // 5.7.2.1 (2014/01/17)
170                omitCmnt        = isOmit;                               // 5.7.4.0 (2014/03/07)
171                useFilePath     = isPath;                               // 5.7.4.0 (2014/03/07)
172                init( KEYS );
173        }
174
175        /**
176         * LineModel を元に、FileLineModel を構築します。
177         * これは、一旦ファイル等にセーブされた FileLineModel 形式を
178         * 元に戻す簡易コンストラクタです。
179         *
180         * @og.rev 4.2.3.0 (2008/05/26) 新規追加
181         * @og.rev 5.7.2.1 (2014/01/17) MD5の設定処理追加
182         * @og.rev 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
183         * @og.rev 6.4.1.1 (2016/01/16) PMD refactoring. It is a good practice to call super() in a constructor
184         *
185         * @param       model   元のLineModel
186         */
187        public FileLineModel( final LineModel model ) {
188                super();
189                // 4.3.4.4 (2009/01/01)
190                init( model.getNames() );
191
192                final Object[] obj = model.getValues();
193
194                setValue( LEVEL   ,Integer.valueOf( (String)obj[LEVEL] ) );
195                setValue( FILE    ,new File((String)obj[FILE]) );
196                setValue( LENGTH  ,Long.valueOf( (String)obj[LENGTH] ) );
197                setValue( MODIFY  ,(String)obj[MODIFY] );
198
199                final String cnt = (String)obj[LINECNT] ;
200                useLineCnt = cnt != null && cnt.length() > 0 && ! "null".equalsIgnoreCase( cnt ) ;
201                if( useLineCnt ) { setValue( LINECNT ,cnt ); }
202
203                setValue( BIKO  ,(String)obj[BIKO] );
204
205                // 5.7.2.1 (2014/01/17)
206                final String md5Data = (String)obj[MD5] ;
207                useMD5 = md5Data != null && md5Data.length() > 0 && ! "null".equalsIgnoreCase( md5Data ) ;
208                if( useMD5 ) { setValue( MD5 ,md5Data ); }
209
210                omitCmnt   = false;                     // 5.7.4.0 (2014/03/07) 既存の LineModel から取得できないので、強制設定します。
211
212                // 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
213                // 念のため、配列数をチェックしながら処理します。
214                if( obj.length > FILEPATH ) {
215                        final String path = (String)obj[FILEPATH] ;
216                        useFilePath = path != null && path.length() > 0 && ! "null".equalsIgnoreCase( path ) ;
217                        if( useFilePath ) {
218                                setValue( FILEPATH ,path );
219                                if( obj.length > ADDRESS  ) { setValue( ADDRESS  ,(String)obj[ADDRESS]  ); }
220                                if( obj.length > FILENAME ) { setValue( FILENAME ,(String)obj[FILENAME] ); }
221                        }
222                }
223                else {
224                        useFilePath = false;
225                }
226        }
227
228        /**
229         * File属性値をセットします。
230         * LEVEL,FILE,LENGTH,MODIFY,LINECNT,MD5 の各属性を設定します。
231         *
232         * @og.rev 4.2.2.0 (2008/05/10) 行数カウントの使用有無
233         * @og.rev 5.5.7.2 (2012/10/09) HybsDateUtil を利用するように修正します。
234         * @og.rev 5.7.2.1 (2014/01/17) MD5計算処理の追加
235         * @og.rev 5.7.4.0 (2014/03/07) コメント除外の可否(true:除外する)対応
236         * @og.rev 5.7.7.1 (2014/06/13) omitCmnt=true(コメント除外する) and useMD5=true(MD5計算する) 場合の処理
237         * @og.rev 6.2.1.0 (2015/03/13) ファイルの削除に失敗するため、削除しない。
238         * @og.rev 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
239         * @og.rev 8.1.2.0 (2022/03/10) getMD5 メソッドを getHash メソッドに変更
240         *
241         * @param       level   ファイルのディレクトリ階層
242         * @param       file    ファイルオブジェクト
243         */
244        public void setFileVals( final int level, final File file ) {
245                setValue( LEVEL  ,Integer.valueOf( level ) );
246                setValue( FILE   ,file );
247                setValue( MODIFY ,DateSet.getDate( file.lastModified(),modifyForm ) );                                  // 6.3.1.1 (2015/07/10)
248
249                // 5.7.7.1 (2014/06/13) omitCmnt=true(コメント除外する) and useMD5=true(MD5計算する) 場合の処理
250                // 別にコメント除去されたファイルを作成して、それの MD5 を求める。
251                File ocFile = null;
252                if( omitCmnt && useMD5 ) {
253                        try {
254                                ocFile = File.createTempFile( "temp",".tmp" );
255                                ocFile.deleteOnExit();                                                          // 一応、このメソッド内で削除しますが、念のため。
256                        }
257                        catch( final IOException ex ) {
258                                final String errMsg = "コメント除外のMD5計算用 temp ファイルの作成に失敗しました。" + ex.getMessage() ;
259                                throw new OgRuntimeException( errMsg,ex );
260                        }
261                }
262
263                if( useLineCnt || omitCmnt ) {
264                        final long[] cntVals = getLineCnt( file,ocFile );                       // 5.7.7.1 (2014/06/13) 出力ファイルを渡します。
265                        setValue( LINECNT ,String.valueOf( cntVals[0] ) );
266                        setValue( LENGTH  ,Long.valueOf(   cntVals[1] ) );
267                }
268                else {
269                        setValue( LENGTH  ,Long.valueOf( file.length() ) );
270                }
271
272                // 5.7.2.1 (2014/01/17) MD5計算がtrue で、かつ、ファイルの場合、MD5 計算を行います。
273                if( useMD5 && file.isFile() ) {
274                        // 5.7.7.1 (2014/06/13) omitCmnt を考慮したMD5計算
275                        if( ocFile == null ) {
276//                              setValue( MD5 ,HybsCryptography.getMD5( file ) );                               // 8.1.2.0 (2022/03/10) Modify
277                                setValue( MD5 ,HybsCryptography.getHash( "MD5", file ) );
278                        }
279                        else {
280//                              setValue( MD5 ,HybsCryptography.getMD5( ocFile ) );                             // 8.1.2.0 (2022/03/10) Modify
281                                setValue( MD5 ,HybsCryptography.getHash( "MD5", ocFile ) );
282                                // 6.0.2.4 (2014/10/17) RV  java.io.File.delete() の例外的戻り値を無視しています。
283                                // 6.2.1.0 (2015/03/13) ファイルの削除に失敗するため、削除しない。
284                        }
285                }
286
287                // 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
288                if( useFilePath ) {
289                        // FILEPATH は、正規のパス名文字列 を求めるが、エラー時は、絶対パス名文字列 にする。
290                        try {
291                                setValue( FILEPATH      , file.getCanonicalPath() );    // 正規のパス名文字列
292                        }
293                        catch( final IOException ex ) {
294                                setValue( FILEPATH      , file.getAbsolutePath() );             // 絶対パス名文字列
295                        }
296
297                        // ADDRESS は、親の名前なので、直フォルダ名になる。
298                        final File parent = file.getParentFile();
299                        if( parent != null ) {
300                                setValue( ADDRESS       ,parent.getName() );
301                        }
302
303                        setValue( FILENAME      ,file.getName() );
304                }
305        }
306
307        /**
308         * コメント削除時の文字数計算で利用するファイルのエンコードをセットします。
309         * 初期値:JISAutoDetect
310         *
311         * @og.rev 5.7.4.0 (2014/03/07) 新規追加
312         *
313         * @param       encode  コメント削除時の文字数計算で利用するファイルのエンコード
314         */
315        public void setEncode( final String encode ) {
316                this.encode = encode;
317        }
318
319        /**
320         * File属性値をセットします。
321         *
322         * @param       file    ファイルオブジェクト
323         */
324        public void setFile( final File file ) {
325                setValue( FILE,file );
326        }
327
328        /**
329         * ファイルを取得します。
330         *
331         * @return      ファイル
332         */
333        public File getFile() {
334                return (File)getValue( FILE );
335        }
336
337        /**
338         * 備考情報属性値をセットします。
339         *
340         * @og.rev 4.2.2.0 (2008/05/10) 行数カウントの使用有無
341         *
342         * @param       biko    備考情報
343         */
344        public void setBiko( final String biko ) {
345                setValue( BIKO,biko );
346        }
347
348        /**
349         * レベル File属性値を取得します。
350         *
351         * @return      ファイルのディレクトリ階層
352         */
353        public int getLevel() {
354                return ((Integer)getValue( LEVEL )).intValue();
355        }
356
357        /**
358         * ファイルサイズ File属性値を取得します。
359         *
360         * @return      ファイルサイズ
361         */
362        public long getLength() {
363                return ((Long)getValue( LENGTH )).longValue();
364        }
365
366        /**
367         * 更新日時(Modify) のフォーマットを、指定します。
368         *
369         * ここで指定しない場合は、"yyyy/MM/dd HH:mm:ss" になります。
370         * Date型で変換できないようなフォームを指定した場合は、実行時に
371         * エラーになりますので、ご注意ください。
372         *
373         * @og.rev 6.3.1.1 (2015/07/10) Modify のフォーマットを、指定可能にします。
374         *
375         * @param       form 更新日時のフォーマット
376         * @see         java.text.SimpleDateFormat
377         */
378        public void setModifyForm( final String form ) {
379                if( form != null && !form.isEmpty() ) {
380                        modifyForm = form;
381                }
382        }
383
384        /**
385         * 更新日時 File属性値を取得します。
386         *
387         * @return      更新日時(yyyy/MM/dd HH:mm:ss)
388         */
389        public String getModify() {
390                return (String)getValue( MODIFY );
391        }
392
393        /**
394         * MD5 File属性値を取得します。
395         * ただし、useMD5 が true でないと値は返しません。
396         *
397         * @og.rev 5.7.2.1 (2014/01/17) 新規追加(MD5対応)
398         *
399         * @return      MD5の値
400         */
401        public String getMD5() {
402                return (String)getValue( MD5 );
403        }
404
405        /**
406         * 行数と文字数を取得します。
407         * 行数カウントとファイルの文字数カウント(バイト数ではありません)を行います。
408         * ※ useLineCnt=false の場合のLength(文字数)は、File#length() メソッドで求めます。
409         *    一方、useLineCnt=true にすると、行単位に、String#length() を加算するため、
410         *    先のLength(文字数)値とは異なりますのでご注意ください。
411         *
412         * 結果は、long型の配列で返します。[0]が行数で、[1]が文字数です。
413         * omitCmnt 属性を使用した場合は、コメント部分を削除した行数と文字数を求めます。
414         * これは、/* から */ の間、// から改行までです。
415         * ただし、"(二重引用符)で囲まれた文字列は、コメントとみなしません。
416         *
417         * @og.rev 5.7.4.0 (2014/03/07) 行数カウントとファイルの文字数カウントを行う。
418         * @og.rev 5.7.7.1 (2014/06/13) omitCmnt=true(コメント除外する) and useMD5=true(MD5計算する) 場合の処理
419         * @og.rev 6.2.1.0 (2015/03/13) ディレクトリ以外からファイルのみに対象を変更。
420         * @og.rev 6.3.1.0 (2015/06/28) nioを使用すると UTF-8とShuft-JISで、エラーになる。
421         * @og.rev 6.4.0.2 (2015/12/11) CommentLineParser 改造。
422         * @og.rev 6.5.0.1 (2016/10/21) CharacterCodingException は、OgCharacterException に変換する。
423         * @og.rev 8.1.0.4 (2022/01/28) 各行の空行はカウントに含めないことにする。
424         *
425         * @param       file    行数を数えるファイルオブジェクト
426         * @param       ocFile  omitCmnt=trueの場合に、MD5計算する時の、仮出力ファイル(nullの場合は、無視)
427         *
428         * @return  long型の配列([0]が行数で、[1]が文字数)
429         * @og.rtnNotNull
430         */
431        private long[] getLineCnt( final File file,final File ocFile ) {
432                long lineCnt = 0L;              // 行数
433                long charCnt = 0L;              // 文字数
434
435                final BufferedReader reader = FileUtil.getBufferedReader( file,encode );
436
437                // 5.7.7.1 (2014/06/13) omitCmnt=true(コメント除外する) and useMD5=true(MD5計算する) 場合の処理
438                PrintWriter writer = null;
439                if( ocFile != null ) { writer = FileUtil.getPrintWriter( ocFile ,encode ); }
440
441                // 6.4.0.2 (2015/12/11) CommentLineParser 改造
442                final CommentLineParser clp = omitCmnt ? new CommentLineParser( FileInfo.getSUFIX( file ) ) : null;
443                try {
444                        // 6.2.1.0 (2015/03/13) ディレクトリ以外からファイルのみに対象を変更。
445                        if( file.isFile() ) {
446                                String line ;
447                                while((line = reader.readLine()) != null) {
448                                        if( omitCmnt ) {
449                                                line = clp.line( line );
450                                                // 8.1.0.4 (2022/01/28) 各行の空行はカウントに含めないことにする。
451//                                              if( line == null ) { continue; }        // 戻り値が null の場合は、行として不成立
452                                                if( line == null || line.isEmpty() ) { continue; }      // 戻り値が nullか 空行の場合は、含めない
453                                                if( writer != null ) { writer.println( line ); }        // 5.7.7.1 (2014/06/13)
454                                        }
455
456                                        lineCnt++;
457                                        charCnt += line.length();
458                                }
459                        }
460                }
461                // 6.3.1.0 (2015/06/28) nioを使用すると UTF-8とShuft-JISで、エラーになる。
462                catch( final CharacterCodingException ex ) {
463                        final String errMsg = "文字のエンコード・エラーが発生しました。" + CR
464                                                                +       "  ファイルのエンコードが指定のエンコードと異なります。" + CR
465                                                                +       " [" + file.getPath() + "] , Encode=[" + encode + "]" ;
466                        throw new OgCharacterException( errMsg,ex );    // 6.5.0.1 (2016/10/21)
467                }
468                catch( final IOException ex ) {
469                        final String errMsg = "ファイルカウント中に例外が発生しました。" + CR
470                                                                +       " [" + file.getPath() + "] , Encode=[" + encode + "]" ;
471                        throw new OgRuntimeException( errMsg,ex );
472                }
473                finally {
474                        Closer.ioClose( reader ) ;
475                        Closer.ioClose( writer ) ;              // 5.7.7.1 (2014/06/13) ioClose は、引数が null なら無視します。
476                }
477
478                return new long[] { lineCnt,charCnt };
479        }
480}