001/*
002 * Copyright (c) 2009 The openGion Project.
003 *
004 * Licensed under the Apache License, Version 2.0 (the "License");
005 * you may not use this file except in compliance with the License.
006 * You may obtain a copy of the License at
007 *
008 *     http://www.apache.org/licenses/LICENSE-2.0
009 *
010 * Unless required by applicable law or agreed to in writing, software
011 * distributed under the License is distributed on an "AS IS" BASIS,
012 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND,
013 * either express or implied. See the License for the specific language
014 * governing permissions and limitations under the License.
015 */
016package org.opengion.hayabusa.servlet;
017
018import org.opengion.fukurou.system.OgRuntimeException ;         // 6.4.2.0 (2016/01/29)
019import org.opengion.hayabusa.common.HybsSystem;
020import org.opengion.hayabusa.servlet.multipart.MultipartParser;
021import org.opengion.hayabusa.servlet.multipart.Part;
022import org.opengion.hayabusa.servlet.multipart.FilePart;
023import org.opengion.hayabusa.servlet.multipart.ParamPart;
024import org.opengion.fukurou.util.ZipArchive;                            // 6.0.0.0 (2014/04/11) zip 対応
025
026import org.opengion.fukurou.model.FileOperation;                        // 8.0.0.0 (2021/09/30)
027import org.opengion.hayabusa.io.HybsFileOperationFactory;       // 8.0.0.0 (2021/09/30)
028
029import java.io.File;
030import java.io.IOException;
031// import java.io.FileNotFoundException;                                        // 6.9.0.1 (2018/02/05)
032import java.util.Map;
033import java.util.concurrent.ConcurrentSkipListMap;                      // 6.4.3.1 (2016/02/12) refactoring
034
035import java.util.List;
036import java.util.ArrayList;
037import java.util.Set;
038import java.util.Random ;
039import java.util.concurrent.atomic.AtomicInteger;                       // 5.5.2.6 (2012/05/25) findbugs対応
040import jakarta.servlet.http.HttpServletRequest;
041
042/**
043 * ファイルをサーバーにアップロードする場合に使用されるマルチパート処理サーブレットです。
044 *
045 * 通常のファイルアップロード時の、form で使用する、enctype="multipart/form-data"
046 * を指定した場合の、他のリクエスト情報も、取り出すことが可能です。
047 *
048 * ファイルをアップロード後に、指定のファイル名に変更する機能があります。
049 * file 登録ダイアログで指定した name に、"_NEW" という名称を付けたリクエスト値を
050 * ファイルのアップロードと同時に送信することで、この名前にファイルを付け替えます。
051 * また、アップロード後のファイル名は、name 指定の名称で、取り出せます。
052 * クライアントから登録したオリジナルのファイル名は、name に、"_ORG" という名称
053 * で取り出すことが可能です。
054 *
055 * maxPostSize : 最大転送サイズ(Byte)を指定します。 0,またはマイナスで無制限です。
056 * useBackup   : ファイルアップロード時に、すでに同名のファイルが存在した場合に、
057 *               バックアップ処理(renameTo)するかどうか[true/false]を指定します(初期値:false)
058 *
059 * ファイルアップロード時に、アップロード先に、同名のファイルが存在した場合は、既存機能は、そのまま
060 * 置き換えていましたが、簡易バージョンアップ機能として、useBackup="true" を指定すると、既存のファイルを
061 * リネームして、バックアップファイルを作成します。
062 * バックアップファイルは、アップロードフォルダを基準として、_backup/ファイル名.拡張子_処理時刻のlong値.拡張子 になります。
063 * オリジナルのファイル名(拡張子付)を残したまま、"_処理時刻のlong値" を追加し、さらに、オリジナルの拡張子を追加します。
064 * バックアップファイルの形式は指定できません。
065 *
066 * 5.7.1.2 (2013/12/20) zip 対応
067 * filename 属性に、".zip" の拡張子のファイル名を指定した場合は、アップロードされた一連のファイルを
068 * ZIP圧縮します。これは、アップロード後の処理になります。
069 * ZIP圧縮のオリジナルファイルは、そのまま残ります。
070 * なお、ZIPファイルは、useBackup属性を true に設定しても、無関係に、上書きされます。
071 *
072 * @og.rev 5.10.9.0 (2019/03/01) oota クラウドストレージ対応を追加。(Fileクラスを拡張)
073 *
074 * @og.group その他機能
075 *
076 * @version  4.0
077 * @author       Kazuhiko Hasegawa
078 * @since    JDK5.0,
079 */
080public final class MultipartRequest {
081        private static AtomicInteger dumyNewFileCnt = new AtomicInteger(1);             // 5.5.2.6 (2012/05/25) findbugs対応
082
083        // 5.6.5.3 (2013/06/28) アップロード時のダミーファイル名をもう少しだけランダムにする。
084        // 6.3.9.0 (2015/11/06) Variables should start with a lowercase character(PMD)
085        private static final String RANDOM_KEY = new Random().nextInt( Integer.MAX_VALUE ) + "_" ;
086
087        /** 6.4.3.1 (2016/02/12) PMD refactoring. TreeMap → ConcurrentSkipListMap に置き換え。  */
088        private final Map<String,List<String>> paramMap = new ConcurrentSkipListMap<>();        // 6.4.3.1 (2016/02/12) ソートします。
089
090        // 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択(multiple)対応
091        private final List<UploadedFile> files                          = new ArrayList<>();                    // 5.7.1.1 (2013/12/13) HTML5対応
092
093        /**
094         * MultipartRequest オブジェクトを構築します。
095         *
096         * 引数として、ファイルアップロード時の保存フォルダ、最大サイズ、エンコード、
097         * 新しいファイル名などを指定できます。新しいファイル名は、アップロードされる
098         * ファイルが一つだけの場合に使用できます。複数のファイルを同時に変更したい
099         * 場合は、アップロードルールにのっとり、リクエストパラメータで指定してください。
100         *
101         * HTML5 では、ファイルアップロード時に、multiple 属性(inputタグのtype="file")を
102         * 付ける事で、ファイルを複数選択できます。
103         * その場合は、inputのname属性は、一つなので、_NEW による名前の書き換えはできません。
104         *
105         * @og.rev 3.8.1.3A (2006/01/30) 新ファイル名にオリジナルファイル名の拡張子をセットします
106         * @og.rev 4.0.0.0 (2007/11/28) メソッドの戻り値をチェックします。
107         * @og.rev 5.5.2.6 (2012/05/25) findbugs対応。staticフィールドへの書き込みに、AtomicInteger を利用します。
108         * @og.rev 5.6.5.3 (2013/06/28) useBackup引数追加
109         * @og.rev 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択(multiple)対応
110         * @og.rev 5.7.1.2 (2013/12/20) zip 対応
111         * @og.rev 5.7.4.3 (2014/03/28) zip 対応復活。inputFilename のリクエスト変数処理追加
112         * @og.rev 6.0.2.4 (2014/10/17) useBackup 修正。_PFX(接頭辞) , _SFX(接尾辞) 機能を追加。ファイル名にフォルダ指定可
113         * @og.rev 6.4.3.1 (2016/02/12) PMD refactoring. HashMap → ConcurrentHashMap に置き換え。
114         * @og.rev 5.9.25.0 (2017/10/06) クラウドストレージ利用処理追加
115         * @og.rev 6.9.0.1 (2018/02/05) ファイルをセーブするディレクトリは、必要な場合のみ、作成します。
116         * @og.rev 5.10.9.0 (2019/03/01) クラウドストレージ対応を追加。
117         *
118         * @param       request HttpServletRequestオブジェクト
119         * @param       saveDirectory   ファイルアップロードがあった場合の保存フォルダ名
120         * @param       maxPostSize             ファイルアップロード時の最大ファイルサイズ(Byte)0,またはマイナスで無制限
121         * @param       encoding                ファイルのエンコード
122         * @param       inputFilename   アップロードされたファイルの新しい名前
123         * @param       useBackup               ファイルアップロード時に、バックアップ処理するかどうか[true/false/rename]を指定
124         * @param       fileURL                 クラウドストレージ用のURL
125         * @param       storageType             クラウドストレージのタイプ(plugin)
126         * @param       bucketName              クラウドストレージのバケット名
127         * @throws IOException 入出力エラーが発生したとき
128         * @throws IllegalArgumentException セーブディレクトリ に関係するエラー
129         */
130        public MultipartRequest(final HttpServletRequest request,
131                                                        final String    saveDirectory,
132                                                        final int               maxPostSize,
133                                                        final String    encoding,
134                                                        final String    inputFilename,
135                                                        final String    useBackup,                                                              // 6.0.2.4 (2014/10/17) true/false/rename
136//                                                      final String    fileURL) throws IOException,IllegalArgumentException {          // (2017/10/06) 追加
137                                                        final String    fileURL,
138                                                        final String    storageType,
139                                                        final String    bucketName) throws IOException,IllegalArgumentException {       // 5.10.9.0 (2019/03/01) ADD
140
141                if( request == null ) {
142                        throw new IllegalArgumentException("request cannot be null");
143                }
144
145//              // 6.9.0.1 (2018/02/05) ファイルをセーブするディレクトリは、必要な場合のみ、作成します。
146//              if( saveDirectory == null ) {
147//                      throw new IllegalArgumentException("saveDirectory cannot be null");
148//              }
149//              // 5.5.2.6 (2012/05/25) 0,またはマイナスで無制限
150//              // Save the dir
151//              final File dir = new File(saveDirectory);
152//
153//              // Check saveDirectory is truly a directory
154//              if( !dir.isDirectory() ) {
155//                      throw new IllegalArgumentException("Not a directory: " + saveDirectory);
156//              }
157//
158//              // Check saveDirectory is writable
159//              if( !dir.canWrite() ) {
160//                      throw new IllegalArgumentException("Not writable: " + saveDirectory);
161//              }
162
163                // Parse the incoming multipart, storing files in the dir provided,
164                // and populate the meta objects which describe what we found
165                final MultipartParser parser = new MultipartParser(request, maxPostSize);
166                if( encoding != null ) {
167                        parser.setEncoding(encoding);
168                }
169
170                // 2017/10/06 ADD システムリソースにクラウドストレージ利用が登録されている場合は、クラウドストレージを利用する
171                final String storage = HybsSystem.sys( "CLOUD_TARGET");
172                final boolean useStorage = storage != null && storage.length() > 0 ;
173
174//              File dir  = null;
175                // Save the dir
176                // 5.10.9.0 (2019/03/01) クラウドストレージ対応 oota tmp
177                // File dir = new File(saveDirectory);
178                final FileOperation dir = HybsFileOperationFactory.create(storageType, bucketName, saveDirectory);
179                // 5.10.9.0 (2019/03/01) if条件を追加。チェックはローカルストレージの場合のみ行います。 oota tmp
180                if(dir.isLocal()) {
181                        // セーブディレクトリ 作成
182                        if( ! dir.exists() && ! dir.mkdirs() ) {
183                                throw new IllegalArgumentException( "Not make directory: " + saveDirectory );
184                        }
185
186                        // Check saveDirectory is truly a directory
187                        if(!dir.isDirectory()) {
188                                throw new IllegalArgumentException("Not a directory: " + saveDirectory);
189                        }
190
191                        // Check saveDirectory is writable
192                        if(!dir.canWrite()) {
193                                throw new IllegalArgumentException("Not writable: " + saveDirectory);
194                        }
195                }
196
197                // 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択(multiple)対応
198                Part part;
199                while( (part = parser.readNextPart()) != null ) {
200                        final String name = part.getName();
201                        if( part.isParam() && part instanceof ParamPart ) {
202                                final ParamPart paramPart = (ParamPart)part;
203                                final String value = paramPart.getStringValue();
204                                // 6.4.3.1 (2016/02/12) ConcurrentMap 系は、key,val ともに not null 制限です。
205                                List<String> existingValues = paramMap.get(name);
206                                if( existingValues == null ) {
207                                        existingValues = new ArrayList<>();
208                                        paramMap.put(name, existingValues);
209                                }
210                                existingValues.add(value);
211                        }
212                        else if( part.isFile() && part instanceof FilePart ) {
213                                final FilePart filePart = (FilePart)part;
214                                final String orgName = filePart.getFilename();          // 5.7.1.1 (2013/12/13) 判りやすいように変数名変更
215                                if( orgName != null ) {
216                                        // 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択(multiple)対応
217                                        // 同一 name で、複数ファイルを扱う必要があります。
218                                        // 3.8.1.2 (2005/12/19) 仮ファイルでセーブする。
219                                        // 5.6.5.3 (2013/06/28) アップロード時のダミーファイル名をもう少しだけランダムにする。
220                                        final String uniqKey = RANDOM_KEY + dumyNewFileCnt.getAndIncrement() ;
221                                        filePart.setFilename( uniqKey );
222                                        // 標準のファイル書き込み 2017/10/06 DELETE クラウドストレージ利用判定を追加
223
224                                        // ファイル書き込み
225                                        // 5.10.9.0 (2019/03/01) クラウドストレージ対応。oota tmp
226//                                      filePart.writeTo(dir);
227                                        filePart.writeTo(dir, storageType, bucketName);
228
229//                                      if( useStorage ){
230//                                              // クラウドストレージにアップロード
231//                                              filePart.writeToCloud( storage, fileURL, request.getSession(true) );
232//                                      }else{
233//      //                                      if( dir == null ) { dir = makeDirs( saveDirectory ); }          // 6.9.0.1 (2018/02/05)
234//                                              // 標準のファイル書き込み
235//                                              filePart.writeTo(dir);
236//                                      }
237
238                                        // 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択(multiple)対応
239                                        files.add( new UploadedFile(
240                                                                                        uniqKey,                // 5.7.1.1 (2013/12/13) 順番変更
241                                                                                        dir.toString(),
242                                                                                        name,                   // 5.7.1.1 (2013/12/13) 項目追加
243                                                                                        orgName,
244                                                                                        filePart.getContentType()));
245                                }
246                        }
247                        else {
248                                final String errMsg = "Partオブジェクトが、ParamPartでもFilePartでもありません。"
249                                                        + " class=[" + part.getClass() + "]";
250                                throw new OgRuntimeException( errMsg );
251                        }
252                }
253
254                // 5.7.4.3 (2014/03/28) inputFilename は、リクエスト変数が使えるようにします。
255                final String filename = getReqParamFileName( inputFilename ) ;
256
257                // 3.5.6.5 (2004/08/09) 登録後にファイルをリネームします。
258                // 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択(multiple)対応
259                final int size = files.size();
260
261                // 5.7.1.2 (2013/12/20) zip 対応
262                // 5.9.25.0 (2017/10/06) FileをString型に変更
263                final String[] tgtFiles = new String[size];
264                final boolean isZip = filename != null && filename.endsWith( ".zip" ) ;
265
266                for( int i=0; i<size; i++ ) {
267                        final UploadedFile upFile = files.get(i);
268                        final String name = upFile.getName();           // 5.7.1.1 (2013/12/13)
269
270                        String newName = isZip ? null : filename ;
271                        String prefix = null ;                          // 6.0.2.4 (2014/10/17) _PFX(接頭辞) , _SFX(接尾辞) 機能を追加
272                        String sufix  = null ;                          // 6.0.2.4 (2014/10/17) _PFX(接頭辞) , _SFX(接尾辞) 機能を追加
273                        if( newName == null && name != null ) {
274                                final int adrs = name.lastIndexOf( HybsSystem.JOINT_STRING );   // カラム__行番号 の __ の位置
275                                // 6.0.2.4 (2014/10/17) _PFX(接頭辞) , _SFX(接尾辞) 機能を追加
276                                if( adrs < 0 ) {
277                                        newName = getParameter( name + "_NEW" );
278                                        prefix  = getParameter( name + "_PFX" );
279                                        sufix   = getParameter( name + "_SFX" );
280                                }
281                                else {
282                                        final String name1 = name.substring( 0,adrs );
283                                        final String name2 = name.substring( adrs );
284                                        newName = getParameter( name1 + "_NEW" + name2 );
285                                        prefix  = getParameter( name1 + "_PFX" + name2 );
286                                        sufix   = getParameter( name1 + "_SFX" + name2 );
287                                }
288                        }
289
290                        // 5.7.1.1 (2013/12/13) UploadedFile 内で処理するように変更
291                        // 5.9.25.0 (2017/10/06) MODIFY fileURLとsessionを追加
292                        // 5.10.9.0 (2019/03/01) クラウドストレージ対応。sessionは不要になったため除去。 ootat tmp
293//                      tgtFiles[i] = upFile.renameTo( newName,prefix,sufix,useBackup,fileURL,request.getSession(true) );
294                        tgtFiles[i] = upFile.renameTo( newName,prefix,sufix,useBackup,fileURL, storageType, bucketName);
295                }
296                // 5.7.1.2 (2013/12/20) zip 対応
297                // 6.0.0.0 (2014/04/11) 一旦保留にしていましたが、復活します。
298                if( isZip && !useStorage ) {
299                        final File zipFile = new File( saveDirectory,filename );
300                        // 5.9.25.0 (2017/10/06) tgtFiles が、String型に変更されたため
301                        final File[] files = new File[tgtFiles.length];
302                        for( int i=0; i<tgtFiles.length; i++ ) {
303                                files[i] = new File( tgtFiles[i] );
304                        }
305                        ZipArchive.compress( files,zipFile );
306                }
307        }
308
309        /**
310         * リクエストパラメータの名前配列を取得します。
311         *
312         * @return      リクエストパラメータの名前配列
313         * @og.rtnNotNull
314         */
315        public String[] getParameterNames() {
316                final Set<String> keyset = paramMap.keySet();
317                return keyset.toArray( new String[keyset.size()] );
318        }
319
320        /**
321         * ファイルアップロードされたファイル群のファイル配列を取得します。
322         *
323         * @og.rev 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択(multiple)対応
324         *
325         * @return      アップロードされたファイル群
326         * @og.rtnNotNull
327         */
328        public UploadedFile[] getUploadedFile() {
329                return files.toArray( new UploadedFile[files.size()] );
330        }
331
332        /**
333         * 指定の名前のリクエストパラメータの値を取得します。
334         *
335         * 複数存在する場合は、一番最後の値を返します。
336         *
337         * @param       name    リクエストパラメータ名
338         *
339         * @return      パラメータの値
340         */
341        public String getParameter( final String name ) {
342                final List<String> values = paramMap.get(name);
343
344                // 6.4.1.1 (2016/01/16) PMD refactoring. A method should have only one exit point, and that should be the last statement in the method
345                return values == null || values.isEmpty() ? null : values.get( values.size() - 1 );
346        }
347
348        /**
349         * 指定の名前のリクエストパラメータの値を配列型式で取得します。
350         *
351         * @og.rev 5.3.2.0 (2011/02/01) 新規作成
352         * @og.rev 6.3.9.1 (2015/11/27) null ではなく長さが0の配列を返すことを検討する(findbugs)。
353         *
354         * @param       name    リクエストパラメータ名
355         *
356         * @return      パラメータの値配列(存在しない場合は、長さ0の配列を返します)
357         * @og.rtnNotNull
358         */
359        public String[] getParameters( final String name ) {
360                final List<String> values = paramMap.get(name);
361                return values == null || values.isEmpty()
362                                        ? new String[0]
363                                        : values.toArray( new String[values.size()] );
364        }
365
366        /**
367         * 指定の名前のリクエストパラメータの値を配列(int)型式で取得します。
368         *
369         * @og.rev 5.3.2.0 (2011/02/01) 新規作成
370         * @og.rev 5.3.6.0 (2011/06/01) 配列値が""の場合にNumberFormatExceptionが発生するバグを修正
371         * @og.rev 6.3.9.1 (2015/11/27) null ではなく長さが0の配列を返すことを検討する(findbugs)。
372         *
373         * @param       name    リクエストパラメータ名
374         *
375         * @return      パラメータの値配列(存在しない場合は、長さ0の配列を返します)
376         * @og.rtnNotNull
377         */
378        public int[] getIntParameters( final String name ) {
379                final List<String> values = paramMap.get(name);
380
381                return values == null || values.isEmpty()
382                                        ? new int[0]
383                                        : values.stream()
384                                                        .filter( str -> str != null && !str.isEmpty() )         // 条件
385                                                        .mapToInt( Integer::parseInt )                                          // 変換 String → int
386                                                        .toArray();                                                                                     // int[] 配列
387        }
388
389        /**
390         * 指定の名前の ファイル名のリクエスト変数処理を行います。
391         *
392         * filename 属性のみ、{&#064;XXXX} のリクエスト変数が使えるようにします。
393         *
394         * @og.rev 5.7.4.3 (2014/03/28) 新規追加
395         *
396         * @param       fname   ファイル名
397         * @return      リクエスト変数を処理したファイル名
398         */
399        private String getReqParamFileName( final String fname ) {
400
401                String rtn = fname ;
402                if( fname != null ) {
403                        final StringBuilder filename = new StringBuilder( fname ) ;
404                        int st = filename.indexOf( "{@" );
405                        while( st >= 0 ) {
406                                final int ed = filename.indexOf( "}",st );
407                                if( ed < 0 ) {
408                                        final String errMsg = "{@XXXX} の対応関係が取れていません。"
409                                                                + " filename=[" + fname + "]";
410                                        throw new OgRuntimeException( errMsg );
411                                }
412                                final String key = filename.substring( st+2,ed );               // "}" は切り出し対象外にする。
413                                final String val = getParameter( key );
414                                filename.replace( st,ed+1,val );                                // "}" を含めて置換したいので、ed+1
415                                // 次の "{@" を探す。開始は置換文字数が不明なので、st から始める。
416                                st = filename.indexOf( "{@",st );
417                        }
418                        rtn = filename.toString();
419                }
420                return rtn ;
421        }
422
423//      /**
424//       * 指定のディレクトリが無ければ作成します。
425//       *
426//       * @og.rev 6.9.0.1 (2018/02/05) ファイルをセーブするディレクトリは、必要な場合のみ、作成します。
427//       * @og.rev 8.0.0.0 (2021/09/30) クラウド対応のため、
428//       *
429//       * @param       saveDir ディレクトリ名
430//       * @return      セーブ可能なディレクトリ
431//       * @throws      IllegalArgumentException        セーブディレクトリ に関係するエラー(無理から)
432//       */
433//      private File makeDirs( final String saveDir ) throws IllegalArgumentException {
434//              // セーブディレクトリの名前チェック
435//              if( saveDir == null ) {
436//                      throw new IllegalArgumentException( "saveDir cannot be null" );
437//              }
438//
439//              // セーブディレクトリのオブジェクト
440//              final File dir = new File( saveDir );
441//
442//              // セーブディレクトリ 作成
443//              if( ! dir.exists() && ! dir.mkdirs() ) {
444//                      throw new IllegalArgumentException( "Not make directory: " + saveDir );
445//              }
446//
447//              // ディレクトリでなければ、エラー
448//              if( !dir.isDirectory() ) {
449//                      throw new IllegalArgumentException( "Not a directory: " + saveDir );
450//              }
451//
452//              // 書込みできなければ、エラー
453//              if( !dir.canWrite() ) {
454//                      throw new IllegalArgumentException( "Not writable: " + saveDir );
455//              }
456//
457//              return dir;
458//      }
459}