UFLインターフェイスが取り込めるファイルサイズの上限について

PI Interface for Universal File and Stream Loading (UFL) が取り込むことができるファイルサイズの上限について、

特にハードウェアとの関係について、情報があれば教えてください。

 

最新バージョンのリリース情報

https://techsupport.osisoft.com/Troubleshooting/Releases/RL01254

Files larger than 2GB can now be processed - with the 64-bit version.』

の記載がありました。

このことから、

2GBよりも大きなファイルを処理できる(64ビットバージョンのUFLインターフェイスが必要)

と理解しています。

 

 

しかし実際のところ、ソフトウェアは対応していても、OSやハードウェアの制約に依存する箇所があると予想しています。

 

例えば100GBのファイルを読み込みたい場合、ハードウェアやOSで気をつける点はありますでしょうか?

(仮に、ファイルサイズの3倍程度の物理メモリを使用すると仮定すると、100GBのファイルの処理に必要な物理メモリは300GBとなる?)

 

PI Systemへ大量の過去データ(合計ファイルサイズは数TB)を、UFLインターフェイスを使用してPIに格納することを目的としています。

データファイルのサイズに応じたハードウェアスペックの目安がわかると助かりますので、よろしくお願いいたします。

  • 検討していた方法は、PI UFL InterfaceのAsciiFilesモードを使用して、INIファイルにてIF文や四則演算を駆使する方法でした。

    これは、データファイルを出力する相手側システムの都合です。

    この場合、物理メモリの制約を受け、処理に非常に時間がかかるため、実運用に向いていないことがわかりました。

     

    また、PI UFL InterfaceのBatchFLモードの場合、物理メモリの容量にかかわらず動作するとの情報ありがとうございます。

     

    とても参考になりました。対応方法を再検討したいと思います。ありがとうございました。

  • PI UFL InterfaceのAsciiFilesモードでファイルの読み込みを行っている場合、ファイル読み込み時にファイルの内容をメモリに展開する必要があります。

    ファイルサイズのほぼ同じくらいの量のメモリが必要になるため、100GBのファイルを読み込もうとした場合、100GB以上の物理メモリが必要です。

    また、処理をするために非常に時間がかかると思われているため、実運用に向いていないと思います。

     

    BatchFLモードの場合、ファイル読み込み時にファイル内容をメモリに展開する必要がないため、物理メモリの容量にかかわらず動作すると思います。

    ただし、値を格納するときにエラーが発生すると、ファイルを直しもう一度UFLに流す作業が必要になるため、実運用に向いていないと思います。

     

    こちらの改善で100GBのファイル処理は想定していないと思われますが、技術的に可能になりましたため、リリースノートにこの情報が公開されたと思われます。