你的位置:首页 > Java教程

[Java教程]Java读取Level


最近架构一个项目,实现行情的接入和分发,需要达到极致的低时延特性,这对于证券系统是非常重要的。接入的行情源是可以配置,既可以是Level-1,也可以是Level-2或其他第三方的源。虽然Level-1行情没有Level-2快,但是作为系统支持的行情源,我们还是需要优化它,使得从文件读取,到用户通过socket收到行情,端到端的时延尽可能的低。本文主要介绍对level-1行情dbf文件读取的极致优化方案。相信对其他的dbf文件读取应该也有借鉴意义。

 

Level-1行情是由行情小站,定时每隔几秒把dbf文件(上海是show2003.dbf,深圳是sjshq.dbf)更新一遍,用新的行情替换掉旧的。我们的目标就是,在新文件完成更新后,在最短时间内将文件读取到内存,把每一行转化为对象,把每个列转化为对应的数据类型。

 

我们一共采用了6种优化方式。

 

优化一:采用内存硬盘(RamDisk)

内存硬盘可以极大地提高文件的读写速度,level-1行情的读写是应用内存硬盘的绝好情况:

1,我们可以把行情小站的行情文件地址配置在内存硬盘上。这样可以加速行情小站写文件的速度。

2,本系统再从内存硬盘读取,又可以加快读取速度。

3,内存硬盘掉电后会丢失文件,这里我们基本不在乎这个缺点,因为行情文件本来就是临时的,如果有持久化的需要,大部分内存硬盘也支持持久化的功能。

 

Windows上有很多虚拟内存硬盘的软件(本系统部署在windows服务器上,因为行情小站是在windows上的)。性能还是有差别的,我主要基于以下这篇文章《12 RAM Disk Software Benchmarked for Fastest Read and Write Speed》,自己再做了一点点测试,选择了Bond Disc这个软件。其地址是http://www.bonddisc.com/,使用挺简单的,这里就不详细介绍了。

 

测试下来,采用RamDisk读取并没有比从普通的硬盘读取快很多,可能是因为行情dbf文件本身就很小,只有1~2M,并且我们采用NIO形式的文件读取本身就比较快。但是使用RamDisk还是很有意义的 --

1,由于行情小站直接把dbf文件写入内存硬盘,可以加速不少。

2,如果在硬盘繁忙时,由于硬盘是串行的,采用内存硬盘在这种情况下可以避免瓶颈,保持稳定的读取低时延。

 

优化二:采用JNotify,用通知替代轮询

由于行情小站会不断的更新行情dbf文件,我们的系统需要探测到一旦行情文件被更新,就立即读取。传统的策略是不断轮询行情文件的状态,如果发现行情文件的最后修改日期(或者再加上文件大小)改变时,就认为文件被更新。但是这种方式既低效,时延又高且不稳定。假设即使把轮询时间设置为10ms一次(这意味着1秒钟就要轮询100次), 平均时延也要5ms。

 

我们可以用通知来替代轮询。这里我们采用JNotify库,这个库的下载地址是:

http://jnotify.sourceforge.net/

JNotify库支持Windows,Linux和MacOS,允许我们监视一个文件夹,当这个文件夹下的文件被增删改时,发起回调通知。代码示例如下:

public void addWatcher(String hangqingFolder, String hangqingFile) throws Exception {    // watch mask, specify events you care about,    // or JNotify.FILE_ANY for all events.    int mask = // JNotify.FILE_CREATED |          // JNotify.FILE_DELETED |        JNotify.FILE_MODIFIED; // 我们只需要注册修改事件    // JNotify.FILE_RENAMED;    // watch subtree?    boolean watchSubtree = false;    // add actual watch    watchId = JNotify.addWatch(hangqingFolder, mask, watchSubtree, new JNotifyListener() {      public void fileRenamed(int wd, String rootPath, String oldName, String newName) {        // do nothing.      }      public void fileModified(int wd, String rootPath, String name) {        if (!hangqingFile.equalsIgnoreCase(name)) //如果是修改的其他文件,则忽略          return;                readHangqingFile(hangqingFolder + File.separator + hangqingFile);      }      public void fileDeleted(int wd, String rootPath, String name) {        // do nothing      }      public void fileCreated(int wd, String rootPath, String name) {        // do nothing      }    });  }

 

以上代码:

1,我们只要监视文件修改,因此只要设置mask = JNotify.FILE_MODIFIED

2,不需要递归地监视子目录,设置watchSubtree = false

3,由于监视的是文件夹,而不是文件,在fileModified方法中,我们要判断修改的是不是我们关心的文件(即行情文件),如果不是,则忽略。如果是,就调用readHangqingFile开始读取。

 

JNotify是基于操作系统API实现的,即使用JNI实现的,因此除了jar文件,还包含.dll文件和.so文件。用eclipse开发时,我们需要指定这些本地库的目录,如下图所示:

image

 

部署时,需要将本地库放在执行根目录下,或者用-Djava.library.path=/native/library/path 指定本地库的位置。

 

采用JNotify,用(基于操作系统的)通知而不是轮询,可以非常快地发现文件被更新,根据测试时间<1ms (我觉得应该远小于1ms,但是由于文件修改时间单位是毫秒,没办法更精确的测量)。

 

待续。。。

 

Binhua Liu原创文章,转载请注明原地址http://www.cnblogs.com/Binhua-Liu/p/5609396.html