Maximum buffer size of BufferedReader

10 浏览
0 Comments

Maximum buffer size of BufferedReader

我有一个大文件(50-60GB)。\n我也有一台不错的机器(128GB内存和16个内核)。\n现在,我想要读取整个文件并进行一些操作。请注意,该文件是二进制的,所以对我来说,读取为字符串或字节都无关紧要。我的IO速度非常慢,所以我想通过BufferedReader的缓冲区来读取整个文件。\n但是我被缓冲读取器的构造函数所限制。\n现在,我可以拥有最大2G的缓冲区大小。对我来说,这将非常痛苦,因为我需要从IO读取30次。\n查看BufferedReader的方法,没有一个方法超过2G的标记(即使是这个读取函数)。\n我是不是在看错误的类?\n在Java中是否有其他适合我要求的类?\n我的主要要求是我可以忍受初始加载时间,并且我想要利用128G的内存。\n谢谢

0
0 Comments

BufferedReader有一个最大缓冲区大小的限制。当缓冲区大小超过最大限制时,将会出现问题。为了解决这个问题,可以使用内存映射IO来满足需求。

0