论坛
提问
用户
提问
×
游客
登录
注册
忘记密码?
在给定内存限制的情况下,对一个具有大量数据的文件进行排序。
论坛
在给定内存限制的情况下,对一个具有大量数据的文件进行排序。
8 浏览
2023年7月24日
匿名的
2023年7月25日
0
Comments
在给定内存限制的情况下,对一个具有大量数据的文件进行排序。
要点:
我们每天同时处理数千个平面文件。
内存限制是一个重大问题。
我们为每个文件处理使用线程。
我们不按照列排序。文件中的每一行(记录)被视为一列。
不能做的事情:
我们不能使用Unix/Linux的排序命令。
无论如何轻量级,我们都不能使用任何数据库系统。
现在,我们不能只加载所有内容到集合中并使用排序机制。这将耗尽所有内存,程序将出现堆错误。
在这种情况下,您将如何对文件中的记录/行进行排序?
0
0
答案
活跃
已投票
最新
最老的
用户名或电子邮箱地址
密码
注册
Lost Password
如何对非常大的文件进行排序
如何原地对文件进行排序?
处理来自多个进程的单个文件
如何逐行读取大文件?
使用MySQL和Java进行排序功能的优化
日志文件已经变得非常庞大。需要一种解决方案将其加载到主内存中打开。
许多文本文件中的大量数据-如何处理?
在Java中读取大文件
使用MapReduce/Hadoop对大数据进行排序。
JVM 内存不足
显示包含10亿个整数的文件中前100个整数的最有效方法。内存最多可以容纳100万个整数。
如何对价值100GB的字符串进行排序
如何通过解析大文件来创建一个数组?
如何使用Java按行读取大型文本文件?
计算大文件中的行数
我如何逐行读取大型文本文件,而不将其加载到内存中?
排序算法是如何判断有多少内存可用的?
Java:读取一个巨大文件的最后n行
查看一个非常大的 CSV 文件?
需要一种按日期对100 GB的日志文件进行排序的方法 [已关闭]