如何部分读取一个巨大的CSV文件？

21 浏览
0 Comments

如何部分读取一个巨大的CSV文件？

我有一个非常大的CSV文件，无法将其全部读入内存。我只想读取和处理其中的几行。因此，我正在寻找Pandas中能够处理此任务的函数，基本的Python可以很好地处理：

with open('abc.csv') as f:
    line = f.readline()
    # 直到到达特定行号之前都进行跳过处理...

然而，如果我在Pandas中这样做，我总是会读取第一行：

datainput1 = pd.read_csv('matrix.txt', sep=',', header=None, nrows=1)
datainput2 = pd.read_csv('matrix.txt', sep=',', header=None, nrows=1)

我正在寻找一种更简单的方法在Pandas中处理这个任务。例如，如果我想读取从1000到2000行的数据，我该如何快速实现？

我想使用Pandas是因为我想将数据读入数据框中。

0