读取一个文本文件并在Python中将其拆分为单个单词

24 浏览
0 Comments

读取一个文本文件并在Python中将其拆分为单个单词

我有一个由数字和单词组成的文本文件，例如像这样 - 09807754 18 n 03 aristocrat 0 blue_blood 0 patrician，我想将它分割成每个单词或数字占一行的形式。

最理想的分隔符是空格，因为我希望带有连字符的单词保持连接。

这是我目前的代码：

f = open('words.txt', 'r')
for word in f:
    print(word)

不太确定接下来该怎么做，我希望输出结果是这样的：

09807754
18
n
3
aristocrat
...

0

3 答案

0 Comments

在Python中，我们经常需要读取文本文件并对其进行处理。一种常见的需求是将文本文件拆分为单个单词，并进行进一步的处理。然而，有时我们可能会遇到一些问题，例如读取文本文件并将其拆分为单个单词。

这个问题的出现原因可能是因为我们没有正确地读取文件或者没有正确地拆分单词。解决这个问题的方法是使用Python的内置函数来读取和拆分文件。

首先，我们使用open函数来打开文本文件。在这个例子中，我们打开一个名为'words.txt'的文本文件，并将其存储在一个变量f中。接下来，我们使用read函数来读取文件的内容，并使用split函数将其拆分为单个单词。最后，我们使用一个循环来遍历所有的单词，并使用print函数将它们打印出来。

下面是完整的代码示例：

f = open('words.txt')
for word in f.read().split():
    print(word)

通过运行上述代码，我们可以读取'words.txt'文件的内容并将其拆分为单个单词。然后，我们使用循环遍历所有的单词，并使用print函数将它们逐个打印出来。

通过这种方式，我们可以很方便地读取文本文件并将其拆分为单个单词。这对于进行文本处理和分析非常有用。

0
0 Comments

问题的原因是当读取一个非常大的文件时，将整个内容一次性读入内存可能会导致内存溢出的问题。为了解决这个问题，可以使用缓冲区来逐行读取文件内容，并将每个单词通过yield关键字逐个返回。

解决方法是定义一个read_words函数，该函数接受一个文件路径作为输入参数。在函数内部，使用with open打开文件，并使用while循环来逐行读取文件内容。每次读取10240个字节的数据并存储在buf变量中。然后，通过判断buf的最后一个字符是否为空格来确保每个单词的边界。如果不是空格，则继续读取一个字符并将其添加到buf中，直到找到空格为止。然后，使用split方法将buf分割成单词列表，并通过yield关键字逐个返回单词。如果文件为空，则通过yield关键字返回一个空字符串。

在主函数中，使用for循环遍历read_words函数返回的单词，并将每个单词传递给一个名为process的函数进行处理。这里没有给出process函数的具体定义。

对于性能方面的考虑，使用缓冲区的方法比使用itertools模块的方法快上一个数量级。

10240是一个经验值，表示每次读取的字节数。如果对性能感兴趣，可以尝试调整缓冲区的大小，看看较小还是较大的缓冲区效果更好。

文章中提到的问题包括：10240代表的是字节数吗？缓冲区的大小可以有多大？如果对性能感兴趣，较小或较大的缓冲区更好？process函数的具体定义是什么？

0
0 Comments

问题：如何在Python中读取文本文件并将其拆分为单词？

原因：需要读取文本文件，并将其拆分为单词，以便进一步处理或分析。

解决方法：

1. 如果只想逐个单词地读取文件（忽略文件中的空格和换行符）：

使用`open`函数打开文件，并使用`with`语句创建文件对象。然后使用嵌套的`for`循环将每一行拆分为单词，并逐个打印出来。

2. 如果想将文件中的单词平铺为一个单一的列表：

使用`open`函数打开文件，并使用`with`语句创建文件对象。然后使用列表推导式将每一行的单词添加到一个列表中。

3. 如果想要一个嵌套列表，其中每一行都包含文件中的单词（例如，从文件中创建行和列的矩阵）：

使用`open`函数打开文件，并使用`with`语句创建文件对象。然后使用列表推导式将每一行拆分为单词，并添加到一个嵌套列表中。

4. 如果想要使用正则表达式过滤文件中的特定单词（例如过滤掉`wordN`而保留`lineN`类型的单词）：

使用`import re`导入正则表达式模块，然后使用`open`函数打开文件，并使用`with`语句创建文件对象。使用正则表达式的`findall`方法在每一行中查找符合特定模式的单词。

5. 如果想要使用正则表达式创建一个逐行生成器：

使用`import re`导入正则表达式模块，然后使用`open`函数打开文件，并使用`with`语句创建文件对象。使用生成器表达式逐行生成符合特定模式的单词。

`for line in f:`的迭代机制：

使用`open`函数打开文件时，创建了一个文件对象。Python文件对象支持逐行迭代文本文件（二进制文件一次性读取完毕）。因此，`for`循环中的每一次迭代都是文件中的一行。当文件结束时，文件对象会引发`StopIteration`，循环结束，完成对文件的处理。

关闭文件：

如果使用`with`语句打开文件，则在`with`块结束时，文件会自动关闭，无需手动关闭。如果使用裸露的`open`函数打开文件，则在处理完成后需要手动关闭文件。

以上方法提供了不同的方式来读取文本文件并拆分单词，根据具体需求可以选择不同的方法。

0