将float64列中的空单元格替换为NaN。

16 浏览
0 Comments

将float64列中的空单元格替换为NaN。

我想在一个Pandas数据框中查找所有包含空格（任意数量）的值，并将这些值替换为NaN。

有没有什么改进的想法？

基本上我想把这个：

A B C

2000-01-01 -0.532681 foo 0

2000-01-02 1.490752 bar 1

2000-01-03 -1.387326 foo 2

2000-01-04 0.814772 baz

2000-01-05 -0.222552 4

2000-01-06 -1.176781 qux

变成这个：

A B C

2000-01-01 -0.532681 foo 0

2000-01-02 1.490752 bar 1

2000-01-03 -1.387326 foo 2

2000-01-04 0.814772 baz NaN

2000-01-05 -0.222552 NaN 4

2000-01-06 -1.176781 qux NaN

我已经用下面的代码做到了，但它非常丑陋。它不符合Pythonic的风格，而且我相信对于Pandas来说也不是最高效的使用方式。我遍历每一列，并对通过应用一个函数生成的列掩码进行布尔替换，该函数在每个值上执行正则表达式搜索，匹配空格。

for i in df.columns:
    df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None

可以通过只迭代可能包含空字符串的字段来进行一些优化：

if df[i].dtype == np.dtype('object')

但这并没有太大的改进。

最后，这段代码将目标字符串设置为None，这在Pandas的函数（如fillna()）中可以工作，但如果我能直接插入NaN而不是None，那就更完整了。

0

2 答案

0 Comments

问题的出现原因是在float64列中存在空值，需要将这些空值替换为NaN。解决方法是使用pandas的replace函数，通过正则表达式匹配空值，并替换为NaN。具体代码如下：

import pandas as pd
import numpy as np
df = pd.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'foo', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', '  '],         
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))
# 使用正则表达式替换空值为NaN
df.replace(r'^\s*$', np.nan, regex=True)

这段代码将空值替换为NaN后的结果如下：

                   A    B   C
2000-01-01 -0.532681  foo   0
2000-01-02  1.490752  bar   1
2000-01-03 -1.387326  foo   2
2000-01-04  0.814772  baz NaN
2000-01-05 -0.222552  NaN   4
2000-01-06 -1.176781  qux NaN

这种方法可以解决在float64列中存在空值的问题。另外，如果有效数据中包含空格，则可以使用`df.replace(r'^\s+$', np.nan, regex=True)`来替换空值为NaN。

0
0 Comments

问题的原因：在float64列中出现空单元格的原因可能是数据输入错误或者数据缺失。

解决方法：可以使用d.applymap(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x)来将空单元格替换为NaN。该方法会对数据框中的每个单元格应用一个函数，如果单元格是空字符串，则替换为NaN。

另外，可以使用isinstance函数来检查单元格是否为空字符串，也可以使用str(x).isspace()来检查。这两种方法都可以，但是isinstance可能会稍微快一些。

需要注意的是，在Python 3中，代码中的"basestring"引用将不起作用，可以使用"str"代替。

如果要替换空字符串''，可以使用d.applymap(lambda x: np.nan if isinstance(x, basestring) and (not x or x.isspace()) else x)。这样可以考虑到空字符串的情况。

在Python 3.x中，isinstance(x, basestring)的正确等价物是isinstance(x, str)。

0