删除具有重复索引的pandas行

15 浏览
0 Comments

删除具有重复索引的pandas行

如何删除索引值重复的行？

在下面的天气数据中，有时科学家会回过头来纠正观测值，而不是编辑错误的行，而是将重复的行附加到文件的末尾。

我正在从网络上读取一些自动气象数据（每5分钟进行一次观测，并编制每个气象站的月度文件）。解析文件后，DataFrame 如下：

                      Sta  Precip1hr  Precip5min  Temp  DewPnt  WindSpd  WindDir  AtmPress
Date                                                                                      
2001-01-01 00:00:00  KPDX          0           0     4       3        0        0     30.31
2001-01-01 00:05:00  KPDX          0           0     4       3        0        0     30.30
2001-01-01 00:10:00  KPDX          0           0     4       3        4       80     30.30
2001-01-01 00:15:00  KPDX          0           0     3       2        5       90     30.30
2001-01-01 00:20:00  KPDX          0           0     3       2       10      110     30.28

重复情况的示例：

import pandas as pd
import datetime
startdate = datetime.datetime(2001, 1, 1, 0, 0)
enddate = datetime.datetime(2001, 1, 1, 5, 0)
index = pd.date_range(start=startdate, end=enddate, freq='H')
data1 = {'A' : range(6), 'B' : range(6)}
data2 = {'A' : [20, -30, 40], 'B' : [-50, 60, -70]}
df1 = pd.DataFrame(data=data1, index=index)
df2 = pd.DataFrame(data=data2, index=index[:3])
df3 = df2.append(df1)
df3
                       A   B
2001-01-01 00:00:00   20 -50
2001-01-01 01:00:00  -30  60
2001-01-01 02:00:00   40 -70
2001-01-01 03:00:00    3   3
2001-01-01 04:00:00    4   4
2001-01-01 05:00:00    5   5
2001-01-01 00:00:00    0   0
2001-01-01 01:00:00    1   1
2001-01-01 02:00:00    2   2

所以我需要 df3 最终变成：

                       A   B
2001-01-01 00:00:00    0   0
2001-01-01 01:00:00    1   1
2001-01-01 02:00:00    2   2
2001-01-01 03:00:00    3   3
2001-01-01 04:00:00    4   4
2001-01-01 05:00:00    5   5

我认为添加行号列（df3[\'rownum\'] = range(df3.shape[0])）会帮助我为任何 DatetimeIndex 的值选择最下面的行，但我卡在了 figuring out the group_by 或 pivot（或者 ???）语句，以使其正常工作。

admin 更改状态以发布 2023年5月21日
0

2 答案

0 Comments

这将索引作为DataFrame列添加，对其进行去重，然后移除新列：

df = (df.reset_index()
        .drop_duplicates(subset='index', keep='last')
        .set_index('index').sort_index())

请注意，上面末尾使用的.sort_index()是必要的，但是可选的。

0
0 Comments

我建议在Pandas索引本身上使用duplicated方法：

df3 = df3[~df3.index.duplicated(keep='first')]

虽然其他所有方法都可以使用，但提供的示例中 .drop_duplicates 的性能要差得多。此外，虽然groupby方法的性能略低，但我发现重复的方法更易读。

使用提供的示例数据：

>>> %timeit df3.reset_index().drop_duplicates(subset='index', keep='first').set_index('index')
1000 loops, best of 3: 1.54 ms per loop
>>> %timeit df3.groupby(df3.index).first()
1000 loops, best of 3: 580 µs per loop
>>> %timeit df3[~df3.index.duplicated(keep='first')]
1000 loops, best of 3: 307 µs per loop

请注意，通过将 keep 参数更改为 'last' ，您可以保留最后一个元素。

还应注意，此方法也适用于 MultiIndex （按照Paul的示例中指定的df1）：

>>> %timeit df1.groupby(level=df1.index.names).last()
1000 loops, best of 3: 771 µs per loop
>>> %timeit df1[~df1.index.duplicated(keep='last')]
1000 loops, best of 3: 365 µs per loop

0