删除重复的MySQL条目

26 浏览
0 Comments

删除重复的MySQL条目

我没有看到有人提出过这个具体问题的求助。\n我有一个包含30万行的表格。每一行都有一个唯一的ID，几个列，但没有时间戳等等。\n我遇到的问题是用户成功将新数据导入到数据库中，因此现在一些行出现了重复。\n对于出现这个问题的行，有两行是除了ID之外完全相同的。\n有没有办法在整个表中搜索，根据名称找到重复的行，并删除旧ID的行？\n我需要确保只删除重复项，且只删除旧的记录。\n到目前为止，我想到了以下显示重复行的方法。\n

SELECT id, name, COUNT(name) AS cnt
FROM Sites
GROUP BY name
HAVING (cnt > 1)

\n这将产生带有id、name、cnt的输出，并显示有50,000条条目需要删除。显示的ID似乎是旧的ID。\n有没有办法将这个结果输入到删除命令中以删除这些条目？\n谢谢。

0

3 答案

0 Comments

在MySQL中，有时候会出现重复的条目。这可能是因为插入了重复的数据，或者是由于其他原因导致的数据重复。下面我们来看一下出现这个问题的原因以及解决方法。

出现这个问题的原因可能是因为在插入数据时，没有检查是否已经存在相同的数据。这可能是由于代码中的错误或疏忽导致的。当插入重复数据时，数据库不会自动去除重复的条目，而是将其作为新的记录插入到表中，从而导致了重复数据的出现。

为了解决这个问题，我们可以使用MySQL中的一些方法来去除重复的条目。其中一种方法是使用`FIRST_VALUE`函数，通过对名称进行分组，并按照ID的顺序进行排序，来选择第一个值作为唯一记录。通过这种方式，我们可以去除重复的条目，只保留第一个出现的记录。

具体的解决方法可以参考MariaDB的文档（https://mariadb.com/kb/en/first_value/），其中介绍了如何使用`FIRST_VALUE`函数来去除重复的条目。根据文档中的说明，我们可以使用类似以下的SQL语句来实现去重：

SELECT
    id,
    name,
    FIRST_VALUE(id) OVER (PARTITION BY name ORDER BY id) AS first_id
FROM
    your_table;

通过以上的方法，我们可以在MySQL中去除重复的条目，只保留第一个出现的记录。这样可以有效地解决重复条目的问题，使数据更加规范和准确。

0
0 Comments

在MySQL数据库中，有时候会出现重复的条目，这可能是由于某些原因导致的数据重复插入或复制错误。这种情况下，我们需要找到并删除这些重复的条目。

以下是一种解决方法，可以帮助我们删除重复的MySQL条目：

DELETE FROM Sites WHERE id IN (
 SELECT * FROM (
  SELECT id FROM Sites GROUP BY name HAVING COUNT(name) >= 2
 ) AS a
);

这段代码将根据"Site"表中的"name"字段进行分组，并找到重复的"name"值。然后，它将删除具有重复"name"值的所有条目，只保留一个条目。

通过执行以上代码，我们可以轻松地从MySQL数据库中删除重复的条目，确保数据的准确性和一致性。

希望这个解决方法对于解决"Remove duplicate MySQL entries"这个问题有所帮助。如果您在使用过程中遇到任何问题，请随时在下方留言，我将尽力提供帮助。谢谢！

0
0 Comments

问题出现的原因是表中存在重复的行，需要删除其中的旧行或者较小id的行。解决方法是使用内连接（INNER JOIN）来操作同一张表。

首先，确认要删除的所有行：

SELECT t1.* FROM Sites t1 
    INNER JOIN Sites t2 
    WHERE t1.name = t2.name 
    AND t1.id < t2.id

这个查询只返回较小id的原始行。

接下来，如果返回的行都是正确的，那么可以使用该查询并获取每个id，在DELETE语句中使用这些id：

DELETE * FROM Sites WHERE id IN (
    SELECT t1.id FROM Sites t1 
        INNER JOIN Sites t2 
        WHERE t1.name = t2.name
        AND t1.id < t2.id
)

你可以根据表中的其他列使用AND来检查确切的重复行。

第一个查询正在运行，但没有返回任何结果。实际上，几分钟后它仍在运行。我用来查找5万个重复行的示例只需要3秒。有没有办法在删除时使用这个查询？

0