前言前段时间很多人问我能不能写点数据库文章。就在测试mysql数据库性能的时候，出现了一个问题，就是出现了很多重复的数据。记得很久以前写过一篇类似的文章，这里总结一下。如果你在使用mysql的时候也遇到了这个问题，希望对你有所帮助。注意：本文不是数据库系列的正式文章。关于mysql、MongoDB、redis、oracle等数据库系列的文章正在整理中。其实解决是否插入重复数据的问题，一般有两种思路，就像治水一样，第一种是从源头上，第二种是在水流经的途中。我们带着这两个思路继续往下看：问题是在我们的mysql数据库中，经常会出现一些重复的数据。在某些情况下，我们允许重复数据存在，但有时我们也需要删除这些重复数据。我们如何处理它？方法一：防止重复数据。也就是说，我们在重新设计表的时候，应该为这些数据设置一个UNIQUE索引，这样可以保证它在插入时的唯一性，不会出现重复。数据。当然你也可以直接设置为PRIMARYKEY（主键）。效果是一样的。我们来看一个案例：下表没有索引和主键，所以这张表允许存在多条重复记录。目前first_name和last_name可以重复。如果不想重复，有两种解决方法：1、设置双主键模式，现在不能插入重复数据。2.加唯一索引这两种形式看似有点区别，但是可以起到一样的作用。此时我们可以插入两条重复的数据，会报错。当然，我们也可以在数据库中验证一下：这里统计first_name和last_name的重复记录数，上面两种方式都设置了，这里必须为0。方法二：插入时指定是否插入重复数据这里我们使用Insertignoreinto和Insertinto指令。(1)Insertignoreinto会忽略数据库中已有的数据。如果数据库中没有数据，将插入新数据。如果有数据，则跳过该数据。这样就可以保留数据库中已有的数据，达到在空隙中插入数据的目的。(2)insertinto是直接相反的，它会直接插入数据，不管数据库中是否有重复数据。举个例子：现在我们可以看到，也就是说，在执行第一次插入操作的时候，如果看到数据库不存在，我们就直接插入一条新的记录，所以影响一行记录，但是在第二次inserted的时候，数据库已经有相同的了，所以不会插入，会影响0行。当然，还有一条指令也可以执行类似的功能，就是insertignoreinto，那就是replaceinto。他说如果有相同primaryorunique的记录，会先删除。然后插入一条新记录。方法三：过滤重复数据如果需要读取不重复的数据，可以在SELECT语句中使用DISTINCT关键字来过滤重复数据。也可以使用GROUPBY来读取数据表中不重复的数据：方法四：删除重复数据这种情况其实相当于水到渠成的解决。看下面的sql语句：当然你也可以通过简单的方式在数据表中添加INDEX（索引）和PRIMAYKEY（主键）来删除表中的重复记录。方法如下：好了，解决方法就这么多，相信能解决你的问题。
