处理MySQL大量数据去重的简单方法
admin
2023-05-16 16:02:06
0次
下面讲讲关于处理MySQL大量数据去重的简单方法，文字的奥妙在于贴近主题相关。所以，闲话就不谈了，我们直接看下文吧，相信看完处理MySQL大量数据去重的简单方法这篇文章你一定会有所受益。
因为有大量的重复数据，所以选择的去重方法是通过聚合函数建立一个新的表，然后重命名。sql代码如下：
create table tmp select * from table_name group by column1,column2;
然后呢，因为删除过大量数据，所以id都快到600000了。。。看着太碍眼了，所以把id变成从1 开始了。方法是先把id字段删除了，然后再增加id字段并设为自增长，好了，终于看着舒心了。。。三十多万的数据去重后大概十八条数据，用时70s，估计几千万数据的时候我就该哭了，anyway，到时再说，继续想想有什么好办法。
注意：如果之前是按id排序的，改为从1开始后，不会和之前的顺序一样。会按照第二个字段重新排序的。
对于以上处理MySQL大量数据去重的简单方法相关内容，大家还有什么不明白的地方吗？或者想要了解更多相关，可以继续关注我们的行业资讯板块。
相关内容
热门资讯
“游泳就能去欧洲”：一场误读引...
澎湃新闻记者 张颖过去几天，西班牙在北非的飞地休达市突然遭遇约5万人规模的“偷渡潮”，大量非法移民从...
5G+AI赋能农林，来宾移动跑...
在来宾市忻城县城关镇古尧村，一架无人机正缓缓升空作业，生动演绎了AI技术赋能林业巡检的图景。从忻城林...
最便宜12GB显卡！英特尔锐炫...
快科技7月31日消息，据报道，美国零售巨头Newegg近日下调了两款英特尔锐炫B580 12GB显卡...
原创 日...
大家都清楚，在芯片制造领域，光刻胶与光刻机是一一对应的。 因为光刻机将光线投影至涂了光刻胶的硅晶圆上...
谷歌曾比ChatGPT早一年做...
IT之家 8 月 2 日消息，OpenAI Codex 工程负责人蒂博 · 索蒂奥（Thibault...
安师大团队破解高分辨率土壤水分...
近日，安徽师范大学汪左副教授联合中国科学院空天信息创新研究院、河海大学、中国科学院青藏高原研究所等多...
“异构算力驱动大模型应用落地”...
中新网苏州8月1日电 (常慕城)7月31日下午，“芯算融合·智赋产业——异构算力驱动大模型应用落地”...
制胜｜第四集《空天砺剑》大图速...
思想解读类融媒体片《制胜》第四集《空天砺剑》今天20:00再上新空军某实战化对抗演习高原雷达兵抢修故...
Anthropic模型，也失控...
梦瑶 发自 凹非寺 量子位 | 公众号 QbitAI 好啊好啊，AI大厂的安全测试，这波是快把真实互...
以“第一”之名赴强军之约（强军...
运—20A飞机在飞行中释放干扰弹。刘 川摄火箭军某部官兵正在集结登车。刘志词摄武警安徽总队合肥支队官...