成人在线亚洲_国产日韩视频一区二区三区_久久久国产精品_99国内精品久久久久久久

您的位置:首頁技術文章
文章詳情頁

MySQL兩千萬數據優化&遷移

瀏覽:3日期:2023-10-16 16:17:07

最近有一張2000W條記錄的數據表需要優化和遷移。2000W數據對于MySQL來說很尷尬,因為合理的創建索引速度還是挺快的,再怎么優化速度也得不到多大提升。不過這些數據有大量的冗余字段和錯誤信息,極不方便做統計和分析。所以我需要創建一張新表,把舊表中的數據一條一條取出來優化后放回新表;

一. 清除冗余數據,優化字段結構

2000W數據中,能作為查詢條件的字段我們是預知的。所以將這部分數據單獨創建新的字段,對于有規則的數據合理改變字段結構,比如身份證就是varchar(18)。對于不重要的數據我們合并后存在一個結構為text的字段。

對于一些有關聯的數據我們需要計算,常見的比如身份證種能獲取到準確的性別,出生地、生日、年齡。

二. 數據遷移

我們從數據庫中取出一條舊數據,再通過計算處理后得到想要的新數據,最后將新數據插入新表。不過在獲取新數據時遇到如下問題。

數據量太大,無法一次獲取(2000W數據扔到內存挺可怕的);

我們可以通過MySQL的limit語法分批獲取。比如每次獲取50000,SQL語句如下:

select * from table_name limit 15000000,50000;

通過這種方法能解決數據量太大的問題,但是隨著limit的第一個參數越來越大,查詢速度會慢的嚇人(上面這條SQL執行會花35秒)。時間就是生命,于是我們開始優化SQL語句,優化后變成下面這樣:

select * from table_name order by id desc limit 5000000,50000;

可通過二分法拆分2000W數據,當執行到1000W數據時,將數據倒序。優化后SQL執行效率顯著提升,從35秒降到9秒;

不過還是很慢,時間就是生命……還好我們有自增ID(創建數據表第一條定律,一定要有自增字段),優化后的SQl如下:

1. select * from table_name where id>15000000 and id<15050000; 2. select * from table_name where id>15000000 limit 50000;

為了直觀演示,我寫了兩條功能一樣的SQL。相比第一條,第二條的limit會導致SQL的索引命中變差,效率同樣也會下降。第一條SQL的執行時間是2毫秒,第二條執行時間5毫秒(我取的平均值)。每次數據的查詢速度直接從35秒降到2毫秒……

數據量太大并且數據無法預估,某些特殊數據會導致數據導入失敗;

我們有三種方案去將新數據存入新表,分別如下:

一條一條插入數據;

開始肯定會想這種方案一定不行,因為每次插入都會有一次數據庫IO操作。但是該方案有個好處是能及時發現有問題的數據,修改后再繼續執行; 在Oracle中使用『綁定變量』能帶來性能提升,正好MySQL也提供了『綁定變量』的功能。于是在不改變邏輯的情況下,嘗試優化數據存儲速度。代碼如下:

public function actionTest(array $data){ $mysqli = new mysqli('192.168.1.106', 'username', 'password', 'test'); $sql = 'insert into table_name(name,identity) values (?,?)'; $stmt = $connection->prepare($sql); $name = ''; $identity = ''; //使用綁定變量 $stmt->bind_param('si', $name, $identity); foreach($data as $val) {$name = $val[name];$identity = $val[card_id];//執行$stmt->execute(); } $stmt->close();}

最后效果不怎么好,MySQL的『綁定變量』并沒帶來明顯的速度提升,不過能有效的防止SQL注入;

一次插入50000條數據;

這是我最后選中的方案,一是能及時發現有問題的數據,二是導入數據非常穩定。就像支持斷點續傳一樣,每一步都能看到效果。在執行腳本時,也能同步開始寫分析邏輯;

組裝成SQL文件,最后統一導入;

組裝一個大的SQL文件,最后通過MySQL自帶的工具導入也是極好的。但如果有一條SQL有問題,你可能需要重跑一次腳本。因為在9G大小的文本文件中修改一個符號是很痛苦的事情……

三. 總結

通過各種優化,最后將腳本執行時間縮短到了20分鐘內。優化后數據質量得到了較高保證,下次將嘗試2億數據的優化&遷移……

來自:https://yq.aliyun.com/articles/59907

標簽: MySQL 數據庫
相關文章:
成人在线亚洲_国产日韩视频一区二区三区_久久久国产精品_99国内精品久久久久久久
91蝌蚪porny成人天涯| 2024国产精品| 日韩免费高清视频| 精品一区在线看| 色噜噜久久综合| 日韩精品久久久久久| 亚洲综合好骚| 亚洲人午夜精品天堂一二香蕉| 欧美~级网站不卡| 日韩你懂的电影在线观看| 久久国产成人午夜av影院| 在线免费不卡电影| 蜜臀91精品一区二区三区| 久久国产精品免费一区| 亚洲福利视频一区二区| 欧美专区18| 五月天欧美精品| 久久一区免费| 日韩国产在线一| 91豆麻精品91久久久久久| 亚洲国产精品自拍| 久久综合九色综合网站| 日韩主播视频在线| 色女孩综合影院| 老司机免费视频一区二区三区| 色久综合一二码| 久久99精品国产| 337p亚洲精品色噜噜噜| 国产高清无密码一区二区三区| 日韩欧美中文字幕制服| 99久久婷婷国产精品综合| 久久综合九色综合97婷婷 | 国产成人精品综合在线观看 | www.av精品| 国产亚洲女人久久久久毛片| 欧美精品二区| 国产精品盗摄一区二区三区| 99精品国产高清一区二区| 亚洲国产美女搞黄色| 色系网站成人免费| 麻豆久久一区二区| 欧美日韩一区二区三区在线| 国产在线一区二区综合免费视频| 日韩女优av电影| 午夜久久资源| 亚洲综合一区二区三区| 可以看av的网站久久看| 国产麻豆欧美日韩一区| 精品国产电影一区二区| 亚洲午夜精品福利| 午夜精品久久久| 欧美一区二区三区在| 欧美片网站免费| 亚洲国产一区二区a毛片| 欧美最新大片在线看| 国产剧情av麻豆香蕉精品| 久久久国产精品麻豆| 国产亚洲午夜| 精品一区二区三区免费观看| 久久综合九色综合欧美98| 一区免费在线| 美脚の诱脚舐め脚责91| 欧美成人精精品一区二区频| 一区福利视频| 精品综合免费视频观看| 久久精子c满五个校花| 国产精品久久久对白| 激情综合五月天| 欧美激情中文不卡| 久久久久一区| 东方欧美亚洲色图在线| 亚洲日本韩国一区| 欧美人妖巨大在线| 欧美午夜在线视频| 午夜电影久久久| 精品国产伦一区二区三区观看体验 | 中文字幕av在线一区二区三区| 国产一区成人| 国产精品一区二区你懂的| 亚洲欧美一区二区视频| 欧美日韩一区国产| 红桃视频亚洲| 久久国产精品99久久久久久老狼| 国产亚洲欧洲997久久综合| 久久精品成人| 91在线小视频| 日韩福利视频导航| 国产日韩欧美综合在线| 久久激情婷婷| 欧美91精品| 久久精品久久99精品久久| 国产精品污www在线观看| 欧美视频在线一区二区三区| 欧美精品一区二区三区久久久竹菊| 日本中文在线一区| 日本一区二区综合亚洲| 欧美无砖砖区免费| 亚洲精品影院| 国产成人在线影院| 夜夜嗨av一区二区三区网页| 日韩欧美一区二区在线视频| 欧美亚洲免费| 欧美成人一品| 久久99精品国产| 亚洲激情网站免费观看| 26uuu久久综合| 欧美午夜片在线看| 一本一本久久a久久精品综合妖精| 国产成人免费在线视频| 亚洲成人动漫一区| 国产精品全国免费观看高清| 3d动漫精品啪啪一区二区竹菊| 国产一区二区你懂的| 99久久婷婷国产综合精品| 免费成人结看片| 亚洲精品日韩专区silk| 欧美精品一区视频| 欧美性猛交一区二区三区精品 | 欧美三区在线视频| 亚洲日本欧美| av亚洲精华国产精华精华| 人禽交欧美网站| 亚洲色图.com| 久久久久九九视频| 91精品国产综合久久国产大片 | 风流少妇一区二区| 丝袜美腿成人在线| 国产精品成人一区二区三区夜夜夜| 日韩欧美一级精品久久| 亚洲电影第三页| 国产精品色在线| 精品国产一区二区三区四区四| 欧美日韩在线观看一区二区| 一区二区三区av| 欧美成人tv| 国产成人av网站| 麻豆一区二区三区| 亚洲国产精品麻豆| 成人欧美一区二区三区1314| 日韩一区二区在线播放| 欧美网站大全在线观看| 久久久久久穴| 99精品国产在热久久下载| 欧美激情1区2区| 不卡视频一二三四| 黄网站免费久久| 日韩二区三区四区| 亚洲国产视频网站| 亚洲另类在线制服丝袜| 欧美激情综合网| 久久久久久免费网| 欧美videos中文字幕| 日韩午夜电影在线观看| 在线观看91精品国产麻豆| 色成年激情久久综合| 亚洲一区网站| 国产精品久久波多野结衣| 在线精品福利| 极品av少妇一区二区| 欧美日韩精品免费看| 色综合中文字幕| 欧美88av| 91色视频在线| 99精品视频在线免费观看| 成人免费看黄yyy456| 国产精品一品二品| 国产一区二区三区免费观看| 加勒比av一区二区| 久久97超碰色| 麻豆成人91精品二区三区| 日韩av中文在线观看| 午夜视频在线观看一区二区三区| 亚洲成人资源网| 亚洲h在线观看| 天天影视涩香欲综合网| 亚洲成人免费在线| 丝袜国产日韩另类美女| 日韩国产欧美在线视频| 免费欧美在线视频| 激情欧美一区二区| 国内精品国产三级国产a久久| 国内外成人在线视频| 国产成人在线免费| 97久久久精品综合88久久| 97超碰欧美中文字幕| 午夜精品久久久久99热蜜桃导演| 欧美精品一卡| 亚洲午夜91| 伊人成人在线| 日韩亚洲视频在线| 欧美一区=区| 色哟哟亚洲精品| 欧美午夜电影一区| 欧美一卡二卡在线观看| 精品av综合导航| 欧美国产日韩精品免费观看| 亚洲少妇中出一区| 亚洲成人精品影院| 久久国产精品99久久人人澡| 国产精品白丝jk黑袜喷水|