建站
咨詢
售后
建站咨詢
新聞中心
MySQL庫(kù)中有一個(gè)表，數(shù)據(jù)量在10億左右，基本上對(duì)于這個(gè)表的操作都是沒有意義的，因此想測(cè)試一下遷移到MongoDB的shared架構(gòu)上是否會(huì)有所改善。于是哼哧哼哧的搭建了一個(gè)3分片的mongo環(huán)境，并將mysql中這個(gè)大表的數(shù)據(jù)導(dǎo)出成了csv的格式，最終使用mongoimport工具成功將10億多的數(shù)據(jù)導(dǎo)入mongo集群中去。但是導(dǎo)完后查看了下mongodb中對(duì)應(yīng)的db的信息，差點(diǎn)沒嚇出尿來，請(qǐng)看：
創(chuàng)新互聯(lián)公司長(zhǎng)期為1000多家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為麻山企業(yè)提供專業(yè)的成都做網(wǎng)站、網(wǎng)站設(shè)計(jì)，麻山網(wǎng)站改版等技術(shù)服務(wù)。擁有10多年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。
## 在mongos中查看db的信息，顯示遷移后的lens_mobapp_trace庫(kù)大小為1197.416GB mongos> show dbs; admin 0.016GB config 0.109GB lens_mobapp_trace 1197.416GB test 0.031GB
而我從mysql中導(dǎo)出的數(shù)據(jù)文件大小只有259GB，格式為csv，如下:
## 大小 $ ll -h total 259G -rw-r--r-- 1 root root 259G Mar 25 16:27 NL_MOB_APP_ERROR_TRACE.txt ## 格式：逗號(hào)分隔的csv文件 $ head -2 NL_MOB_APP_ERROR_TRACE.txt "1551445226","2015-02-11 00:00:01","4613","5969","2","19796","1","5397","73","0","0","46000","4","0","499","2","903","1","-370443099","http://pingma.qq.com/mstat/report","nbfs://2015/2/11/4613/4613.0.txt?2444,2#93b" "1551445229","2015-02-11 00:00:01","4611","7259","1","34","2","1038","71","48","4815","16","1","1482","412161","2","903","1","1429877488","http://api.mobile.cosmeapp.cn/cosmeapi","nbfs://2015/2/11/4611/4611.0.txt?38200,750#2c2"
這259G的數(shù)據(jù)在mysql庫(kù)中的大小如下:
## 數(shù)據(jù)大小228GB mysql> select sum(data_length)/1024/1024/1024 as size from information_schema.tables where table_name ='NL_MOB_APP_ERROR_TRACE' and table_schema='lens_mobapp_trace'; +-----------------------+ | size | +-----------------------+ | 227.9790587359032 | +-----------------------+ 1 row in set (0.59 sec) ## 數(shù)據(jù)+索引總大小404GB mysql> select sum(data_length+index_length)/1024/1024/1024 from information_schema.tables where table_name ='NL_MOB_APP_ERROR_TRACE' and table_schema='lens_mobapp_trace'; +-----------------------+ | size | +-----------------------+ | 404.3463549343156 | +-----------------------+ 1 row in set (0.00 sec) ## 記錄數(shù) mysql> select count(*) from NL_MOB_APP_ERROR_TRACE; +------------------+ | count(*) | +------------------+ | 1079684226 | +------------------+ 1 row in set (23 min 18.06 sec)
看到遷移到mongodb中數(shù)據(jù)量變?yōu)?197.416GB，一開始我是拒絕的，懷疑是加了特技，因?yàn)槎颊fmongodb會(huì)預(yù)分配大文件用于存儲(chǔ)，于是到mongos上去看了看后端分片真實(shí)的存儲(chǔ)狀況
mongos> use lens_mobapp_trace
switched to db lens_mobapp_trace
## 這里只抽取一個(gè)分片來說明問題
mongos> db.stats();
{
"raw" : {
........
"udb-q12c20/10.6.14.38:27017" : {
"db" : "lens_mobapp_trace",
"collections" : 4,
"objects" : 352321865,
"avgObjSize" : 1005.7750069868641,
"dataSize" : 354356526232,
"storageSize" : 371299001584,
"numExtents" : 711,
"indexes" : 3,
"indexSize" : 64238570368,
"fileSize" : 437856239616,
"nsSizeMB" : 16,
"dataFileVersion" : {
"major" : 4,
"minor" : 5
},
"extentFreeList" : {
"num" : 4,
"totalSize" : 180224
},
"ok" : 1
},
.......
}"objects" : 352321865 ## 該分片上的記錄數(shù)
"avgObjSize" : 1005.7750069868641 ## 每條記錄平均大小
"dataSize" : 354356526232 ## 真實(shí)的數(shù)據(jù)大小
"storageSize" : 371299001584 ## 數(shù)據(jù)大小+預(yù)分配表空間(2G)
"indexSize" : 64238570368 ## 索引的大小
"fileSize" : 437856239616 ## 整個(gè)數(shù)據(jù)文件的大小
可以看到每條記錄在mongodb中占用約1k的空間，而在mysql中每條記錄的平均大小為227bytes，所以數(shù)據(jù)遷移到mongodb后數(shù)據(jù)會(huì)變的這么大。那么具體原因是什么呢？mongodb對(duì)插入的每一條記錄都會(huì)自動(dòng)的添加一個(gè)唯一標(biāo)識(shí)的字段_id,該字段大小為12bytes，還有就是mongodb每條記錄都會(huì)預(yù)留一些replace的空間用于記錄的更新操作，再有就是預(yù)分配功能也會(huì)占用一定的空間(最大為2GB)。mongodb和mysql對(duì)與表空間的管理是不同的，但是有一點(diǎn)是可以肯定的，那就是數(shù)據(jù)從mysql遷移到mongodb上數(shù)據(jù)是膨脹的。
我們上面這個(gè)測(cè)試采用的版本是mongodb2.6.9。mongodb3.0之后對(duì)底層存儲(chǔ)做了改進(jìn)，使用WiredTiger作為內(nèi)建的存儲(chǔ)引擎，官方的說這一舉措能夠?yàn)镸ongoDB帶了文檔級(jí)鎖的并發(fā)控制和高效的文檔壓縮功能，且自身性能也有了重大的提升，提升MongoDB 7-10倍的寫操作性能、降低了80%的存儲(chǔ)占用空間、降低了高達(dá)95%操作開銷、支持高達(dá)50個(gè)副本集，好奇心的驅(qū)動(dòng)，于是做了一個(gè)簡(jiǎn)單測(cè)試，過程如下：mongodb采用WiredTiger引擎啟動(dòng)，然后導(dǎo)入了5G的數(shù)據(jù)，最后查看導(dǎo)入后的數(shù)據(jù)大小。
## mongodb3.0.1采用WiredTiger引擎，啟動(dòng)服務(wù) mongod --dbpath=/data/db/ --logpath=/data/db/logs/mongodb.log --logappend --port=27017 -storageEngine wiredTiger --fork >/dev/null ## 數(shù)據(jù)樣本大小 [root@manager opt]# ll -h xaa -rw-r--r-- 1 root root 5.0G Apr 22 16:57 xaa ## 數(shù)據(jù)樣本記錄數(shù) [root@manager opt]# wc -l xaa 21300000 xaa ## 數(shù)據(jù)樣本格式 [root@manager opt]# head -2 xaa "1551445226","2015-02-11 00:00:01","4613","5969","2","19796","1","5397","73","0","0","46000","4","0","499","2","903","1","-370443099","http://pingma.qq.com/mstat/report","nbfs://2015/2/11/4613/4613.0.txt?2444,2#93b" "1551445229","2015-02-11 00:00:01","4611","7259","1","34","2","1038","71","48","4815","16","1","1482","412161","2","903","1","1429877488","http://api.mobile.cosmeapp.cn/cosmeapi","nbfs://2015/2/11/4611/4611.0.txt?38200,750#2c2"
采用mongoimport的方式導(dǎo)入mongodb，然后在庫(kù)中查看庫(kù)的大小和記錄數(shù)
## 庫(kù)中查看 > show dbs; lens_mobapp_trace 2.847GB local 0.000GB > use lens_mobapp_trace switched to db lens_mobapp_trace > show collections; NL_MOB_APP_ERROR_TRACE > db.NL_MOB_APP_ERROR_TRACE.count(); 21300000 ## 查看文件系統(tǒng)中數(shù)據(jù)目錄的大小 [root@manager db]# ll -h total 2.9G -rw-r--r-- 1 mongodb mongodb 16K Apr 22 22:28 collection-0-3862414736807305835.wt -rw-r--r-- 1 root root 2.7G Apr 22 23:03 collection-2-3862414736807305835.wt -rw-r--r-- 1 mongodb mongodb 16K Apr 22 22:28 index-1-3862414736807305835.wt -rw-r--r-- 1 root root 185M Apr 22 23:03 index-3-3862414736807305835.wt drwxr-xr-x 2 mongodb mongodb 4.0K Apr 22 23:03 journal drwxr-xr-x 2 mongodb mongodb 4.0K Apr 22 22:26 logs -rw-r--r-- 1 mongodb mongodb 32K Apr 22 22:31 _mdb_catalog.wt -rwxr-xr-x 1 mongodb mongodb 5 Apr 22 22:27 mongod.lock -rw-r--r-- 1 mongodb mongodb 36K Apr 22 23:05 sizeStorer.wt -rw-r--r-- 1 mongodb mongodb 95 Apr 22 22:27 storage.bson -rw-r--r-- 1 mongodb mongodb 46 Apr 22 22:27 WiredTiger -rw-r--r-- 1 mongodb mongodb 495 Apr 22 22:27 WiredTiger.basecfg -rw-r--r-- 1 mongodb mongodb 21 Apr 22 22:27 WiredTiger.lock -rw-r--r-- 1 root root 886 Apr 22 23:06 WiredTiger.turtle -rw-r--r-- 1 mongodb mongodb 44K Apr 22 23:06 WiredTiger.wt
看到這個(gè)結(jié)果不由得讓人欣喜，看來mongodb3.0之后，確實(shí)提升了很多，導(dǎo)入5GB數(shù)據(jù)，壓縮比在57%左右，如果導(dǎo)入較大的數(shù)據(jù)量的話，那么這個(gè)壓縮比應(yīng)該是會(huì)有所提高，看來與官方說的80%出入不大，這個(gè)測(cè)試結(jié)果是不是又燃起了你對(duì)mongodb的信心？哈哈，看來是有必要學(xué)習(xí)一下3.0的新版本了，新技術(shù)層出不窮，it海中漂泊，唯有day day up。
分享名稱：mysql遷移到mongodbshared架構(gòu)的過程中踩到的一個(gè)坑
分享地址：http://www.dlmjj.cn/article/pscojo.html
