建站
咨詢
售后
建站咨詢
新聞中心
1、下載工具
兩種渠道
a、官網(wǎng)（建議直接跳過～）
地址：http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp
在信息填寫正確的情況下，無法下載?？淳W(wǎng)友的解答，需要用谷歌瀏覽器才能下載。嘗試未果。
b、github上下載
地址： https://github.com/gregrahn/tpcds-kit.git
ps：官方的包生成sql的時候會報錯，上面這個大神已經(jīng)修復。
2、編譯
操作環(huán)境：ubuntu 16.04
進入TPC-DS工具包所在目錄，由于下載的是源碼，需要編譯后才能使用。
a、解壓
unzip tpcds-kit-master.zip
b、編譯
編譯之前請確認依賴環(huán)境ok
ubuntu：
1 sudo apt-get install gcc make flex bison byacc git
CentOS/RHEL：
1 sudo yum install gcc make flex bison byacc git
tpcds-kit-master/tools make -f Makefile.suite
編譯過程中報錯：
make: yacc: Command not found。報錯是因為yacc沒有安裝 。
安裝yacc
sudo apt-get install -y byacc
再次編譯
又報錯對‘yy_create_buffer’未定義的引用。對C/C++不熟悉，搜索了一下也沒有相關(guān)的解答。百思不得其解之下，換了個思路?？赡苁堑谝淮尉幾g報錯生成的錯誤文件對第二次編譯產(chǎn)生的影響。
于是刪除解壓后的目錄，重新編譯成功。
如果生成dsdgen和dsqgen且無報錯，說明編譯成功
ll *gen
3、生成數(shù)據(jù)
第一次使用這個工具我是一臉懵比的。因為官方的文檔特喵的根本看不懂?；叵胍幌?，你碰到不熟悉的Linux命令是怎么做的？man或者--help，對吧。這里也可以用--help。
先不著急生成數(shù)據(jù)，看一下幫助信息先。
./dsdgen --help
- DIR：數(shù)據(jù)存放目錄。
- SCALE：數(shù)據(jù)量，以GB為單位。
- TABLE：生成哪張表的數(shù)據(jù)，一共有24張表哦。
- PARALLEL：生成的數(shù)據(jù)一共分為多少份，一般生成TB級數(shù)據(jù)才會用到。
- CHILD：當前數(shù)據(jù)是第幾份，與PARALLEL配對使用。
- FORCE：強制寫入數(shù)據(jù)。
常用的參數(shù)就上面幾個。下面我們來生成1G包含所有表的數(shù)據(jù)。
./dsdgen -scale 1 -dir ../data/
等待dsdgen程序正常退出后，1G數(shù)據(jù)需要2～3min左右，進入data目錄查看生成的數(shù)據(jù)。
cd ../data
假如只想生成其中某一張表的數(shù)據(jù)呢？這就需要用到-table參數(shù)了，以web_returns表為例。
./dsdgen -scale 1 -dir ../data -table web_returns
報錯了，信息如下：
web_returns是子表，它是依賴于父表web_sales的。生成父表的時候也會同時生成子表，我們來驗證一下。
./dsdgen -scale 1 -dir ../data -table web_sales
說明一下，最終生成的數(shù)據(jù)量以少于scale值的。
dsdgen的用法暫時先總結(jié)到這里。
4、生成SQL
查詢SQL使用dsqgen生成，主要用于測試數(shù)據(jù)倉庫的性能，一共99個。詳細用法可以用--help查看幫助信息。這里不做介紹直接生成。
./dsqgen -DIRECTORY ../query_templates/ -TEMPLATE "query1.tpl" -DIALECT netezza -FILTER Y > ../sql/query1.sql
-
-DIRECTORY：SQL模板的路徑
-
-TEMPLATE：SQL模板的名稱
-
-DIALECT：include query dialect defintions found in
.tpl -
-FILTER：重定向到標準輸出。
查看生成的SQL：
一共有99,每一個都要這樣生成多費勁呀。來寫個for循環(huán)一把生成所有的SQL。
shell版：
#!/bin/sh
for i in `seq 1 99`
do
./dsqgen -DIRECTORY ../query_templates/ -TEMPLATE "query${i}.tpl" -DIALECT netezza -FILTER Y > ../sql/query${i}.sql
done
Python3版：
#coding:utf-8
import os
print("generate query sql")
for i in range(1,100):
tpl = "query"+str(i)+".tpl"
qsql = "query" +str(i) +".sql"
#拼接命令
cmd = "./dsqgen -DIRECTORY ../query_templates/ "+"-TEMPLATE "+tpl+" -DIALECT netezza -FILTER Y > "+"../sql/"+qsql
#print(cmd)
#執(zhí)行命令
os.system(cmd)
去sql目錄下查看剛才生成的SQL：
這種情況下還是shell更快一點。
5、總結(jié)
- 通過TPC-DS，可以生成指定量級的數(shù)據(jù)。
- 碰到報錯不要慌，先google或bing，不要用某度，原因你懂的。
- TPC-DS基本用法已經(jīng)總結(jié)完了，但是實際操作中還有很多問題，比如：
- 我想要生成10T數(shù)據(jù)怎么搞？
- 怎么判斷生成的數(shù)據(jù)是否正確呢？
- child和parallel怎么使用？
- 數(shù)據(jù)和SQL生成完了怎么測試？
- 。。。。。。
網(wǎng)站名稱：Ubuntu環(huán)境使用TPC-DS工具生成測試數(shù)據(jù)
網(wǎng)址分享：http://www.dlmjj.cn/article/dppiphh.html
