建站
咨詢
售后
建站咨詢
新聞中心
kettle提取postgresql數(shù)據(jù)
kettle提取postgresql數(shù)據(jù)步驟如下
創(chuàng)新互聯(lián)公司專業(yè)為企業(yè)提供嘉定網(wǎng)站建設(shè)、嘉定做網(wǎng)站、嘉定網(wǎng)站設(shè)計、嘉定網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計與制作、嘉定企業(yè)網(wǎng)站模板建站服務(wù)，十余年嘉定做網(wǎng)站經(jīng)驗，不只是建網(wǎng)站，更提供有價值的思路和整體網(wǎng)絡(luò)服務(wù)。
1 遍歷區(qū)域和像素
其中xingzheng是行政區(qū)域數(shù)據(jù)表，thematic是專題像素分類表
2 影像分割
通過查詢某個區(qū)域和影像的交，達到影像分割的目的，
查詢區(qū)域gid=24，波段為1，像素值為4的像素個數(shù)的sql語句為：
其中函數(shù)ST_Intersects查詢兩個幾何的交集，示例如下
3 柵格統(tǒng)計與數(shù)據(jù)提取
通過提取函數(shù)ST_ValueCount，查詢分割后的柵格、指定波段和像素的像素總個數(shù)，并乘以單個像元值大小，實現(xiàn)數(shù)據(jù)面積提取。
其中28.15132773 * 28.15132773為單個像元值面積大小，具體使用albers投影（雙標準緯線投影）計算得出，0.000001單位換算成平方公里。
區(qū)域gid和像素類型作為輸入，實現(xiàn)影像分割和柵格面積統(tǒng)計，完整的sql如下：
4 kettle數(shù)據(jù)提取轉(zhuǎn)換
kettle數(shù)據(jù)提取轉(zhuǎn)換過程如下：
kettle遍歷區(qū)域和像素，如kettle數(shù)據(jù)轉(zhuǎn)換圖所示“表輸入2”，sql見步驟1；
kettle影像分割和柵格統(tǒng)計，如kettle數(shù)據(jù)轉(zhuǎn)換圖所示“表輸入”，sql見步驟3；
將提取出的數(shù)據(jù)保存到文件中。
如何遍歷幾百萬條postgresql表
1、通過命令行查詢
\d 數(shù)據(jù)庫 —— 得到所有表的名字
\d 表名 —— 得到表結(jié)構(gòu)
2、通過SQL語句查詢
"select * from pg_tables" —— 得到當前db中所有表的信息（這里pg_tables是系統(tǒng)視圖）
"select tablename from pg_tables where schemaname='public'" —— 得到所有用戶自定義表的名字（這里"tablename"字段是表的名字，"schemaname"是schema的名字。用戶自定義的表，如果未經(jīng)特殊處理，默認都是放在名為public的schema下）
如何批量地把XML文件導入Postgresql數(shù)據(jù)庫
讀取XML節(jié)點數(shù)據(jù)保存在實體屬性里，在將實體集合遍歷輸出到SQL語句執(zhí)行新增。
postgresql 怎么做快照
1．在服務(wù)器端選中一臺客戶機右擊，然后點擊“客戶端屬性”，彈出客戶端屬性對話框
2.在客戶端對話框中，先將下端還原操作系統(tǒng)的“勾”去掉，然后點擊“高級”出現(xiàn)客戶端高級設(shè)置對話框，在系統(tǒng)盤設(shè)置中將緩存存放位置選為服務(wù)端，其他地方不要做任何更改。
3.重啟該客戶機，開始安裝軟件，安裝過程中，會發(fā)現(xiàn)該機器緩存大小這一欄里緩存數(shù)值不斷增加，直至安裝完軟件。（重新啟動，再次運行該軟件，以便確定該軟件是否運行正常）
4.關(guān)閉客戶機，等服務(wù)器上該客戶機狀態(tài)顯示為未運行后，在服務(wù)端點擊“鏡像管理”
5.在鏡像菜單中選中該客戶機使用的鏡像，單擊“快照管理”按鈕。
6.選中該客戶機使用的快照節(jié)點，然后點擊“生成快照”
7.在cache文件選項中選中制作快照的客戶機，會自動填充下面的緩存路徑，在快照信息子項中輸入快照名名稱和快照描述信息，點擊“確定”按鈕后，快照則做好了。
8選中所有客戶機右擊打開客戶端屬性對話框，在“啟動菜單設(shè)置”中，將新做成的快照節(jié)點推送到用于啟動的鏡像這一欄中移動到最頂端，點擊確定。
PostGreSQL采用“快照”方式來實現(xiàn)MVCC。具體地說，這意味著每一個事務(wù)中的查詢僅能看到：
1.該事務(wù)啟動之前已經(jīng)提交的事務(wù)所作出的數(shù)據(jù)更改。
2.當前事務(wù)中該查詢之前的查詢所作出的更改。
PostGreSQL在每個事務(wù)啟動時為該事務(wù)獲取一個當前的數(shù)據(jù)庫快照，快照中數(shù)據(jù)結(jié)構(gòu)如下：
typedef struct SnapshotData
{
SnapshotSatisfiesFunc satisfies; /*行測試函數(shù)指針*/
TransactionId xmin; /* id小于xmin的所有事務(wù)更改在當前快照中可見 */
TransactionId xmax; /* id大于xmax的所有事務(wù)更改在當前快照中可見 */
uint32 xcnt; /* 正在運行的事務(wù)的計數(shù) */
TransactionId *xip; /* 所有正在運行的事務(wù)的id列表 */
/* note: all ids in xip[] satisfy xmin = xip[i] xmax */
int32 subxcnt; /* # of xact ids in subxip[], -1 if overflow */
TransactionId *subxip; /* array of subxact IDs in progress */
CommandId curcid; /* in my xact, CID curcid are visible */
uint32 active_count; /* refcount on ActiveSnapshot stack */
uint32 regd_count; /* refcount on RegisteredSnapshotList */
bool copied; /* false if it’s a static snapshot */
} SnapshotData;
Transaction啟動時形成快照就是要記錄該Transaction可見的TransactionID，排除不可見的ID。PostGreSQL中每一個版本的數(shù)據(jù)有兩個ID，其中一個是CreationID即插入該數(shù)據(jù)的TransactionID，一個是ExpiredID，即刪除或更新該數(shù)據(jù)的TransactionID。對一個Transaction可見的數(shù)據(jù)的ID要滿足以下條件：
1.CreationID當前TransactionID
2.ExpiredID當前TransactionID或ExpiredID不存在
Transaction啟動形成快照的過程：
遍歷當前所有活動的Transaction，記錄在一個活動Transaction的ID數(shù)組中；根據(jù)Transaction的先后順序，選擇當前Transaction可見的最小TransactionID，記錄在xmin，選擇可見的最大TransactionID，記錄在xmax中。
PostGreSQL8.5中進行最終的版本選擇是在從外存中獲取一個頁面的數(shù)據(jù)之后，由一個檢驗函數(shù)（HeapTupleSatisfiesMVCC等一系列函數(shù)）檢驗所有該頁面數(shù)據(jù)的數(shù)據(jù)對當前Transaction的可見性，如果不可見，則將數(shù)據(jù)除去，最后返回所有可見數(shù)據(jù)。
在postgresql中如何從數(shù)據(jù)庫中檢索出所有的表名
1、查看當前數(shù)據(jù)庫中所有的模式。
2、如果想查看模式中所有的對象信息，可以通過\d 模式名.* 加上通配符的方式來進行查看。
3、在查看模式中的對象時一般使用的方式都是模式名.對象名的方式。
4、在postgresql中有一個類型于linux系統(tǒng)中$PATH的環(huán)境變量search_path，默認情況下它的值是當前數(shù)據(jù)庫值和公共模式值。
5、如果想其它模式也添加在搜索路徑中可通過如下命令來進行設(shè)置。
6、設(shè)置完成后如果我們再訪問tec模式下的對象，就不需要再使用模式名.對象名的方式了，直接使用對象名即可進行操作。
名稱欄目：postgresql遍歷的簡單介紹
網(wǎng)頁鏈接：http://www.dlmjj.cn/article/dscoijd.html
