建站
咨詢
售后
建站咨詢
新聞中心
隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)同步也變得越來(lái)越重要。在眾多的數(shù)據(jù)庫(kù)中，Oracle數(shù)據(jù)庫(kù)憑借其高可靠性、高可用性、高靈活性和高安全性等優(yōu)點(diǎn)成為了企業(yè)級(jí)數(shù)據(jù)庫(kù)的首選。在實(shí)際應(yīng)用中，我們經(jīng)常需要將多個(gè)Oracle數(shù)據(jù)庫(kù)之間的數(shù)據(jù)進(jìn)行同步，而Oracle數(shù)據(jù)庫(kù)增量同步則是其中的一種比較常見(jiàn)的同步方式。本文將詳細(xì)介紹。
成都網(wǎng)絡(luò)公司-成都網(wǎng)站建設(shè)公司成都創(chuàng)新互聯(lián)公司十多年經(jīng)驗(yàn)成就非凡，專業(yè)從事成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作，成都網(wǎng)頁(yè)設(shè)計(jì)，成都網(wǎng)頁(yè)制作，軟文平臺(tái)，1元廣告等。十多年來(lái)已成功提供全面的成都網(wǎng)站建設(shè)方案，打造行業(yè)特色的成都網(wǎng)站建設(shè)案例，建站熱線：18980820575，我們期待您的來(lái)電！
一、Oracle數(shù)據(jù)庫(kù)增量同步的概念
所謂增量同步，就是只同步增量部分，避免重復(fù)同步已經(jīng)同步過(guò)的部分。相對(duì)于全量同步，增量同步更加快捷，減少了對(duì)網(wǎng)絡(luò)和計(jì)算資源的占用，也降低了同步失敗的風(fēng)險(xiǎn)。
二、Oracle數(shù)據(jù)庫(kù)增量同步的實(shí)現(xiàn)方法
1.使用Oracle內(nèi)置工具——LogMiner
LogMiner是Oracle數(shù)據(jù)庫(kù)內(nèi)置的一種工具，可以解析Oracle數(shù)據(jù)庫(kù)的Redo日志，獲取數(shù)據(jù)庫(kù)中的增量數(shù)據(jù)。通過(guò)配置LogMiner參數(shù)，可以對(duì)Oracle數(shù)據(jù)庫(kù)進(jìn)行增量數(shù)據(jù)的捕捉、分析和提取。
首先需要確定需要同步的數(shù)據(jù)庫(kù)中，Redo日志的大小，日志的生成周期，分析數(shù)據(jù)庫(kù)中的Redo日志。找到數(shù)據(jù)庫(kù)中特定的數(shù)據(jù)，可以使用LogMiner的命令行接口或Oracle提供的GUI工具，如SQL*Loader、Oracle Data Integrator和GoldenGate等工具。在使用LogMiner時(shí)，需要注意的是，它會(huì)占用數(shù)據(jù)庫(kù)的系統(tǒng)資源，因此在使用時(shí)需進(jìn)行合理的規(guī)劃和優(yōu)化。
2.使用Oracle內(nèi)置工具——Streams
Streams是Oracle自帶的一種數(shù)據(jù)復(fù)制和同步技術(shù)，可以捕獲某個(gè)數(shù)據(jù)庫(kù)的更改，并將其轉(zhuǎn)換為可以在另一個(gè)數(shù)據(jù)庫(kù)上執(zhí)行的SQL語(yǔ)句。Streams通過(guò)一個(gè)消息訂閱模型來(lái)定位和傳遞數(shù)據(jù)庫(kù)更改，它可以在不同的Oracle數(shù)據(jù)庫(kù)之間進(jìn)行實(shí)時(shí)復(fù)制和數(shù)據(jù)同步。
Streams機(jī)制中主要包括Capture、Apply和Propagation三個(gè)組件。Capture用來(lái)捕獲源數(shù)據(jù)庫(kù)中的更改，Apply用來(lái)將更改應(yīng)用于目標(biāo)數(shù)據(jù)庫(kù)，Propagation用來(lái)傳播流式數(shù)據(jù)。
3.使用第三方工具——GoldenGate
除了LogMiner和Streams外，還有一些第三方工具可以實(shí)現(xiàn)Oracle數(shù)據(jù)庫(kù)的增量同步。其中，GoldenGate是比較流行和常用的一種工具。GoldenGate可以實(shí)現(xiàn)不同數(shù)據(jù)庫(kù)之間的數(shù)據(jù)復(fù)制，提供了高可靠性和卓越的性能，可以將數(shù)據(jù)從Oracle數(shù)據(jù)庫(kù)遷移到其他數(shù)據(jù)庫(kù)，例如MySQL、SQL Server等。GoldenGate可以實(shí)現(xiàn)全量同步和增量同步，支持對(duì)數(shù)據(jù)進(jìn)行過(guò)濾、轉(zhuǎn)換、掩碼、重映射和增強(qiáng)等操作。
GoldenGate可以實(shí)現(xiàn)多種不同的Oracle數(shù)據(jù)庫(kù)復(fù)制戰(zhàn)略，包括單向復(fù)制、雙向復(fù)制、多路復(fù)制等。通過(guò)GoldenGate，可以將數(shù)據(jù)在不同的Oracle實(shí)例間復(fù)制，從而實(shí)現(xiàn)數(shù)據(jù)一致性。
三、Oracle數(shù)據(jù)庫(kù)增量同步的技巧
1.數(shù)據(jù)庫(kù)優(yōu)化
在實(shí)際應(yīng)用中，為了提高Oracle數(shù)據(jù)庫(kù)的性能，可以進(jìn)行各種優(yōu)化。首先需要分析數(shù)據(jù)庫(kù)訪問(wèn)的性能瓶頸，優(yōu)化數(shù)據(jù)庫(kù)的并發(fā)訪問(wèn)能力和數(shù)據(jù)存儲(chǔ)方式，以便提高Oracle數(shù)據(jù)庫(kù)的性能和穩(wěn)定性。
2.增量數(shù)據(jù)處理
增量數(shù)據(jù)處理是Oracle數(shù)據(jù)庫(kù)增量同步的重要環(huán)節(jié)。在進(jìn)行增量數(shù)據(jù)處理時(shí)，應(yīng)避免數(shù)據(jù)清洗、數(shù)據(jù)過(guò)濾等操作，以免對(duì)同步的性能和效率產(chǎn)生影響。應(yīng)對(duì)增量數(shù)據(jù)進(jìn)行統(tǒng)一規(guī)格化處理，并設(shè)置好同步策略和同步模式。
3.日志處理
在Oracle數(shù)據(jù)庫(kù)增量同步的過(guò)程中，需要進(jìn)行日志處理。需要對(duì)數(shù)據(jù)庫(kù)日志進(jìn)行分析、歸檔和壓縮，同時(shí)合理地設(shè)置日志清理策略。此外，還要注意數(shù)據(jù)庫(kù)日志的保護(hù)和存儲(chǔ)，保證日志數(shù)據(jù)的完整性和安全性。
四、
本文介紹了Oracle數(shù)據(jù)庫(kù)增量同步的概念、實(shí)現(xiàn)方法和技巧。通過(guò)使用Oracle內(nèi)置工具、第三方工具和相關(guān)技巧，可以實(shí)現(xiàn)Oracle數(shù)據(jù)庫(kù)的增量同步，并提高數(shù)據(jù)庫(kù)的性能和穩(wěn)定性，進(jìn)而實(shí)現(xiàn)業(yè)務(wù)的高效運(yùn)轉(zhuǎn)。在日常開(kāi)發(fā)和實(shí)踐中，我們應(yīng)結(jié)合實(shí)際情況，靈活選擇不同的Oracle數(shù)據(jù)庫(kù)增量同步工具和方案，以更優(yōu)化的方式實(shí)現(xiàn)數(shù)據(jù)同步。
相關(guān)問(wèn)題拓展閱讀：
- 如何跨Oracle數(shù)據(jù)庫(kù)實(shí)現(xiàn)表級(jí)別的實(shí)時(shí)同步
- 我有兩個(gè)oracle數(shù)據(jù)庫(kù)需要雙向同步
- 數(shù)據(jù)庫(kù)，增量同步和全量同步是什么？
如何跨Oracle數(shù)據(jù)庫(kù)實(shí)現(xiàn)表級(jí)別的實(shí)時(shí)同步
oracle的standby數(shù)據(jù)庫(kù)，利用聯(lián)機(jī)重做日志猛氏將主數(shù)據(jù)庫(kù)與standby數(shù)據(jù)庫(kù)之間保持同步，一般用于災(zāi)難恢復(fù)枝塌散，可以試著搭建一下 常衫春見(jiàn) goldengate active dataguard stream replication
一. 前言
這個(gè)問(wèn)題是上一篇文章《Oracle跨數(shù)據(jù)庫(kù)實(shí)現(xiàn)定時(shí)同步指定表中的數(shù)據(jù)》中所提問(wèn)題的進(jìn)一步延伸?？紤]到對(duì)數(shù)據(jù)的實(shí)時(shí)性要求比較高，設(shè)置成定時(shí)同步，有點(diǎn)不妥，需要改善升級(jí)更改為實(shí)時(shí)同步。
下面介紹到的方式，嚴(yán)格意義上說(shuō)，并沒(méi)有實(shí)現(xiàn)實(shí)時(shí)同步。是通過(guò)Oracle數(shù)據(jù)庫(kù)創(chuàng)建同義詞+DBlink的方式，來(lái)建立遠(yuǎn)程映射。在查看數(shù)據(jù)時(shí)，直接去遠(yuǎn)程查詢?cè)磶?kù)中的表。
而我一直關(guān)注的是如何進(jìn)行同步數(shù)據(jù)，卻悉侍瞎沒(méi)有考慮到可以建立映射。另外，還有一點(diǎn)就是需要交代，就是同步到目標(biāo)數(shù)據(jù)庫(kù)中的表，不進(jìn)行增刪改操作，只進(jìn)行查詢的操作談鉛，這也是可以使用同義詞方式解決問(wèn)題的關(guān)鍵。
這種解決思路的出現(xiàn)，多虧了在CSDN問(wèn)答時(shí)，熱心網(wǎng)友的回答，下面就是問(wèn)題詳情描述。
二. 問(wèn)題描述
有兩個(gè)Oracle數(shù)據(jù)庫(kù)，分別布置在不同的服務(wù)器上，系統(tǒng)均為windows2023；
這里暫且說(shuō)成是一個(gè)主數(shù)據(jù)庫(kù)和從數(shù)據(jù)庫(kù)：
(1) 主數(shù)據(jù)庫(kù):oracle_A；
(2) 從數(shù)據(jù)庫(kù):oracle_B；
在oracle_A中有一個(gè)表table_A與oracle_B中的表table_B結(jié)構(gòu)相同；
我是處在oracle_B，oracle_A數(shù)據(jù)庫(kù)分配給我有一個(gè)訪問(wèn)oracle_A表table_A的用戶，該用戶只擁有查詢的權(quán)限；
另外，需要說(shuō)明的一點(diǎn)，就是在oracle_B處,只需對(duì)table_B表進(jìn)行查詢的操作，不進(jìn)行其他增刪改的操作。
場(chǎng)景介紹完了，我的問(wèn)題的是,如何在oracle_A中表table_A發(fā)生變化時(shí),實(shí)時(shí)更新同步到oracle_B的table_B中?
我原來(lái)的處理方式:
通過(guò)建立遠(yuǎn)程連接DBLink+JOB定時(shí)任務(wù)+存儲(chǔ)過(guò)程的方式,實(shí)現(xiàn)了定時(shí)同步更新,但不能做到實(shí)時(shí)同步。
三. 采用同義詞+DB_Link的方式結(jié)果步驟
之所以能夠選擇采用同義詞的方式，處理這個(gè)問(wèn)題。主要還是源于在問(wèn)題描述中提到一個(gè)點(diǎn)，那就是我們只需要對(duì)同步后的表進(jìn)行查詢操作。這點(diǎn)是使用同義詞方式的重要要素。
下面詳細(xì)模擬一下整個(gè)實(shí)驗(yàn)測(cè)試的過(guò)程：
（1）首先在Oracle_A端創(chuàng)建一個(gè)對(duì)table_A只有查詢功能的用睜空戶
創(chuàng)建用戶
sqlplus /nolog
conn /as sysdba;
create user username identified by password;
查看所有的用戶列表
用戶創(chuàng)建完成后,查看用戶是否創(chuàng)建成功
select * from all_users;
授予權(quán)限
為了能夠保證能夠登陸,必須賦予如下權(quán)限
–授予username用戶創(chuàng)建session的權(quán)限,即登陸權(quán)限
grant create session to username;
–授予username用戶使用表空間的權(quán)限
grant unlimited tablespace to username;
–oracle對(duì)權(quán)限管理比較嚴(yán)謹(jǐn),普通用戶之間也是默認(rèn)不能互相訪問(wèn)的,需要互相授權(quán).
–如果scott用戶要授權(quán)給username用戶查看自己的test表的權(quán)限;
sqlplus scott/tiget@localhost:1521/orcl
–授予username用戶查看指定的權(quán)限
grant select on test to username;
–撤銷權(quán)限
基本語(yǔ)法同grant,關(guān)鍵字為revoke;
（2）驗(yàn)證用戶是否可以成功登錄，并進(jìn)行訪問(wèn)授權(quán)的表
–使用sqlplus登錄，并進(jìn)行查詢
sqlplus username/password@localhost:1521/orcl;
select * from scott.test;
注意：查詢表時(shí)，務(wù)必帶上用戶名，說(shuō)明是哪個(gè)用戶下的表。
（3）創(chuàng)建遠(yuǎn)程連接DB_Link
創(chuàng)建遠(yuǎn)程連接 db_link
create public database link db32 connect to tianzhi_test identified by “tianzhi_test” using ‘192.168.56.6:1521/ORCL’
測(cè)試遠(yuǎn)程連接是否成功
select * from tianzhi_art.zh_item_news@db32;
（4）在Oracle_B端創(chuàng)建同義詞
使用sqlplus登錄自己的用戶
sqlplus tianzhi_art/tianzhi_art@localhost:1521/orcl
創(chuàng)建同義詞
create or replace public synonym TEST1130 for scott.TEST@db32;
查詢測(cè)試
select * from TEST1130;
可以看到這與在Oracle_A源數(shù)據(jù)庫(kù)中查到的table_A表中的數(shù)據(jù)一樣.
注意事項(xiàng):
當(dāng)遠(yuǎn)程查詢的數(shù)據(jù)庫(kù)中包含BLOB字段時(shí),會(huì)報(bào)出如下錯(cuò)誤.
ORA-22992: 無(wú)法使用從遠(yuǎn)程表選擇的 LOB 定位器
當(dāng)出現(xiàn)這個(gè)錯(cuò)誤的時(shí)候，那是因?yàn)榭鐜?kù)連接查詢中的表中存在BLOB類型的字段，所以一定要注意，所有表中存在blob類型字段，
不能用 select * from 連接的表
不能將blob類型的字段出現(xiàn)在腳本中。
如果這些blob類型的字段一定要導(dǎo)過(guò)來(lái)，可以先建立臨時(shí)表再插入本地表，方法如下.在pl/sql中執(zhí)行
之一步 建臨時(shí)表
create global temporary table foo ( X BLOB )
on commit delete rows;
第二步 插入本地表
insert into foo select blobcolumn from remoteTable@dl_remote ;
我有兩個(gè)oracle數(shù)據(jù)庫(kù)需要雙向同步
高級(jí)復(fù)制……
試試物化視圖。
這個(gè)可以用DB_LINK
數(shù)據(jù)庫(kù)，增量同步和全量同步是什么？
全量備份是指對(duì)某一時(shí)間點(diǎn)上的所有數(shù)據(jù)進(jìn)行全量備份，包括系統(tǒng)和所有數(shù)據(jù)。這種備份方式每次都需要對(duì)系統(tǒng)和所有數(shù)據(jù)進(jìn)行一次全量備份。如上，如果兩次備份之間數(shù)據(jù)沒(méi)有任何變化，那么兩次備份的數(shù)據(jù)是一樣的。也就消舉是說(shuō)100GB的數(shù)據(jù)即使沒(méi)有發(fā)生任何數(shù)據(jù)變化，也會(huì)多耗費(fèi)100GB的存儲(chǔ)空間去做備份。但這種備份方式更大的好處就是在恢復(fù)丟失數(shù)據(jù)時(shí)，只需要對(duì)一個(gè)完整的備份進(jìn)行操作就能夠恢復(fù)丟失數(shù)據(jù)，大大加快了系統(tǒng)或數(shù)據(jù)恢復(fù)世弊的時(shí)間。
增量備份即在之一次全量備份的基礎(chǔ)上，分別記錄每次的變化。由于增量備份在備份前會(huì)判斷數(shù)據(jù)是否發(fā)生變化，并僅記錄每次變化情況，所以相較于其他兩種備份方式它更大的好處在于其所需存儲(chǔ)空間最少的（相同的變化情況下），備份速度最快的。當(dāng)然在數(shù)據(jù)還原拿返碧上來(lái)說(shuō)，它的恢復(fù)時(shí)間是最長(zhǎng)的，效率較低?；謴?fù)數(shù)據(jù)時(shí)，需要在之一次完備的基礎(chǔ)上，整合每次的一個(gè)變化情況。
增量同步和全量同步是數(shù)據(jù)庫(kù)同步攜兆的兩種方式。全量同步是一次性同步全部數(shù)據(jù)，增量同步則只同步兩個(gè)數(shù)據(jù)庫(kù)不同的部分。
數(shù)據(jù)庫(kù)簡(jiǎn)介：
數(shù)據(jù)庫(kù)(Database)是按照數(shù)據(jù)結(jié)構(gòu)來(lái)組織、存儲(chǔ)和管理數(shù)據(jù)的倉(cāng)庫(kù)，它產(chǎn)生于距今六十多年前，隨著信息技術(shù)和市場(chǎng)的發(fā)展，特別是二十世紀(jì)九十年代以后，數(shù)據(jù)管理不再僅僅是存儲(chǔ)和管理數(shù)據(jù)，而轉(zhuǎn)變成用戶所需要的各種數(shù)據(jù)管理的方式。數(shù)據(jù)庫(kù)有很嫌隱橡多種類型，從最簡(jiǎn)單的存儲(chǔ)有各種數(shù)據(jù)的表格到能夠進(jìn)行海量數(shù)據(jù)存儲(chǔ)的大型數(shù)據(jù)庫(kù)系統(tǒng)都在各個(gè)方面得芹旁到了廣泛的應(yīng)用。
數(shù)據(jù)如果保留多份，就會(huì)存在一致性問(wèn)題，就需要同步，同步分為兩大類：全量和增量
2. 概述
數(shù)據(jù)如果要保留副本，要么同時(shí)森陵頃寫（就是多寫），或者進(jìn)行復(fù)制：異步寫（即從主數(shù)據(jù)拷貝到副本）；
同時(shí)寫（多寫），引出一個(gè)問(wèn)題，寫多少節(jié)點(diǎn)算成功（場(chǎng)景：分布式系統(tǒng)）？全部寫成功才算成功，還是寫大多數(shù)成功算成功，還是寫指定幾個(gè)節(jié)點(diǎn)算成功？
異步寫的話，此陸如果采用異步復(fù)制，那么實(shí)時(shí)性需要考量的話，就需要采用性能優(yōu)先的架構(gòu)。
3.同步方式
數(shù)據(jù)同步一般分為兩種方式：全量和增量。
3.1 全量
全量，這個(gè)很好理解。就是每天定時(shí)或者周期性全量把數(shù)據(jù)從一個(gè)地方拷貝到另外一個(gè)地方；
全量的話，可以采用直接全部覆蓋（使用“新”數(shù)據(jù)覆蓋“舊”數(shù)據(jù)）；或者走更新邏輯（覆蓋前判斷下，如果新舊不一致，就更新）；
這里面有一個(gè)隱藏的問(wèn)題：如果采用異步寫，主數(shù)據(jù)物理刪除了，怎么直接通過(guò)全量數(shù)據(jù)同步？這就需要借助一些中間操作日志文件，或者其他手段，把這些“看不到”的數(shù)據(jù)記錄起來(lái)。
3.2 增量（類如有；堅(jiān)果云網(wǎng)盤增量同步功能）
增量的基礎(chǔ)是全量，就是你要使用某種方式先把全量數(shù)據(jù)拷貝過(guò)來(lái)，汪段然后再采用增量方式同步更新。
增量的話，就是指抓取某個(gè)時(shí)刻（更新時(shí)間）或者檢查點(diǎn)（checkpoint）以后的數(shù)據(jù)來(lái)同步，不是無(wú)規(guī)律的全量同步。這里引入一個(gè)關(guān)鍵性的前提：副本一端要記錄或者知道（通過(guò)查詢更新日志或者訂閱更新）哪些更新了。
oracle兩個(gè)數(shù)據(jù)庫(kù)之間增量同步的介紹就聊到這里吧，感謝你花時(shí)間閱讀本站內(nèi)容，更多關(guān)于oracle兩個(gè)數(shù)據(jù)庫(kù)之間增量同步,實(shí)現(xiàn)Oracle數(shù)據(jù)庫(kù)增量同步的方法與技巧,如何跨Oracle數(shù)據(jù)庫(kù)實(shí)現(xiàn)表級(jí)別的實(shí)時(shí)同步,我有兩個(gè)oracle數(shù)據(jù)庫(kù)需要雙向同步,數(shù)據(jù)庫(kù)，增量同步和全量同步是什么？的信息別忘了在本站進(jìn)行查找喔。
香港服務(wù)器選創(chuàng)新互聯(lián)，2H2G首月10元開(kāi)通。
創(chuàng)新互聯(lián)（www.cdcxhl.com）互聯(lián)網(wǎng)服務(wù)提供商,擁有超過(guò)10年的服務(wù)器租用、服務(wù)器托管、云服務(wù)器、虛擬主機(jī)、網(wǎng)站系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)。專業(yè)提供云主機(jī)、虛擬主機(jī)、域名注冊(cè)、VPS主機(jī)、云服務(wù)器、香港云服務(wù)器、免備案服務(wù)器等。
標(biāo)題名稱：實(shí)現(xiàn)Oracle數(shù)據(jù)庫(kù)增量同步的方法與技巧(oracle兩個(gè)數(shù)據(jù)庫(kù)之間增量同步)
文章起源：http://www.dlmjj.cn/article/djicidc.html
