建站
咨詢
售后
建站咨詢
新聞中心
隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)規(guī)模越來越大，對數(shù)據(jù)庫的并發(fā)性和處理速度提出了更高的要求。在傳統(tǒng)的數(shù)據(jù)庫技術中，一般使用單個線程依次執(zhí)行查詢和更新操作，這樣會導致數(shù)據(jù)庫的運行效率低下，無法滿足現(xiàn)代的數(shù)據(jù)處理需求。為此，人們逐漸采用并行寫的方式來提高數(shù)據(jù)庫的效率和穩(wěn)定性。
并行寫是指同時使用多個線程來進行數(shù)據(jù)庫的寫操作。與傳統(tǒng)的單線程串行寫相比，它能夠提高數(shù)據(jù)庫的寫入速度、減少等待時間和避免死鎖等問題，從而更好地滿足了現(xiàn)代大數(shù)據(jù)應用場景的需求。
但是，并行寫并不是一種簡單的技術，需要對數(shù)據(jù)庫的整體結(jié)構、數(shù)據(jù)模型、索引和事務等方面進行深入的思考和分析，才能夠達到高效穩(wěn)定的效果。
下面，我們將深入探討并行寫數(shù)據(jù)庫技術的原理與實踐。
一、并行寫數(shù)據(jù)庫的原理
并行寫數(shù)據(jù)庫是通過將大事務分成多個小事務來實現(xiàn)的，每個小事務分配給不同的線程進行處理，以此來避免競爭和沖突。從而，提升了事務的并發(fā)處理能力，同時也能減少事務處理的等待時間。
需要注意的是，并行寫并不是簡單的把事務劃分成幾個階段來并行處理，而是要對數(shù)據(jù)庫的整體結(jié)構和表之間的關系進行分析和設計，以確保各個事務的執(zhí)行順序和順暢性，同時保證事務的強一致性和完整性。
具體來說，實現(xiàn)并行寫需要考慮以下幾個方面：
1. 事務劃分
針對大事務，需要把它劃分成若干小事務，以便使用多個線程來并行處理。事務的劃分可以根據(jù)數(shù)據(jù)表的關系、大小和性質(zhì)等因素來確定。
2. 事務同步
在并行寫的過程中，需要確保各個事務之間的同步性，保證并發(fā)操作不會破壞數(shù)據(jù)庫的完整性?？梢圆捎梅植际绞聞栈蚨喟姹静l(fā)控制等方式來實現(xiàn)。
3. 數(shù)據(jù)表設計
為了支持并行寫，需要對數(shù)據(jù)庫的表進行優(yōu)化和設計，以提高數(shù)據(jù)的讀寫速度和可擴展性?？梢圆捎梅謪^(qū)表設計、水平分片等方式來優(yōu)化數(shù)據(jù)表結(jié)構。
4. 索引設計
索引是數(shù)據(jù)庫中重要的數(shù)據(jù)結(jié)構，對查詢和更新的性能影響很大。為了滿足并行寫操作的需求，需要對索引進行優(yōu)化和設計，減少鎖競爭和沖突，提高并發(fā)性和效率。
以上幾點是實現(xiàn)并行寫數(shù)據(jù)庫的關鍵要素，在實踐中需要根據(jù)具體情況進行優(yōu)化和調(diào)整。
二、并行寫數(shù)據(jù)庫實踐案例
下面以HBase為例，介紹并行寫數(shù)據(jù)庫技術的實踐。
HBase是一種開源的分布式非關系型數(shù)據(jù)庫，具有高可擴展性、高并發(fā)性和高容錯性等特點，被廣泛地應用于大數(shù)據(jù)領域。
在HBase中，實現(xiàn)并行寫的關鍵是要充分利用HBase的分布式特性和多版本并發(fā)控制機制。HBase是基于列族的，每個列族對應一個或多個列簇，在寫入數(shù)據(jù)時，需要按照列族的方式進行分區(qū)，讓不同的列族分散在多個節(jié)點上，以便充分利用節(jié)點的并行處理能力。
此外，HBase還支持多版本并發(fā)控制機制，通過時間戳來保證數(shù)據(jù)的強一致性和完整性。每個寫操作都會生成一個新版本，當數(shù)據(jù)讀取時，可以根據(jù)時間戳選擇最新版本或歷史版本，以滿足不同的需求。
在實踐中，HBase的并行寫數(shù)據(jù)庫技術已經(jīng)被廣泛應用于各種大數(shù)據(jù)應用場景，比如日志分析、物聯(lián)網(wǎng)、等領域，取得了顯著的性能和效率提升。
三、
并行寫數(shù)據(jù)庫技術是隨著大數(shù)據(jù)時代的到來而興起的一種高效穩(wěn)定的數(shù)據(jù)庫技術，能夠幫助我們提升數(shù)據(jù)庫的并發(fā)性和處理速度，滿足現(xiàn)代大數(shù)據(jù)應用場景的要求。
在實踐中，實現(xiàn)并行寫需要深入思考和分析數(shù)據(jù)庫的整體結(jié)構、數(shù)據(jù)模型、索引和事務等方面，同時結(jié)合具體的場景進行優(yōu)化和調(diào)整。
隨著數(shù)據(jù)量的增加和應用場景的多樣化，我們需要不斷地探索和創(chuàng)新，才能更好地實現(xiàn)數(shù)據(jù)庫的高效穩(wěn)定運行。
相關問題拓展閱讀：
- 如何處理大量數(shù)據(jù)并發(fā)操作
如何處理大量數(shù)據(jù)并發(fā)操作
如何處理大量數(shù)據(jù)并發(fā)操作
文件緩存，數(shù)據(jù)庫緩存，優(yōu)化sql,數(shù)據(jù)分流,數(shù)據(jù)庫表的橫向和縱向劃分，優(yōu)化代碼結(jié)構！
鎖述的概
一. 為什么要引入鎖
多個用戶同時對數(shù)據(jù)庫的并發(fā)操作時會帶來以下數(shù)據(jù)不一致的問題:
丟失更新
A,B兩個用戶讀同一數(shù)據(jù)并進行修改,其中一個用戶的修改結(jié)果破壞了另一個修改的結(jié)果,比如訂票系統(tǒng)
臟讀
A用戶修改了數(shù)據(jù),隨后B用戶又讀出該數(shù)據(jù),但A用戶因為某些原因取消了對數(shù)據(jù)的修改,數(shù)據(jù)恢復原值,此時B得到的數(shù)據(jù)就與數(shù)據(jù)庫內(nèi)的數(shù)據(jù)產(chǎn)生了不一致
不可重復讀
A用戶讀取數(shù)據(jù),隨后B用戶讀出該數(shù)據(jù)并修改,此時A用戶再讀取數(shù)據(jù)時發(fā)現(xiàn)前后兩次的值不一致
并發(fā)控制的主要方法是封鎖,鎖就是在一段時間內(nèi)禁止用戶做某些操作以避免產(chǎn)生數(shù)據(jù)不一致
二 鎖的分類
鎖的類別有兩種分法：
1. 從數(shù)據(jù)庫系統(tǒng)的角度來看：分為獨占鎖（即排它鎖），共享鎖和更新鎖
MS-SQL Server 使用以下資源鎖模式。
鎖模式 描述
共享 (S) 用于不更改或不更新數(shù)據(jù)的操作（只讀操作），如 SELECT 語句。
更新 (U) 用于可更新的資源中。防止當多個會話在讀取、鎖定以及隨后可能進行的資源更新時發(fā)生常見形式的死鎖。
排它 (X) 用于數(shù)據(jù)修改操作，例如 INSERT、UPDATE 或 DELETE。確保不會同時同一資源進行多重更新。
意向鎖 用于建立鎖的層次結(jié)構。意向鎖的類型為：意向共享 (IS)、意向排它 (IX) 以及與意向排它共享 (SIX)。
架構鎖 在執(zhí)行依賴于表架構的操作時使用。架構鎖的類型為：架構修改 (Sch-M) 和架構穩(wěn)定性 (Sch-S)。
大容量更新 (BU) 向表中大容量復制數(shù)據(jù)并指定了 TABLOCK 提示時使用。
共享鎖
共享 (S) 鎖允許并發(fā)事務讀取 (SELECT) 一個資源。資源上存在共享 (S) 鎖時，任何其它事務都不能修改數(shù)據(jù)。一旦已經(jīng)讀取數(shù)據(jù)，便立即釋放資源上的共享 (S) 鎖，除非將事務隔離級別設置為可重復讀或更高級別，或者在事務生存周期內(nèi)用鎖定提示保留共享 (S) 鎖。
更新鎖
更新 (U) 鎖可以防止通常形式的死鎖。一般更新模式由一個事務組成，此事務讀取記錄，獲取資源（頁或行）的共享 (S) 鎖，然后修改行，此操作要求鎖轉(zhuǎn)換為排它 (X) 鎖。如果兩個事務獲得了資源上的共享模式鎖，然后試圖同時更新數(shù)據(jù)，則一個事務嘗試將鎖轉(zhuǎn)換為排它 (X) 鎖。共享模式到排它鎖的轉(zhuǎn)換必須等待一段時間，因為一個事務的排它鎖與其它事務的共享模式鎖不兼容；發(fā)生鎖等待。第二個事務試圖獲取排它 (X) 鎖以進行更新。由于兩個事務都要轉(zhuǎn)換為排它 (X) 鎖，并且每個事務都等待另一個事務釋放共享模式鎖，因此發(fā)生死鎖。
若要避免這種潛在的死鎖問題，請使用更新 (U) 鎖。一次只有一個事務可以獲得資源的更新 (U) 鎖。如果事務修改資源，則更新 (U) 鎖轉(zhuǎn)換為排它 (X) 鎖。否則，鎖轉(zhuǎn)換為共享鎖。
排它鎖
排它 (X) 鎖可以防止并發(fā)事務對資源進行訪問。其它事務不能讀取或修改排它 (X) 鎖鎖定的數(shù)據(jù)。
意向鎖
意向鎖表示 SQL Server 需要在層次結(jié)構中的某些底層資源上獲取共享 (S) 鎖或排它 (X) 鎖。例如，放置在表級的共享意向鎖表示事務打算在表中的頁或行上放置共享 (S) 鎖。在表級設置意向鎖可防止另一個事務隨后在包含那一頁的表上獲取排它 (X) 鎖。意向鎖可以提高性能，因為 SQL Server 僅在表級檢查意向鎖來確定事務是否可以安全地獲取該表上的鎖。而無須檢查表中的每行或每頁上的鎖 以確定事務是否可以鎖定整個表。
意向鎖包括意向共享 (IS)、意向排它 (IX) 以及與意向排它共享 (SIX)。
鎖模式 描述
意向共享 (IS) 通過在各資源上放置 S 鎖，表明事務的意向是讀取層次結(jié)構中的部分（而不是全部）底層資源。
意向排它 (IX) 通過在各資源上放置 X 鎖，表明事務的意向是修改層次結(jié)構中的部分（而不是全部）底層資源。IX 是 IS 的超集。
與意向排它共享 (SIX) 通過在各資源上放置 IX 鎖，表明事務的意向是讀取層次結(jié)構中的全部底層資源并修改部分（而不是全部）底層資源。允許頂層資源上的并發(fā) IS 鎖。例如，表的 SIX 鎖在表上放置一個 SIX 鎖（允許并發(fā) IS 鎖），在當前所修改頁上放置 IX 鎖（在已修改行上放置 X 鎖）。雖然每個資源在一段時間內(nèi)只能有一個 SIX 鎖，以防止其它事務對資源進行更新，但是其它事務可以通過獲取表級的 IS 鎖來讀取層次結(jié)構中的底層資源。
獨占鎖：只允許進行鎖定操作的程序使用，其他任何對他的操作均不會被接受。執(zhí)行數(shù)據(jù)更新命令時，SQL Server會自動使用獨占鎖。當對象上有其他鎖存在時，無法對其加獨占鎖。
共享鎖：共享鎖鎖定的資源可以被其他用戶讀取，但其他用戶無法修改它，在執(zhí)行Select時，SQL Server會對對象加共享鎖。
更新鎖：當SQL Server準備更新數(shù)據(jù)時，它首先對數(shù)據(jù)對象作更新鎖鎖定，這樣數(shù)據(jù)將不能被修改，但可以讀取。等到SQL Server確定要進行更新數(shù)據(jù)操作時，他會自動將更新鎖換為獨占鎖，當對象上有其他鎖存在時，無法對其加更新鎖。
2. 從程序員的角度看：分為樂觀鎖和悲觀鎖。
樂觀鎖：完全依靠數(shù)據(jù)庫來管理鎖的工作。
悲觀鎖：程序員自己管理數(shù)據(jù)或?qū)ο笊系逆i處理。
MS-SQLSERVER 使用鎖在多個同時在數(shù)據(jù)庫內(nèi)執(zhí)行修改的用戶間實現(xiàn)悲觀并發(fā)控制
三 鎖的粒害怠憤干蒞妨縫施俯漸度
鎖粒度是被封鎖目標的大小,封鎖粒度小則并發(fā)性高,但開銷大,封鎖粒度大則并發(fā)性低但開銷小
SQL Server支持的鎖粒度可以分為為行、頁、鍵、鍵范圍、索引、表或數(shù)據(jù)庫獲取鎖
資源 描述
RID 行標識符。用于單獨鎖定表中的一行。
鍵 索引中的行鎖。用于保護可串行事務中的鍵范圍。
頁 8 千字節(jié) (KB) 的數(shù)據(jù)頁或索引頁。
擴展盤區(qū) 相鄰的八個數(shù)據(jù)頁或索引頁構成的一組。
表 包括所有數(shù)據(jù)和索引在內(nèi)的整個表。
DB 數(shù)據(jù)庫。
四 鎖定時間的長短
鎖保持的時間長度為保護所請求級別上的資源所需的時間長度。
用于保護讀取操作的共享鎖的保持時間取決于事務隔離級別。采用 READ COMMITTED 的默認事務隔離級別時，只在讀取頁的期間內(nèi)控制共享鎖。在掃描中，直到在掃描內(nèi)的下一頁上獲取鎖時才釋放鎖。如果指定 HOLDLOCK 提示或者將事務隔離級別設置為 REPEATABLE READ 或 SERIALIZABLE，則直到事務結(jié)束才釋放鎖。
根據(jù)為游標設置的并發(fā)選項，游標可以獲取共享模式的滾動鎖以保護提取。當需要滾動鎖時，直到下一次提取或關閉游標（以先發(fā)生者為準）時才釋放滾動鎖。但是，如果指定 HOLDLOCK，則直到事務結(jié)束才釋放滾動鎖。
用于保護更新的排它鎖將直到事務結(jié)束才釋放。
如果一個連接試圖獲取一個鎖，而該鎖與另一個連接所控制的鎖沖突，則試圖獲取鎖的連接將一直阻塞到：
將沖突鎖釋放而且連接獲取了所請求的鎖。
連接的超時間隔已到期。默認情況下沒有超時間隔，但是一些應用程序設置超時間隔以防止無限期等待
五 SQL Server 中鎖的自定義
1 處理死鎖和設置死鎖優(yōu)先級
死鎖就是多個用戶申請不同封鎖,由于申請者均擁有一部分封鎖權而又等待其他用戶擁有的部分封鎖而引起的無休止的等待
可以使用SET DEADLOCK_PRIORITY控制在發(fā)生死鎖情況時會話的反應方式。如果兩個進程都鎖定數(shù)據(jù)，并且直到其它進程釋放自己的鎖時，每個進程才能釋放自己的鎖，即發(fā)生死鎖情況。
2 處理超時和設置鎖超時持續(xù)時間。
@@LOCK_TIMEOUT 返回當前會話的當前鎖超時設置，單位為毫秒
SET LOCK_TIMEOUT 設置允許應用程序設置語句等待阻塞資源的最長時間。當語句等待的時間大于 LOCK_TIMEOUT 設置時，系統(tǒng)將自動取消阻塞的語句，并給應用程序返回”已超過了鎖請求超時時段”的 1222 號錯誤信息
示例
下例將鎖超時期限設置為 1,800 毫秒。
SET LOCK_TIMEOUT 1800
3) 設置事務隔離級別。
4 ) 對 SELECT、INSERT、UPDATE 和 DELETE 語句使用表級鎖定提示。
5) 配置索引的鎖定粒度
可以使用 sp_indexoption 系統(tǒng)存儲過程來設置用于索引的鎖定粒度
六 查看鎖的信息
1 執(zhí)行 EXEC SP_LOCK 報告有關鎖的信息
2 查詢分析器中按Ctrl+2可以看到鎖的信息
七 使用注意事項
如何避免死鎖
1 使用事務時，盡量縮短事務的邏輯處理過程，及早提交或回滾事務；
2 設置死鎖超時參數(shù)為合理范圍，如：3分鐘-10分種；超過時間，自動放棄本次操作，避免進程懸掛；
3 優(yōu)化程序，檢查并避免死鎖現(xiàn)象出現(xiàn)；
4 .對所有的腳本和SP都要仔細測試，在正是版本之前。
5 所有的SP都要有錯誤處理（通過@error）
6 一般不要修改SQL SERVER事務的默認級別。不推薦強行加鎖
解決問題 如何對行 表 數(shù)據(jù)庫加鎖
八 幾個有關鎖的問題
1 如何鎖一個表的某一行
SET TRANSACTION ISOLATION LEVEL READ UNCOMMITTED
SELECT * FROM table ROWLOCK WHERE id = 1
2 鎖定數(shù)據(jù)庫的一個表
SELECT * FROM table WITH (HOLDLOCK)
加鎖語句：
sybase:
update 表 set col1=col1 where 1=0 ;
MSSQL:
select col1 from 表 (tablockx) where 1=0 ;
oracle:
LOCK TABLE 表 IN EXCLUSIVE MODE ；
加鎖后其它人不可操作，直到加鎖用戶解鎖，用commit或rollback解鎖
幾個例子幫助大家加深印象
設table1(A,B,C)
A B C
a1 b1 c1
a2 b2 c2
a3 b3 c3
1）排它鎖
新建兩個連接
在之一個連接中執(zhí)行以下語句
begin tran
update table1
set A=’aa’
where B=’b2′
waitfor delay ’00:00:30′ –等待30秒
commit tran
在第二個連接中執(zhí)行以下語句
begin tran
select * from table1
where B=’b2′
commit tran
若同時執(zhí)行上述兩個語句，則select查詢必須等待update執(zhí)行完畢才能執(zhí)行即要等待30秒
2）共享鎖
在之一個連接中執(zhí)行以下語句
begin tran
select * from table1 holdlock -holdlock人為加鎖
where B=’b2′
waitfor delay ’00:00:30′ –等待30秒
commit tran
在第二個連接中執(zhí)行以下語句
begin tran
select A,C from table1
where B=’b2′
update table1
set A=’aa’
where B=’b2′
commit tran
若同時執(zhí)行上述兩個語句，則第二個連接中的select查詢可以執(zhí)行
而update必須等待之一個事務釋放共享鎖轉(zhuǎn)為排它鎖后才能執(zhí)行 即要等待30秒
3）死鎖
增設table2(D,E)
D E
d1 e1
d2 e2
在之一個連接中執(zhí)行以下語句
begin tran
update table1
set A=’aa’
where B=’b2′
waitfor delay ’00:00:30′
update table2
set D=’d5′
where E=’e1′
commit tran
在第二個連接中執(zhí)行以下語句
begin tran
update table2
set D=’d5′
where E=’e1′
waitfor delay ’00:00:10′
update table1
set A=’aa’
where B=’b2′
commit tran
同時執(zhí)行，系統(tǒng)會檢測出死鎖，并中止進程
補充一點:
Sql Server2023支持的表級鎖定提示
HOLDLOCK 持有共享鎖，直到整個事務完成，應該在被鎖對象不需要時立即釋放，等于SERIALIZABLE事務隔離級別
NOLOCK 語句執(zhí)行時不發(fā)出共享鎖，允許臟讀 ，等于 READ UNCOMMITTED事務隔離級別
PAGLOCK 在使用一個表鎖的地方用多個頁鎖
READPAST 讓sql server跳過任何鎖定行，執(zhí)行事務，適用于READ UNCOMMITTED事務隔離級別只跳過RID鎖，不跳過頁，區(qū)域和表鎖
ROWLOCK 強制使用行鎖
TABLOCKX 強制使用獨占表級鎖，這個鎖在事務期間阻止任何其他事務使用這個表
處理大量數(shù)據(jù)并發(fā)操作可以采用如下幾種方法:
1.使用緩存：使用程序直接保存到內(nèi)存中?；蛘呤褂镁彺婵蚣? 用一個特定的類型值來保存，以區(qū)別空數(shù)據(jù)和未緩存的兩種狀態(tài)。
2.數(shù)據(jù)庫優(yōu)化：表結(jié)構優(yōu)化;SQL語句優(yōu)化，語法優(yōu)化和處理邏輯優(yōu)化;分區(qū);分表;索引優(yōu)化;使用
存儲過程
代替直接操作。
3.分離活躍數(shù)據(jù):可以分為活躍用戶和不活躍用戶。
4.批量讀取和延遲修改: 高并況可以將多個查詢請求合并到一個。高并發(fā)且頻繁修改的可以暫存緩存中。
5.讀寫分離: 數(shù)據(jù)庫服務器配置多個，配置主從數(shù)據(jù)庫。寫用主數(shù)據(jù)庫，讀用從數(shù)據(jù)庫。
6.分布式數(shù)據(jù)庫: 將不同的表存放到不同的數(shù)據(jù)庫中，然后再放到不同的服務器中。
7.NoSql和Hadoop: NoSql，not only SQL。沒有
關系型數(shù)據(jù)庫
那么多限制，比較靈活高效。Hadoop，將一個表中的數(shù)據(jù)分層多塊，保存到多個節(jié)點（分布式）。每一塊數(shù)據(jù)都有多個節(jié)點保存（集群）。集群可以并行處理相同的數(shù)據(jù)，還可以保證數(shù)據(jù)的完整性。
拓展資料:
大數(shù)據(jù)（big data），指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的
數(shù)據(jù)
，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高
增長率
和多樣化的信息資產(chǎn)。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的
《大數(shù)據(jù)時代》
中大數(shù)據(jù)指不用隨機分析法（抽樣調(diào)查）這樣捷徑，而采用所有數(shù)據(jù)進行分析處理。大數(shù)據(jù)的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。
參考資料:
網(wǎng)頁鏈接
大數(shù)據(jù)并發(fā)處理解決方案：
1、HTML靜態(tài)化
效率更高、消耗最小的就是純靜態(tài)化的html頁面，所以盡可能使網(wǎng)站上的頁面采用靜態(tài)頁面來實現(xiàn)，這個最簡單的方法其實也是最有效的方法。但是對于大量內(nèi)容并且頻繁更新的網(wǎng)站，無法全部手動去挨個實現(xiàn)，于是出現(xiàn)了常見的信息發(fā)布系統(tǒng)CMS，像常訪問的各個門戶站點的新聞頻道，甚至他們的其他頻道，都是通過信息發(fā)布系統(tǒng)來管理和實現(xiàn)的，信息發(fā)布系統(tǒng)可以實現(xiàn)最簡單的信息錄入自動生成靜態(tài)頁面，還能具備頻道管理、權限管理、自動抓取等功能，對于一個大型網(wǎng)站來說，擁有一套高效、可管理的CMS是必不可少的。
2、圖片服務器分離
對于Web服務器來說，不管是Apache、IIS還是其他容器，圖片是最消耗資源的，于是有必要將圖片與頁面進行分離，這是基本上大型網(wǎng)站都會采用的策略，他們都有獨立的圖片服務器，甚至很多臺圖片服務器。這樣的架構可以降低提供頁面訪問請求的服務器系統(tǒng)壓力，并且可以保證系統(tǒng)不會因為圖片問題而崩潰，在應用服務器和圖片服務器上，可以進行不同的配置優(yōu)化，比如apache在配置ContentType的時候可以盡量少支持，盡可能少的LoadModule，保證更高的系統(tǒng)消耗和執(zhí)行效率。 這一實現(xiàn)起來是比較容易的一現(xiàn)，如果服務器集群操作起來更方便，如果是獨立的服務器，新手可能出現(xiàn)上傳圖片只能在服務器本地的情況下，可以在令一臺服務器設置的IIS采用網(wǎng)絡路徑來實現(xiàn)圖片服務器，即不用改變程序，又能提高性能，但對于服務器本身的IO處理性能是沒有任何的改變。
3、數(shù)據(jù)庫集群和庫表散列
大型網(wǎng)站都有復雜的應用，這些應用必須使用數(shù)據(jù)庫，那么在面對大量訪問的時候，數(shù)據(jù)庫的瓶頸很快就能顯現(xiàn)出來，這時一臺數(shù)據(jù)庫將很快無法滿足應用，于是需要使用數(shù)據(jù)庫集群或者庫表散列。
4、緩存
緩存一詞搞技術的都接觸過，很多地方用到緩存。網(wǎng)站架構和網(wǎng)站開發(fā)中的緩存也是非常重要。架構方面的緩存，對Apache比較熟悉的人都能知道Apache提供了自己的緩存模塊，也可以使用外加的Squid模塊進行緩存，這兩種方式均可以有效的提高Apache的訪問響應能力。
網(wǎng)站程序開發(fā)方面的緩存，Linux上提供的Memory Cache是常用的緩存接口，可以在web開發(fā)中使用，比如用Java開發(fā)的時候就可以調(diào)用MemoryCache對一些數(shù)據(jù)進行緩存和通訊共享，一些大型社區(qū)使用了這樣的架構。另外，在使用web語言開發(fā)的時候，各種語言基本都有自己的緩存模塊和方法，PHP有Pear的Cache模塊，Java就更多了，.net不是很熟悉，相信也肯定有。
5、鏡像
鏡像是大型網(wǎng)站常采用的提高性能和數(shù)據(jù)安全性的方式，鏡像的技術可以解決不同網(wǎng)絡接入商和地域帶來的用戶訪問速度差異，比如ChinaNet和EduNet之間的差異就促使了很多網(wǎng)站在教育網(wǎng)內(nèi)搭建鏡像站點，數(shù)據(jù)進行定時更新或者實時更新。在鏡像的細節(jié)技術方面，這里不闡述太深，有很多專業(yè)的現(xiàn)成的解決架構和產(chǎn)品可選。也有廉價的通過軟件實現(xiàn)的思路，比如Linux上的rsync等工具。
6、負載均衡
負載均衡將是大型網(wǎng)站解決高負荷訪問和大量并發(fā)請求采用的終極解決辦法。 負載均衡技術發(fā)展了多年，有很多專業(yè)的服務提供商和產(chǎn)品可以選擇。
硬件四層交換
第四層交換使用第三層和第四層信息包的報頭信息，根據(jù)應用區(qū)間識別業(yè)務流，將整個區(qū)間段的業(yè)務流分配到合適的應用服務器進行處理?！〉谒膶咏粨Q功能就象是虛IP，指向物理服務器。它傳輸?shù)臉I(yè)務服從的協(xié)議多種多樣，有HTTP、FTP、NFS、Telnet或其他協(xié)議。這些業(yè)務在物理服務器基礎上，需要復雜的載量平衡算法。在IP世界，業(yè)務類型由終端TCP或UDP端口地址來決定，在第四層交換中的應用區(qū)間則由源端和終端IP地址、TCP和UDP端口共同決定。
在硬件四層交換產(chǎn)品領域，有一些知名的產(chǎn)品可以選擇，比如Alteon、F5等，這些產(chǎn)品很昂貴，但是物有所值，能夠提供非常優(yōu)秀的性能和很靈活的管理能力。Yahoo中國當初接近2023臺服務器使用了三四臺Alteon就搞定了。
如何處理大量數(shù)據(jù)并發(fā)操作
文件緩存，數(shù)據(jù)庫緩存，優(yōu)化sql,數(shù)據(jù)分流,數(shù)據(jù)庫表的橫向和縱向劃分，優(yōu)化代碼結(jié)構！
鎖述的概
一. 為什么要引入鎖
多個用戶同時對數(shù)據(jù)庫的并發(fā)操作時會帶來以下數(shù)據(jù)不一致的問題:
丟失更新
A,B兩個用戶讀同一數(shù)據(jù)并進行修改,其中一個用戶的修改結(jié)果破壞了另一個修改的結(jié)果,比如訂票系統(tǒng)
臟讀
A用戶修改了數(shù)據(jù),隨后B用戶又讀出該數(shù)據(jù),但A用戶因為某些原因取消了對數(shù)據(jù)的修改,數(shù)據(jù)恢復原值,此時B得到的數(shù)據(jù)就與數(shù)據(jù)庫內(nèi)的數(shù)據(jù)產(chǎn)生了不一致
不可重復讀
A用戶讀取數(shù)據(jù),隨后B用戶讀出該數(shù)據(jù)并修改,此時A用戶再讀取數(shù)據(jù)時發(fā)現(xiàn)前后兩次的值不一致
并發(fā)控制的主要方法是封鎖,鎖就是在一段時間內(nèi)禁止用戶做某些操作以避免產(chǎn)生數(shù)據(jù)不一致
二 鎖的分類
鎖的類別有兩種分法：
1. 從數(shù)據(jù)庫系統(tǒng)的角度來看：分為獨占鎖（即排它鎖），共享鎖和更新鎖
MS-SQL Server 使用以下資源鎖模式。
鎖模式 描述
共享 (S) 用于不更改或不更新數(shù)據(jù)的操作（只讀操作），如 SELECT 語句。
更新 (U) 用于可更新的資源中。防止當多個會話在讀取、鎖定以及隨后可能進行的資源更新時發(fā)生常見形式的死鎖。
排它 (X) 用于數(shù)據(jù)修改操作，例如 INSERT、UPDATE 或 DELETE。確保不會同時同一資源進行多重更新。
意向鎖 用于建立鎖的層次結(jié)構。意向鎖的類型為：意向共享 (IS)、意向排它 (IX) 以及與意向排它共享 (SIX)。
架構鎖 在執(zhí)行依賴于表架構的操作時使用。架構鎖的類型為：架構修改 (Sch-M) 和架構穩(wěn)定性 (Sch-S)。
大容量更新 (BU) 向表中大容量復制數(shù)據(jù)并指定了 TABLOCK 提示時使用。
共享鎖
共享 (S) 鎖允許并發(fā)事務讀取 (SELECT) 一個資源。資源上存在共享 (S) 鎖時，任何其它事務都不能修改數(shù)據(jù)。一旦已經(jīng)讀取數(shù)據(jù)，便立即釋放資源上的共享 (S) 鎖，除非將事務隔離級別設置為可重復讀或更高級別，或者在事務生存周期內(nèi)用鎖定提示保留共享 (S) 鎖。
更新鎖
更新 (U) 鎖可以防止通常形式的死鎖。一般更新模式由一個事務組成，此事務讀取記錄，獲取資源（頁或行）的共享 (S) 鎖，然后修改行，此操作要求鎖轉(zhuǎn)換為排它 (X) 鎖。如果兩個事務獲得了資源上的共享模式鎖，然后試圖同時更新數(shù)據(jù)，則一個事務嘗試將鎖轉(zhuǎn)換為排它 (X) 鎖。共享模式到排它鎖的轉(zhuǎn)換必須等待一段時間，因為一個事務的排它鎖與其它事務的共享模式鎖不兼容；發(fā)生鎖等待。第二個事務試圖獲取排它 (X) 鎖以進行更新。由于兩個事務都要轉(zhuǎn)換為排它 (X) 鎖，并且每個事務都等待另一個事務釋放共享模式鎖，因此發(fā)生死鎖。
若要避免這種潛在的死鎖問題，請使用更新 (U) 鎖。一次只有一個事務可以獲得資源的更新 (U) 鎖。如果事務修改資源，則更新 (U) 鎖轉(zhuǎn)換為排它 (X) 鎖。否則，鎖轉(zhuǎn)換為共享鎖。
排它鎖
排它 (X) 鎖可以防止并發(fā)事務對資源進行訪問。其它事務不能讀取或修改排它 (X) 鎖鎖定的數(shù)據(jù)。
意向鎖
意向鎖表示 SQL Server 需要在層次結(jié)構中的某些底層資源上獲取共享 (S) 鎖或排它 (X) 鎖。例如，放置在表級的共享意向鎖表示事務打算在表中的頁或行上放置共享 (S) 鎖。在表級設置意向鎖可防止另一個事務隨后在包含那一頁的表上獲取排它 (X) 鎖。意向鎖可以提高性能，因為 SQL Server 僅在表級檢查意向鎖來確定事務是否可以安全地獲取該表上的鎖。而無須檢查表中的每行或每頁上的鎖以確定事務是否可以鎖定整個表。
意向鎖包括意向共享 (IS)、意向排它 (IX) 以及與意向排它共享 (SIX)。
鎖模式 描述
意向共享 (IS) 通過在各資源上放置 S 鎖，表明事務的意向是讀取層次結(jié)構中的部分（而不是全部）底層資源。
意向排它 (IX) 通過在各資源上放置 X 鎖，表明事務的意向是修改層次結(jié)構中的部分（而不是全部）底層資源。IX 是 IS 的超集。
與意向排它共享 (SIX) 通過在各資源上放置 IX 鎖，表明事務的意向是讀取層次結(jié)構中的全部底層資源并修改部分（而不是全部）底層資源。允許頂層資源上的并發(fā) IS 鎖。例如，表的 SIX 鎖在表上放置一個 SIX 鎖（允許并發(fā) IS 鎖），在當前所修改頁上放置 IX 鎖（在已修改行上放置 X 鎖）。雖然每個資源在一段時間內(nèi)只能有一個 SIX 鎖，以防止其它事務對資源進行更新，但是其它事務可以通過獲取表級的 IS 鎖來讀取層次結(jié)構中的底層資源。
獨占鎖：只允許進行鎖定操作的程序使用，其他任何對他的操作均不會被接受。執(zhí)行數(shù)據(jù)更新命令時，SQL Server會自動使用獨占鎖。當對象上有其他鎖存在時，無法對其加獨占鎖。
共享鎖：共享鎖鎖定的資源可以被其他用戶讀取，但其他用戶無法修改它，在執(zhí)行Select時，SQL Server會對對象加共享鎖。
更新鎖：當SQL Server準備更新數(shù)據(jù)時，它首先對數(shù)據(jù)對象作更新鎖鎖定，這樣數(shù)據(jù)將不能被修改，但可以讀取。等到SQL Server確定要進行更新數(shù)據(jù)操作時，他會自動將更新鎖換為獨占鎖，當對象上有其他鎖存在時，無法對其加更新鎖。
2. 從程序員的角度看：分為樂觀鎖和悲觀鎖。
樂觀鎖：完全依靠數(shù)據(jù)庫來管理鎖的工作。
悲觀鎖：程序員自己管理數(shù)據(jù)或?qū)ο笊系逆i處理。
MS-SQLSERVER 使用鎖在多個同時在數(shù)據(jù)庫內(nèi)執(zhí)行修改的用戶間實現(xiàn)悲觀并發(fā)控制
三 鎖的粒度
鎖粒度是被封鎖目標的大小,封鎖粒度小則并發(fā)性高,但開銷大,封鎖粒度大則并發(fā)性低但開銷小
SQL Server支持的鎖粒度可以分為為行、頁、鍵、鍵范圍、索引、表或數(shù)據(jù)庫獲取鎖
資源 描述
RID 行標識符。用于單獨鎖定表中的一行。
鍵 索引中的行鎖。用于保護可串行事務中的鍵范圍。
頁 8 千字節(jié) (KB) 的數(shù)據(jù)頁或索引頁。
擴展盤區(qū) 相鄰的八個數(shù)據(jù)頁或索引頁構成的一組。
表 包括所有數(shù)據(jù)和索引在內(nèi)的整個表。
DB 數(shù)據(jù)庫。
四 鎖定時間的長短
鎖保持的時間長度為保護所請求級別上的資源所需的時間長度。
用于保護讀取操作的共享鎖的保持時間取決于事務隔離級別。采用 READ COMMITTED 的默認事務隔離級別時，只在讀取頁的期間內(nèi)控制共享鎖。在掃描中，直到在掃描內(nèi)的下一頁上獲取鎖時才釋放鎖。如果指定 HOLDLOCK 提示或者將事務隔離級別設置為 REPEATABLE READ 或 SERIALIZABLE，則直到事務結(jié)束才釋放鎖。
根據(jù)為游標設置的并發(fā)選項，游標可以獲取共享模式的滾動鎖以保護提取。當需要滾動鎖時，直到下一次提取或關閉游標（以先發(fā)生者為準）時才釋放滾動鎖。但是，如果指定 HOLDLOCK，則直到事務結(jié)束才釋放滾動鎖。
用于保護更新的排它鎖將直到事務結(jié)束才釋放。
如果一個連接試圖獲取一個鎖，而該鎖與另一個連接所控制的鎖沖突，則試圖獲取鎖的連接將一直阻塞到：
將沖突鎖釋放而且連接獲取了所請求的鎖。
連接的超時間隔已到期。默認情況下沒有超時間隔，但是一些應用程序設置超時間隔以防止無限期等待
五 SQL Server 中鎖的自定義
1 處理死鎖和設置死鎖優(yōu)先級
死鎖就是多個用戶申請不同封鎖,由于申請者均擁有一部分封鎖權而又等待其他用戶擁有的部分封鎖而引起的無休止的等待
可以使用SET DEADLOCK_PRIORITY控制在發(fā)生死鎖情況時會話的反應方式。如果兩個進程都鎖定數(shù)據(jù)，并且直到其它進程釋放自己的鎖時，每個進程才能釋放自己的鎖，即發(fā)生死鎖情況。
2 處理超時和設置鎖超時持續(xù)時間。
@@LOCK_TIMEOUT 返回當前會話的當前鎖超時設置，單位為毫秒
SET LOCK_TIMEOUT 設置允許應用程序設置語句等待阻塞資源的最長時間。當語句等待的時間大于 LOCK_TIMEOUT 設置時，系統(tǒng)將自動取消阻塞的語句，并給應用程序返回”已超過了鎖請求超時時段”的 1222 號錯誤信息
示例
下例將鎖超時期限設置為 1,800 毫秒。
SET LOCK_TIMEOUT 1800
3) 設置事務隔離級別。
4 ) 對 SELECT、INSERT、UPDATE 和 DELETE 語句使用表級鎖定提示。
5) 配置索引的鎖定粒度
可以使用 sp_indexoption 系統(tǒng)存儲過程來設置用于索引的鎖定粒度
六 查看鎖的信息
1 執(zhí)行 EXEC SP_LOCK 報告有關鎖的信息
2 查詢分析器中按Ctrl+2可以看到鎖的信息
七 使用注意事項
如何避免死鎖
1 使用事務時，盡量縮短事務的邏輯處理過程，及早提交或回滾事務；
2 設置死鎖超時參數(shù)為合理范圍，如：3分鐘-10分種；超過時間，自動放棄本次操作，避免進程懸掛；
3 優(yōu)化程序，檢查并避免死鎖現(xiàn)象出現(xiàn)；
4 .對所有的腳本和SP都要仔細測試，在正是版本之前。
5 所有的SP都要有錯誤處理（通過@error）
6 一般不要修改SQL SERVER事務的默認級別。不推薦強行加鎖
解決問題 如何對行 表 數(shù)據(jù)庫加鎖
八 幾個有關鎖的問題
1 如何鎖一個表的某一行
SET TRANSACTION ISOLATION LEVEL READ UNCOMMITTED
SELECT * FROM table ROWLOCK WHERE id = 1
2 鎖定數(shù)據(jù)庫的一個表
SELECT * FROM table WITH (HOLDLOCK)
加鎖語句：
sybase:
update 表 set col1=col1 where 1=0 ;
MSSQL:
select col1 from 表 (tablockx) where 1=0 ;
oracle:
LOCK TABLE 表 IN EXCLUSIVE MODE ；
加鎖后其它人不可操作，直到加鎖用戶解鎖，用commit或rollback解鎖
幾個例子幫助大家加深印象
設table1(A,B,C)
A B C
a1 b1 c1
a2 b2 c2
a3 b3 c3
1）排它鎖
新建兩個連接
在之一個連接中執(zhí)行以下語句
begin tran
update table1
set A=’aa’
where B=’b2′
waitfor delay ’00:00:30′ –等待30秒
commit tran
在第二個連接中執(zhí)行以下語句
begin tran
select * from table1
where B=’b2′
commit tran
若同時執(zhí)行上述兩個語句，則select查詢必須等待update執(zhí)行完畢才能執(zhí)行即要等待30秒
2）共享鎖
在之一個連接中執(zhí)行以下語句
begin tran
select * from table1 holdlock -holdlock人為加鎖
where B=’b2′
waitfor delay ’00:00:30′ –等待30秒
commit tran
在第二個連接中執(zhí)行以下語句
begin tran
select A,C from table1
where B=’b2′
update table1
set A=’aa’
where B=’b2′
commit tran
若同時執(zhí)行上述兩個語句，則第二個連接中的select查詢可以執(zhí)行
而update必須等待之一個事務釋放共享鎖轉(zhuǎn)為排它鎖后才能執(zhí)行 即要等待30秒
3）死鎖
增設table2(D,E)
D E
d1 e1
d2 e2
在之一個連接中執(zhí)行以下語句
begin tran
update table1
set A=’aa’
where B=’b2′
waitfor delay ’00:00:30′
update table2
set D=’d5′
where E=’e1′
commit tran
在第二個連接中執(zhí)行以下語句
begin tran
update table2
set D=’d5′
where E=’e1′
waitfor delay ’00:00:10′
update table1
set A=’aa’
where B=’b2′
commit tran
同時執(zhí)行，系統(tǒng)會檢測出死鎖，并中止進程
補充一點:
Sql Server2023支持的表級鎖定提示
HOLDLOCK 持有共享鎖，直到整個事務完成，應該在被鎖對象不需要時立即釋放，等于SERIALIZABLE事務隔離級別
NOLOCK 語句執(zhí)行時不發(fā)出共享鎖，允許臟讀 ，等于 READ UNCOMMITTED事務隔離級別
PAGLOCK 在使用一個表鎖的地方用多個頁鎖
READPAST 讓sql server跳過任何鎖定行，執(zhí)行事務，適用于READ UNCOMMITTED事務隔離級別只跳過RID鎖，不跳過頁，區(qū)域和表鎖
ROWLOCK 強制使用行鎖
TABLOCKX 強制使用獨占表級鎖，這個鎖在事務期間阻止任何其他事務使用這個表
并行寫數(shù)據(jù)庫的介紹就聊到這里吧，感謝你花時間閱讀本站內(nèi)容，更多關于并行寫數(shù)據(jù)庫,高效穩(wěn)定！并行寫數(shù)據(jù)庫技術,如何處理大量數(shù)據(jù)并發(fā)操作的信息別忘了在本站進行查找喔。
香港服務器選創(chuàng)新互聯(lián)，2H2G首月10元開通。
創(chuàng)新互聯(lián)（www.cdcxhl.com）互聯(lián)網(wǎng)服務提供商,擁有超過10年的服務器租用、服務器托管、云服務器、虛擬主機、網(wǎng)站系統(tǒng)開發(fā)經(jīng)驗。專業(yè)提供云主機、虛擬主機、域名注冊、VPS主機、云服務器、香港云服務器、免備案服務器等。
網(wǎng)頁標題：高效穩(wěn)定！并行寫數(shù)據(jù)庫技術(并行寫數(shù)據(jù)庫)
瀏覽路徑：http://www.dlmjj.cn/article/dpedgph.html
