建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
我們都知道，在當(dāng)前的大數(shù)據(jù)時(shí)代背景下，I/O的速度比內(nèi)存要慢，尤其是性能問(wèn)題與I/O相關(guān)的問(wèn)題更加突出。
目前成都創(chuàng)新互聯(lián)已為近1000家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)頁(yè)空間、網(wǎng)站改版維護(hù)、企業(yè)網(wǎng)站設(shè)計(jì)、龍亭網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長(zhǎng)，共同發(fā)展。
在許多應(yīng)用場(chǎng)景中，I/O讀寫(xiě)操作已經(jīng)成為系統(tǒng)性能的一個(gè)重要瓶頸，這是不能忽視的。
什么是I/O？
I/O作為機(jī)器獲取和交換信息的主要渠道，流是執(zhí)行I/O操作的主要方法。
在計(jì)算機(jī)中，流表示信息的傳輸。流保持順序，因此針對(duì)特定的機(jī)器或應(yīng)用程序，我們通常將從外部獲得的信息稱(chēng)為輸入流（InputStream），將從機(jī)器或應(yīng)用程序發(fā)送出去的信息稱(chēng)為輸出流（OutputStream）。
它們一起被稱(chēng)為輸入/輸出流（I/O流）。
當(dāng)機(jī)器或程序交換信息或數(shù)據(jù)時(shí)，它們通常首先將對(duì)象或數(shù)據(jù)轉(zhuǎn)換為一種特定形式的流。
然后，通過(guò)流的傳輸，數(shù)據(jù)到達(dá)指定的機(jī)器或程序。在目標(biāo)位置，流被轉(zhuǎn)換回對(duì)象數(shù)據(jù)。
因此，流可以被視為一種攜帶數(shù)據(jù)的手段，促進(jìn)數(shù)據(jù)的交換和傳輸。
Java的I/O操作類(lèi)位于java.io包中。其中，InputStream、OutputStream、Reader和Writer類(lèi)是I/O包中的四個(gè)基本類(lèi)。
它們分別處理字節(jié)流和字符流。下面的圖表說(shuō)明了這一點(diǎn)：
+-------------+
| InputStream |
+------+------+
^
|
+---------+---------+
| FileInputStream |
+-----------------------+
+-------------+
| OutputStream |
+------+------+
^
|
+---------+---------+
| FileOutputStream |
+-----------------------+
+-------------+
| Reader |
+------+------+
^
|
+----------+---------+
| FileReader |
+-----------------------+
+-------------+
| Writer |
+------+------+
^
|
+----------+---------+
| FileWriter |
+-----------------------+無(wú)論是文件讀寫(xiě)還是網(wǎng)絡(luò)傳輸/接收，信息的最小存儲(chǔ)單元始終是字節(jié)。那么為什么I/O流操作被分類(lèi)為字節(jié)流操作和字符流操作呢？
我們知道，將字符轉(zhuǎn)換為字節(jié)需要編碼，而這個(gè)過(guò)程可能是耗時(shí)的。
如果我們不知道編碼類(lèi)型，很容易遇到字符亂碼等問(wèn)題。因此，I/O流提供了與字符直接工作的接口，使我們?cè)谌粘９ぷ髦锌梢苑奖愕剡M(jìn)行字符流操作。
字節(jié)流
InputStream和OutputStream是字節(jié)流的抽象類(lèi)，這兩個(gè)抽象類(lèi)派生出了幾個(gè)子類(lèi)，每個(gè)子類(lèi)都設(shè)計(jì)用于不同類(lèi)型的操作。
根據(jù)具體要求，您可以選擇不同的子類(lèi)來(lái)實(shí)現(xiàn)相應(yīng)的功能。
- 如果需要執(zhí)行文件讀寫(xiě)操作，可以使用FileInputStream和FileOutputStream。它們適用于從文件讀取數(shù)據(jù)和將數(shù)據(jù)寫(xiě)入文件。
- 如果要使用數(shù)組進(jìn)行讀寫(xiě)操作，可以使用ByteArrayInputStream和ByteArrayOutputStream。這些類(lèi)允許您將數(shù)據(jù)讀取和寫(xiě)入字節(jié)數(shù)組。
- 如果要進(jìn)行常規(guī)字符串讀寫(xiě)操作，并希望引入緩沖以提高性能，可以使用BufferedInputStream和BufferedOutputStream。這些類(lèi)在讀寫(xiě)過(guò)程中引入了緩沖區(qū)，有效地減少了實(shí)際的I/O操作次數(shù)，從而提高了效率。
字符流
Reader和Writer是字符流的抽象類(lèi)，這兩個(gè)抽象類(lèi)也派生出了幾個(gè)子類(lèi)，每個(gè)子類(lèi)都設(shè)計(jì)用于不同類(lèi)型的操作。具體細(xì)節(jié)如下圖所示：
+---------+
| Reader |
+------+------+
^
|
+---------+---------+
| InputStreamReader |
+-----------------------+
| FileReader |
+-----------------------+
| CharArrayReader |
+-----------------------+
+---------+
| Writer |
+------+------+
^
|
+---------+---------+
| OutputStreamWriter |
+-----------------------+
| FileWriter |
+-----------------------+
| CharArrayWriter |
+-----------------------+I/O性能問(wèn)題
我們知道，I/O操作可以分為磁盤(pán)I/O操作和網(wǎng)絡(luò)I/O操作。
前者涉及將數(shù)據(jù)從磁盤(pán)源讀取到內(nèi)存中，然后將讀取的信息持久化到物理磁盤(pán)中。
后者涉及將網(wǎng)絡(luò)中的信息獲取到內(nèi)存中，最終將信息傳輸回網(wǎng)絡(luò)。
然而，無(wú)論是磁盤(pán)I/O還是網(wǎng)絡(luò)I/O，在傳統(tǒng)I/O系統(tǒng)中都會(huì)遇到顯著的性能問(wèn)題。
1. 多次內(nèi)存復(fù)制
在傳統(tǒng)I/O中，我們可以使用InputStream從源讀取數(shù)據(jù)，并將數(shù)據(jù)流輸入到緩沖區(qū)中。然后，我們可以使用OutputStream將數(shù)據(jù)輸出到外部設(shè)備，包括磁盤(pán)和網(wǎng)絡(luò)。
在繼續(xù)之前，您可以查看操作系統(tǒng)中輸入操作的具體過(guò)程，如下圖所示：
- JVM發(fā)起read()系統(tǒng)調(diào)用，并向內(nèi)核發(fā)送讀取請(qǐng)求。
- 內(nèi)核向硬件發(fā)送讀取命令，等待數(shù)據(jù)準(zhǔn)備好。
- 內(nèi)核將數(shù)據(jù)復(fù)制到自己的緩沖區(qū)中。
- 操作系統(tǒng)
的內(nèi)核將數(shù)據(jù)復(fù)制到用戶空間緩沖區(qū)中，然后read()系統(tǒng)調(diào)用返回。
在此過(guò)程中，數(shù)據(jù)首先從外部設(shè)備復(fù)制到內(nèi)核空間，然后從內(nèi)核空間復(fù)制到用戶空間。
這導(dǎo)致了兩次內(nèi)存復(fù)制操作。這些操作導(dǎo)致不必要的數(shù)據(jù)復(fù)制和上下文切換，最終降低了I/O的性能。
2. 阻塞
在傳統(tǒng)I/O中，InputStream的read()操作通常是使用while循環(huán)實(shí)現(xiàn)的。它持續(xù)等待數(shù)據(jù)準(zhǔn)備好后才返回。
這意味著如果沒(méi)有準(zhǔn)備好的數(shù)據(jù)，讀取操作將一直等待，導(dǎo)致用戶線程被阻塞。
在連接請(qǐng)求較少的情況下，這種方法效果良好，提供快速的響應(yīng)時(shí)間。
然而，在處理大量連接請(qǐng)求時(shí)，創(chuàng)建大量的監(jiān)聽(tīng)線程變得必要。在這種情況下，如果線程等待未準(zhǔn)備好的數(shù)據(jù)，它將被阻塞并進(jìn)入等待狀態(tài)。
一旦線程被阻塞，它們將不斷爭(zhēng)奪CPU資源，導(dǎo)致頻繁的CPU上下文切換。這種情況增加了系統(tǒng)的性能開(kāi)銷(xiāo)。
這就是為什么在具有高并發(fā)需求的場(chǎng)景中，由于線程管理和上下文切換的高成本，傳統(tǒng)的阻塞式I/O可能變得效率低下的原因。
通常使用異步編程和非阻塞I/O技術(shù)來(lái)緩解這些問(wèn)題，并提高系統(tǒng)效率。
如何優(yōu)化I/O操作？
1. 使用緩沖
使用緩沖是優(yōu)化讀寫(xiě)流操作的有效方法，減少頻繁的磁盤(pán)或網(wǎng)絡(luò)訪問(wèn)，從而提高性能。以下是使用緩沖來(lái)優(yōu)化讀寫(xiě)流操作的一些方法：
- 使用緩沖流：Java提供了類(lèi)似BufferedReader和BufferedWriter的類(lèi)，可以包裝其他輸入和輸出流，在讀寫(xiě)操作期間引入緩沖機(jī)制。這允許批量讀取或?qū)懭霐?shù)據(jù)，減少了實(shí)際I/O操作的頻率。
- 指定緩沖區(qū)大?。涸趧?chuàng)建緩沖流時(shí)，您可以指定緩沖區(qū)的大小。根據(jù)數(shù)據(jù)量和性能要求選擇適當(dāng)?shù)木彌_區(qū)大小，可以?xún)?yōu)化讀寫(xiě)操作。
- 使用java.nio：Java NIO(新I/O)庫(kù)提供了更靈活和高效的緩沖管理。通過(guò)使用諸如ByteBuffer之類(lèi)的緩沖類(lèi)，您可以更好地管理內(nèi)存和數(shù)據(jù)。
- 一次性讀取或?qū)懭攵鄠€(gè)項(xiàng)：通過(guò)使用適當(dāng)?shù)腁PI，您可以一次性讀取或?qū)懭攵鄠€(gè)數(shù)據(jù)項(xiàng)，減少I(mǎi)/O操作次數(shù)。
- 合并操作：如果需要執(zhí)行連續(xù)的讀取或?qū)懭氩僮?，?qǐng)考慮將它們合并為更大的操作，以減少系統(tǒng)調(diào)用的開(kāi)銷(xiāo)。
- 及時(shí)刷新：對(duì)于輸出流，及時(shí)調(diào)用flush()方法可以確保數(shù)據(jù)立即寫(xiě)入目標(biāo)，而不僅僅停留在緩沖區(qū)中。
- 使用try-with-resources：在Java 7及更高版本中，使用try-with-resources可以確保在操作完成后自動(dòng)關(guān)閉流并釋放資源，避免資源泄漏。
以下是使用緩沖進(jìn)行文件讀寫(xiě)的示例代碼片段：
try (BufferedReader reader = new BufferedReader(new FileReader("input.txt"));
BufferedWriter writer = new BufferedWriter(new FileWriter("output.txt"))) {
String line;
while ((line = reader.readLine()) != null) {
// 處理行
writer.write(line);
writer.newLine(); // 添加新行
}
} catch (IOException e) {
e.printStackTrace();
}2. 使用DirectBuffer減少內(nèi)存復(fù)制
使用DirectBuffer是一種減少I(mǎi)/O操作中內(nèi)存復(fù)制的技術(shù)，特別是在Java NIO（新I/O）的上下文中。
DirectBuffer允許您直接使用非堆內(nèi)存，這可以導(dǎo)致Java和本地代碼之間更有效的數(shù)據(jù)傳輸。
在涉及大量數(shù)據(jù)的I/O操作中，這可能特別有益。
以下是如何使用DirectBuffer減少內(nèi)存復(fù)制的方法：
- 分配DirectBuffer：不要使用傳統(tǒng)的Java堆基數(shù)組，而是使用諸如ByteBuffer.allocateDirect()之類(lèi)的類(lèi)從本地內(nèi)存中分配DirectBuffer。
- 包裝現(xiàn)有緩沖區(qū)：您還可以使用ByteBuffer.wrap()來(lái)包裝現(xiàn)有的本地內(nèi)存緩沖區(qū)，只需指定本地內(nèi)存地址。
- 與通道I/O一起使用：當(dāng)使用NIO通道(FileChannel、SocketChannel等)時(shí)，可以直接將數(shù)據(jù)讀入DirectBuffer或直接從DirectBuffer寫(xiě)入數(shù)據(jù)，無(wú)需額外的復(fù)制。
- 與JNI一起使用：如果通過(guò)Java本地接口(JNI)與本機(jī)代碼一起工作，使用DirectBuffer可以使您的本機(jī)代碼直接訪問(wèn)和操作數(shù)據(jù)，而無(wú)需昂貴的內(nèi)存復(fù)制。
- 注意內(nèi)存釋放：請(qǐng)記住，當(dāng)您使用完DirectBuffer時(shí)，需要顯式地釋放直接內(nèi)存，以防止內(nèi)存泄漏。調(diào)用DirectBuffer上的cleaner()方法以釋放關(guān)聯(lián)的本地內(nèi)存。
以下是在ByteBuffer中使用DirectBuffer以進(jìn)行高效I/O的簡(jiǎn)化示例：
try (FileChannel channel = FileChannel.open(Paths.get("data.bin"), StandardOpenOption.READ)) {
int bufferSize = 4096; // 根據(jù)需要調(diào)整
ByteBuffer directBuffer = ByteBuffer.allocateDirect(bufferSize);
int bytesRead;
while ((bytesRead = channel.read(directBuffer)) != -1) {
directBuffer.flip(); // 準(zhǔn)備讀取
// 在直接緩沖區(qū)中處理數(shù)據(jù)
// ...
directBuffer.clear(); // 準(zhǔn)備下一次讀取
}
} catch (IOException e) {
e.printStackTrace();
}3. 避免阻塞并優(yōu)化I/O操作
避免阻塞并優(yōu)化I/O操作是提高系統(tǒng)性能和響應(yīng)性的關(guān)鍵。以下是實(shí)現(xiàn)這些目標(biāo)的一些方法：
- 使用非阻塞I/O：采用非阻塞I/O技術(shù)，如Java NIO，允許程序在等待數(shù)據(jù)準(zhǔn)備就緒時(shí)繼續(xù)執(zhí)行其他任務(wù)。這可以通過(guò)選擇器實(shí)現(xiàn)，它使單個(gè)線程能夠處理多個(gè)通道。
- 利用異步I/O：異步I/O允許程序提交I/O操作并在完成時(shí)得到通知。Java NIO2(Java 7+)提供了異步I/O的支持。這減少了線程阻塞，并使其他任務(wù)能夠在等待I/O完成時(shí)執(zhí)行。
- 使用線程池：有效地利用線程池管理線程資源，避免為每個(gè)連接創(chuàng)建新線程。這減少了線程創(chuàng)建和銷(xiāo)毀的開(kāi)銷(xiāo)。
- 利用事件驅(qū)動(dòng)模型：利用諸如Reactor、Netty等事件驅(qū)動(dòng)框架可以有效地管理連接和I/O事件，實(shí)現(xiàn)高效的非阻塞I/O。
- 分離CPU密集型和I/O操作：將CPU密集型任務(wù)與I/O操作分開(kāi)，以防止I/O阻塞CPU?？梢允褂枚嗑€程或多進(jìn)程進(jìn)行分離。
- 批量處理：將多個(gè)小的I/O操作合并為一個(gè)更大的批量操作，減少單獨(dú)操作的開(kāi)銷(xiāo)，提高效率。
- 使用緩沖區(qū)：使用緩沖區(qū)減少頻繁的磁盤(pán)或網(wǎng)絡(luò)訪問(wèn)，提高性能。這適用于文件I/O和網(wǎng)絡(luò)I/O。
- 定期維護(hù)和優(yōu)化：定期監(jiān)控和優(yōu)化磁盤(pán)、網(wǎng)絡(luò)和數(shù)據(jù)庫(kù)等資源，以確保它們保持良好的性能。
- 使用專(zhuān)門(mén)的框架：選擇適當(dāng)?shù)目蚣?，如Netty、Vert.x等，這些框架具有高效的非阻塞和異步I/O功能。
根據(jù)您的應(yīng)用場(chǎng)景和要求，您可以實(shí)現(xiàn)其中一個(gè)或多個(gè)方法，以避免阻塞，優(yōu)化I/O操作，并增強(qiáng)系統(tǒng)性能和響應(yīng)性。
4. 通道
正如前面所討論的，傳統(tǒng)的I/O最初依賴(lài)于InputStream和OutputStream操作流，這些流按字節(jié)為單位工作。
在高并發(fā)和大數(shù)據(jù)的情況下，這種方法很容易導(dǎo)致阻塞，從而導(dǎo)致性能下降。
此外，從用戶空間復(fù)制輸出數(shù)據(jù)到內(nèi)核空間，然后再?gòu)?fù)制到輸出設(shè)備，增加了系統(tǒng)性能開(kāi)銷(xiāo)。
為了解決性能問(wèn)題，傳統(tǒng)的I/O后來(lái)引入了緩沖作為緩解阻塞的手段。
它使用緩沖塊作為最小單元。然而，即使使用緩沖，整體性能仍然不夠理想。
然后出現(xiàn)了NIO（新I/O），它基于緩沖塊單元操作。
在緩沖的基礎(chǔ)上，它引入了兩個(gè)組件：“通道”和“選擇器”。這些補(bǔ)充使得非阻塞I/O操作成為可能。
NIO非常適合具有大量I/O連接請(qǐng)求的情況。這三個(gè)組件共同增強(qiáng)了I/O的整體性能。
名稱(chēng)欄目：如何解決高并發(fā)中的I/O瓶頸?
瀏覽地址：http://www.dlmjj.cn/article/djosode.html
