作者:Grey
原文地址:Java IO學習筆記一:為什麼帶Buffer的比不帶Buffer的快
Java中為什麼BufferedReader,BufferedWriter要比FileReader 和 FileWriter高效?
問題來自於:https://www.zhihu.com/question/29351698
其中R大的一個回答:
現在我們可以通過實驗來說明這個問題:
環境:CentOS 7, jdk1.8
首先,寫一個不帶buffer的程式碼
static byte[] data = "123456789\n".getBytes();
static String path = "/data/io/out.txt";
public static void testBasicFileIO() throws Exception {
File file = new File(path);
FileOutputStream out = new FileOutputStream(file);
while (true) {
out.write(data);
}
}
同時,我們寫一個帶buffer的程式碼
public static void testBufferedFileIO() throws Exception {
File file = new File(path);
BufferedOutputStream out = new BufferedOutputStream(new FileOutputStream(file));
while (true) {
out.write(data);
}
}
通過main函式的args引數來控制執行哪個方法,完整程式碼為:
import java.io.BufferedOutputStream;
import java.io.File;
import java.io.FileOutputStream;
public class OSFileIO {
static byte[] data = "123456789\n".getBytes();
static String path = "/data/io/out.txt";
public static void main(String[] args) throws Exception {
switch (args[0]) {
case "0":
testBasicFileIO();
break;
case "1":
testBufferedFileIO();
break;
default:
break;
}
}
public static void testBasicFileIO() throws Exception {
File file = new File(path);
FileOutputStream out = new FileOutputStream(file);
while (true) {
out.write(data);
}
}
public static void testBufferedFileIO() throws Exception {
File file = new File(path);
BufferedOutputStream out = new BufferedOutputStream(new FileOutputStream(file));
while (true) {
out.write(data);
}
}
}
在Linux(先安裝好jdk1.8)中,準備好目錄:
mkdir -p /data/io
安裝必要工具
yum install -y strace lsof pmap tcpdump
將OSFileIO.java這個類上傳到/data/io目錄下,在/data/io目錄下,新建一個mysh.sh的指令碼,指令碼內容如下:
rm -rf *out*
/usr/local/jdk/bin/javac OSFileIO.java
strace -ff -o out /usr/local/jdk/bin/java OSFileIO $1
賦予mysh.sh執行許可權
chmod +x /data/io/mysh.sh
先監控帶buffer的writer和不帶buffer的writer的寫效率,
不帶buffer的writer效率,在控制檯執行:
./mysh.sh 0
開啟另外一個控制檯,進入/data/io目錄,監控生成out檔案大小的速度,不斷執行
ll -h
可以看到out.txt的增長速度
-rw-r--r--. 1 root root 2.1M Jun 10 19:50 out.txt
...
-rw-r--r--. 1 root root 5.3M Jun 10 19:51 out.txt
重新執行,使用帶buffer的writer
./mysh.sh 1
在另外一個控制檯,進入/data/io目錄,繼續監控out.txt的增長
cd /data/io
ll -h
可以看到out.txt的增長速度明顯更快
-rw-r--r--. 1 root root 290M Jun 10 19:54 out.txt
....
-rw-r--r--. 1 root root 768M Jun 10 19:54 out.txt
....
-rw-r--r--. 1 root root 1.4G Jun 10 19:55 out.txt
這個是表現,我們再觀察一下使用buffer和未使用buffer的writer在執行的時候,系統呼叫的次數。
重新執行
./mysh.sh 0
執行大約10秒後,停止執行
由於mysh.sh中使用了strace, 可以用於跟蹤和分析程式執行時中系統呼叫和耗時以及佔用cpu的比例
檢視生成的out檔案列表:
[root@io io]# ll
total 60708
-rwxr-xr-x. 1 root root 106 Jun 10 19:25 mysh.sh
-rw-r--r--. 1 root root 3981 Jun 10 20:08 OSFileIO.class
-rw-r--r--. 1 root root 4587 Jun 10 19:29 OSFileIO.java
-rw-r--r--. 1 root root 9379 Jun 10 20:10 out.6916
-rw-r--r--. 1 root root 50363725 Jun 10 20:10 out.6917
-rw-r--r--. 1 root root 1027 Jun 10 20:10 out.6918
-rw-r--r--. 1 root root 885 Jun 10 20:10 out.6919
-rw-r--r--. 1 root root 850 Jun 10 20:10 out.6920
-rw-r--r--. 1 root root 948 Jun 10 20:10 out.6921
-rw-r--r--. 1 root root 885 Jun 10 20:10 out.6922
-rw-r--r--. 1 root root 885 Jun 10 20:10 out.6923
-rw-r--r--. 1 root root 850 Jun 10 20:10 out.6924
-rw-r--r--. 1 root root 1134 Jun 10 20:10 out.6925
-rw-r--r--. 1 root root 26835 Jun 10 20:10 out.6926
-rw-r--r--. 1 root root 1343 Jun 10 20:10 out.6927
-rw-r--r--. 1 root root 1210 Jun 10 20:10 out.6928
-rw-r--r--. 1 root root 2324 Jun 10 20:10 out.6929
-rw-r--r--. 1 root root 9954 Jun 10 20:10 out.6930
-rw-r--r--. 1 root root 9792 Jun 10 20:10 out.6931
-rw-r--r--. 1 root root 9477 Jun 10 20:10 out.6932
-rw-r--r--. 1 root root 8295 Jun 10 20:10 out.6933
-rw-r--r--. 1 root root 1190 Jun 10 20:10 out.6934
-rw-r--r--. 1 root root 485668 Jun 10 20:10 out.6935
-rw-r--r--. 1 root root 2008 Jun 10 20:10 out.7023
-rw-r--r--. 1 root root 11152490 Jun 10 20:10 out.txt
可以看到
-rw-r--r--. 1 root root 50363725 Jun 10 20:10 out.6917
是主執行緒生成的系統呼叫,檢視這個檔案,可以看到,系統呼叫write的次數很多
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
write(4, "123456789\n", 10) = 10
切換成帶buffer的執行,大約執行10秒
./mysh.sh 1
同樣可以通過ll檢視
[root@io io]# ll
total 388808
-rwxr-xr-x. 1 root root 106 Jun 10 19:25 mysh.sh
-rw-r--r--. 1 root root 3981 Jun 10 20:17 OSFileIO.class
-rw-r--r--. 1 root root 4587 Jun 10 19:29 OSFileIO.java
-rw-r--r--. 1 root root 9526 Jun 10 20:18 out.7053
-rw-r--r--. 1 root root 3262847 Jun 10 20:18 out.7054
-rw-r--r--. 1 root root 1076 Jun 10 20:18 out.7055
-rw-r--r--. 1 root root 885 Jun 10 20:18 out.7056
-rw-r--r--. 1 root root 885 Jun 10 20:18 out.7057
-rw-r--r--. 1 root root 948 Jun 10 20:18 out.7058
-rw-r--r--. 1 root root 983 Jun 10 20:18 out.7059
-rw-r--r--. 1 root root 948 Jun 10 20:18 out.7060
-rw-r--r--. 1 root root 885 Jun 10 20:18 out.7061
-rw-r--r--. 1 root root 1099 Jun 10 20:18 out.7062
-rw-r--r--. 1 root root 3812 Jun 10 20:18 out.7063
-rw-r--r--. 1 root root 1259 Jun 10 20:18 out.7064
-rw-r--r--. 1 root root 1245 Jun 10 20:18 out.7065
-rw-r--r--. 1 root root 2337 Jun 10 20:18 out.7066
-rw-r--r--. 1 root root 6415 Jun 10 20:18 out.7067
-rw-r--r--. 1 root root 5486 Jun 10 20:18 out.7068
-rw-r--r--. 1 root root 6347 Jun 10 20:18 out.7069
-rw-r--r--. 1 root root 4972 Jun 10 20:18 out.7070
-rw-r--r--. 1 root root 1008 Jun 10 20:18 out.7071
-rw-r--r--. 1 root root 25438 Jun 10 20:18 out.7072
-rw-r--r--. 1 root root 2071 Jun 10 20:18 out.7073
-rw-r--r--. 1 root root 394725240 Jun 10 20:18 out.txt
其中
-rw-r--r--. 1 root root 3262847 Jun 10 20:18 out.7054
為主執行緒的系統呼叫,開啟這個檔案可以看到
write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190
write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190
write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190
write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190
write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190
write(4, "123456789\n123456789\n123456789\n12"..., 8190) = 8190
不是每次寫都呼叫系統的write,而是湊齊8190後再呼叫一次系統的write,所以速度更快。
原始碼:Github