一、基本介绍
- Java NIO 全称 Java non-blocking IO,是指 JDK 提供的新 API。从 JDK1.4 开始,Java 提供了一系列改进的输入/输出的新特性,被统称为 NIO(即 NewIO),是同步非阻塞的。
- NIO 相关类都被放在 java.nio 包及子包下,并且对原 java.io 包中的很多类进行改写。【基本案例】
- NIO 有三大核心部分:Channel(通道,可以理解为BIO中的Socket)、Buffer(缓冲区)、Selector(选择器) 。
- NIO 是面向缓冲区,或者面向块编程的。数据读取到一个它稍后处理的缓冲区,需要时可在缓冲区中前后移动,这就增加了处理过程中的灵活性,使用它可以提供非阻塞式的高伸缩性网络。
- Java NIO 的非阻塞模式,使一个线程从某通道发送请求或者读取数据,但是它仅能得到目前可用的数据,如果目前没有数据可用时,就什么都不会获取,而不是保持线程阻塞,所以直至数据变的可以读取之前,该线程可以继续做其他的事情。非阻塞写也是如此,一个线程请求写入一些数据到某通道,但不需要等待它完全写入,这个线程同时可以去做别的事情。【后面有案例说明】
- 通俗理解:NIO 是可以做到用一个线程来处理多个操作的。假设有 10000 个请求过来,根据实际情况,可以分配 50 或者 100 个线程来处理。不像之前的阻塞 IO 那样,非得分配 10000 个。
- HTTP 2.0 使用了多路复用的技术,做到同一个连接并发处理多个请求,而且并发请求的数量比 HTTP 1.1 大了好几个数量级。
-
二、NIO 三大核心原理示意图
一张图描述 NIO 的 Selector、Channel 和 Buffer 的关系。(图片来自某网站)
每个 Channel 都会对应一个 Buffer。
- Selector 对应一个线程,一个线程对应多个 Channel(连接)。
- 该图反应了有三个 Channel 注册到该 Selector //程序
- 程序切换到哪个 Channel 是由事件决定的,Event 就是一个重要的概念。
- Selector 会根据不同的事件,在各个通道上切换。
- Buffer 就是一个内存块,底层是有一个数组。
数据的读取写入是通过 Buffer,这个和 BIO是不同的,BIO 中要么是输入流,或者是输出流,不能双向,但是 NIO 的 Buffer 是可以读也可以写,需要 flip 方法切换 Channel 是双向的,可以返回底层操作系统的情况,比如 Linux,底层的操作系统通道就是双向的。
三、NIO 和 BIO 的比较
BIO 以流的方式处理数据,而 NIO 以块的方式处理数据,块 I/O 的效率比流 I/O 高很多。
- BIO 是阻塞的,NIO 则是非阻塞的。
- BIO 基于字节流和字符流进行操作,而 NIO 基于 Channel(通道)和 Buffer(缓冲区)进行操作,数据总是从通道读取到缓冲区中,或者从缓冲区写入到通道中。Selector(选择器)用于监听多个通道的事件(比如:连接请求,数据到达等),因此使用单个线程就可以监听多个客户端通道。
- Buffer和Channel之间的数据流向是双向的
四、Buffer
1、buffer 的基本介绍
缓冲区(Buffer):缓冲区本质上是一个可以读写数据的内存块,可以理解成是一个容器对象(含数组),该对象提供了一组方法,可以更轻松地使用内存块,缓冲区对象内置了一些机制,能够跟踪和记录缓冲区的状态变化情况。Channel 提供从文件、网络读取数据的渠道,但是读取或写入的数据都必须经由 Buffer,如图:【后面举例说明】
2、buffer 的简单使用
public class BasicBuffer {
public static void main(String[] args) {
//举例说明 Buffer 的使用(简单说明)
//创建一个 Buffer,大小为 5,即可以存放 5 个 int
IntBuffer intBuffer = IntBuffer.allocate(5);
// 向 buffer 中存放数据
for (int i = 0; i < intBuffer.capacity(); i++) {
intBuffer.put(i * 2);
}
// 从 buffer 读取数据
// 将 buffer 转换,读写切换(!!!) 其实就是将 position 置为0,从头开始
intBuffer.flip();
while (intBuffer.hasRemaining()) {
System.out.println(intBuffer.get());
}
}
}
3、Buffer 类及其子类
- 在 NIO 中,Buffer 是一个顶层父类,它是一个抽象类,它的实现类中包含了7种基本数据类型(没有 boolean,否则是8种),类的层级关系图:
以实现类 ShortBuffer 为例,可以看到里面有个 short[] ,这就是存储数据的地方,每个基本数据类型对应的 buffer 实现类,都有一个对应的基本数据类型数组。
2、Buffer 类定义了所有的缓冲区都具有的四个属性来提供关于其所包含的数据元素的信息:
为什么 图中的capacity=5,limit=5,因为 IntBuffer intBuffer = IntBuffer.allocate(5);
3、我们基于 buffer 的简单使用,进行debug探索,如下
每 put 一个数字进入buffer,position 就会+1,直到等于 limit。
4、buffer 的方法一览
buffer 基础方法
intBuffer.position(1);
intBuffer.limit(3);
ByteBuffer
从前面可以看出对于 Java 中的基本数据类型(boolean 除外),都有一个 Buffer 类型与之相对应,最常用的自然是 ByteBuffer 类(二进制数据),该类的主要方法如下:
// 会替代0位置上的数字,将其换成1
intBuffer.put(0,1);
关于 NIO ByteBuffer的allocate与allocateDirect区别
参考
ByteBuffer的allocate与allocateDirect区别
五、Channel
1、基本介绍
- NIO 的通道类似于流,但有些区别如下:
- 通道可以同时进行读写,而流只能读或者只能写
- 通道可以实现异步读写数据
- 通道可以从缓冲读数据,也可以写数据到缓冲:
- BIO 中的 Stream 是单向的,例如 FileInputStream 对象只能进行读取数据的操作,而 NIO 中的通道(Channel)是双向的,可以读操作,也可以写操作。
- Channel 在 NIO 中是一个接口 public interface Channel extends Closeable{}
- 常用的 Channel 类有:FileChannel、DatagramChannel、ServerSocketChannel 和 SocketChannel。【ServerSocketChanne 类似 ServerSocket、SocketChannel 类似 Socket】
- FileChannel 用于文件的数据读写,DatagramChannel 用于 UDP 的数据读写,ServerSocketChannel 和 SocketChannel 用于 TCP 的数据读写。
- 如图
2、FileChannel 类
FileChannel 主要用来对本地文件进行 IO 操作,常见的方法有
- public int read(ByteBuffer dst),从通道读取数据并放到缓冲区中
- public int write(ByteBuffer src),把缓冲区的数据写到通道中
- public long transferFrom(ReadableByteChannel src, long position, long count),从目标通道中复制数据到当前通道
- public long transferTo(long position, long count, WritableByteChannel target),把数据从当前通道复制给目标通道
3、应用实例
3.1 本地文件写数据
- 使用前面学习后的 ByteBuffer(缓冲)和 FileChannel(通道),将 “hello,supkingx” 写入到 file01.txt 中
- 文件不存在就创建
代码演示
public class NIOFileChannel01 {
public static void main(String[] args) {
String str = "hello,supkingx";
try (FileOutputStream fileOutputStream = new FileOutputStream("file01.txt")) {
// 通过 fileOutputStream 获取对应的 FileChannel
FileChannel fileChannel = fileOutputStream.getChannel();
ByteBuffer byteBuffer = ByteBuffer.allocateDirect(1024);
// 将 Str 放入到 byteBuffer
byteBuffer.put(str.getBytes());
// 对 byteBuffer 进行反转 flip
byteBuffer.flip();
// 将 byteBuffer中的数据写入到 fileChannel
fileChannel.write(byteBuffer);
} catch (Exception e) {
e.printStackTrace();
}
}
}
写入过程
3.2 本地文件读取
- 使用前面学习后的 ByteBuffer(缓冲)和 FileChannel(通道),将 file01.txt 中的数据读入到程序,并显示在控制台屏幕
- 假定文件已经存在
代码演示
public class NIOFileChannel02 {
public static void main(String[] args) {
File file = new File("file01.txt");
try(FileInputStream fileInputStream = new FileInputStream(file)) {
FileChannel fileChannel = fileInputStream.getChannel();
// 创建缓冲区
ByteBuffer byteBuffer = ByteBuffer.allocate((int) file.length());
// 将 通道的数据读取到Buffer
fileChannel.read(byteBuffer);
// 将 bytebuffer 的字节数据 转成String
System.out.println(new String(byteBuffer.array()));
} catch (Exception e) {
e.printStackTrace();
}
}
}
读取过程
3.3 使用一个 Buffer 完成数据的读取、写入
public class NIOFileChannel03 {
public static void main(String[] args) {
try (FileInputStream fileInputStream = new FileInputStream("file02.txt");
FileOutputStream fileOutputStream = new FileOutputStream("file022.txt")) {
FileChannel inputChannel = fileInputStream.getChannel();
FileChannel outChannel = fileOutputStream.getChannel();
ByteBuffer byteBuffer = ByteBuffer.allocate(512);
while (true) {
// 这里有一个重要的操作
byteBuffer.clear(); // 清空 buffer
// public final Buffer clear() {
// position = 0;
// limit = capacity;
// mark = -1;
// return this;
// }
int readLen = inputChannel.read(byteBuffer);
System.out.println("readLen=" + readLen);
if (readLen == -1) {
break;
}
// 将 buffer 写入到 outChannel
byteBuffer.flip();
outChannel.write(byteBuffer);
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
3.4 拷贝文件
- 实例要求:
- 使用 FileChannel(通道)和方法 transferFrom,完成文件的拷贝
- 拷贝一张图片
代码演示
public class NIOFileChannel04 {
public static void main(String[] args) {
try (FileInputStream fileInputStream = new FileInputStream("123.jpg");
FileOutputStream fileOutputStream = new FileOutputStream("king.jpg");
FileChannel inputChannel = fileInputStream.getChannel();
FileChannel outChannel = fileOutputStream.getChannel()) {
// 从 inputChannel 拷贝数据到 outChannel 中去
outChannel.transferFrom(inputChannel, 0, inputChannel.size());
} catch (Exception e) {
e.printStackTrace();
}
}
}
4、关于 Buffer 和 Channel 的注意事项和细节
ByteBuffer 支持类型化的 put 和 get,put 放入的是什么数据类型,get 就应该使用相应的数据类型来取出,否则可能有 BufferUnderflowException 异常。 ```java ublic class NIOByteBufferPutGet { public static void main(String[] args) {
ByteBuffer byteBuffer = ByteBuffer.allocate(64);
// 类型化放入数据
byteBuffer.putInt(100);
byteBuffer.putLong(9);
byteBuffer.putChar('s');
byteBuffer.putShort((short) 4);
// 取出
byteBuffer.flip();
System.out.println();
System.out.println(byteBuffer.getInt());
System.out.println(byteBuffer.getLong());
System.out.println(byteBuffer.getChar());
// System.out.println(byteBuffer.getShort());
// 这会报错 BufferUnderflowException
System.out.println(byteBuffer.getLong());
} }
结果 100 9 s Exception in thread “main” java.nio.BufferUnderflowException at java.nio.Buffer.nextGetIndex(Buffer.java:506) at java.nio.HeapByteBuffer.getLong(HeapByteBuffer.java:415) at com.supkingx.nio.NIOByteBufferPutGet.main(NIOByteBufferPutGet.java:28)
2. 可以将一个普通 Buffer 转成只读 Buffer
```java
public class ReadOnlyBuffer {
public static void main(String[] args) {
ByteBuffer byteBuffer = ByteBuffer.allocate(64);
for (int i = 0; i <64; i++) {
byteBuffer.put((byte) i);
}
byteBuffer.flip();
// 得到一个只读 buffer
ByteBuffer readOnlyBuffer = byteBuffer.asReadOnlyBuffer();
System.out.println(readOnlyBuffer.getClass());
// 读取
while (readOnlyBuffer.hasRemaining()){
System.out.println(readOnlyBuffer.get());
}
// 报错 ReadOnlyBufferException
readOnlyBuffer.put((byte) 100);
}
}
结果
class java.nio.HeapByteBufferR
0
1
2
3
4
.....
63
Exception in thread "main" java.nio.ReadOnlyBufferException
at java.nio.HeapByteBufferR.put(HeapByteBufferR.java:175)
at com.supkingx.nio.ReadOnlyBuffer.main(ReadOnlyBuffer.java:28)
- NIO 还提供了 MappedByteBuffer,可以让文件直接在内存(堆外的内存)中进行修改,而如何同步到文件 则由 NIO 来完成。
file01.txt 中的文字是 hello,supkingx,我们修改其0位置的字符为7,修改其3位置的字符为9,则结果就是 7el9o,supkingx
public class MappedByteBufferTest {
public static void main(String[] args) throws Exception {
RandomAccessFile randomAccessFile = new RandomAccessFile("file01.txt", "rw");
FileChannel channel = randomAccessFile.getChannel();
/**
* 参数 1:FileChannel.MapMode.READ_WRITE 使用的读写模式
* 参数 2:0 可以直接修改的起始位置
* 参数 3:5 是映射到内存的大小(不是索引位置),即将 1.txt 的多少个字节映射到内存
* 可以直接修改的范围就是 0-4 (put(5,xx)就会报错IndexOutOfBoundsException)
* 实际类型 DirectByteBuffer
*/
MappedByteBuffer mappedByteBuffer = channel.map(FileChannel.MapMode.READ_WRITE, 0, 5);
mappedByteBuffer.put(0,(byte) '7');
mappedByteBuffer.put(3,(byte) '9');
channel.close();
randomAccessFile.close();
}
}
通过 debug 可以发现此时的 MappedByteBuffer 是 DirectByteBuffer 类型。
前面我们讲的读写操作,都是通过一个 Buffer 完成的,NIO 还支持通过多个 Buffer(即 Buffer数组)完成读写操作,即 Scattering 和 Gathering【举例说明】
ublic class ScatteringAndGatheringTest {
public static void main(String[] args) throws IOException {
// 使用 ServerSocketChannel
ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
InetSocketAddress inetSocketAddress = new InetSocketAddress(7070);
// 绑定 端口
serverSocketChannel.socket().bind(inetSocketAddress);
// 创建 buffer 数组
ByteBuffer[] byteBuffers = new ByteBuffer[2];
byteBuffers[0] = ByteBuffer.allocate(5);
byteBuffers[1] = ByteBuffer.allocate(3);
// 等待客户端连接(telnet)
SocketChannel socketChannel = serverSocketChannel.accept();
int messageLength = 8;
while (true) {
int byteRead = 0;
// 数据小于8则进行输出
while (byteRead < messageLength) {
long l = socketChannel.read(byteBuffers);
// 累计读取的字节数
byteRead += l;
System.out.println("byteRead=" + byteRead);
// 输出
Arrays.stream(byteBuffers).map(buffer -> "postion=" + buffer.position() + ",limit=" + buffer.limit()).forEach(System.out::println);
}
// 将所有的 buffer 进行 flip
Arrays.asList(byteBuffers).forEach(Buffer::flip);
// byteBuffers中长度超过messageLength 后将buffer中的数据全部输出到客户端
long byteWrite = 0;
while (byteWrite < messageLength) {
long l = socketChannel.write(byteBuffers);
byteWrite += l;
}
// 将所有的 buffer 进行 clear
Arrays.asList(byteBuffers).forEach(Buffer::clear);
System.out.println("byteRead = " + byteRead + ", byteWrite = " + byteWrite + ", messagelength = " + messageLength);
}
}
}
六、Selector
1、基本介绍
Java 的 NIO,用非阻塞的 IO 方式。可以用一个线程,处理多个的客户端连接,就会使用到 Selector(选择器)。
- Selector 能够检测多个注册的通道(Channel)上是否有事件发生(注意:多个 Channel 以事件的方式可以注册到同一个 Selector),如果有事件发生,便获取事件然后针对每个事件进行相应的处理。这样就可以只用一个单线程去管理多个通道,也就是管理多个连接和请求。
- 只有在连接/通道真正有读写事件发生时,才会进行读写,就大大地减少了系统开销,并且不必为每个连接都创建一个线程,不用去维护多个线程。
-
2、Selector 示意图和特点说明
说明如下: Netty 的 IO 线程 NioEventLoop 聚合了 Selector(选择器,也叫多路复用器),可以同时并发处理成百上千个客户端连接。
- 当线程从某客户端 Socket 通道进行读写数据时,若没有数据可用时,该线程可以进行其他任务。
- 线程通常将非阻塞 IO 的空闲时间用于在其他通道上执行 IO 操作,所以单独的线程可以管理多个输入和输出通道。
- 由于读写操作都是非阻塞的(数据可以存储在缓存区,然后去干其他事情,可以回到第一部回顾第4小点),这就可以充分提升 IO 线程的运行效率,避免由于频繁 I/O 阻塞导致的线程挂起。
一个 I/O 线程可以并发处理 N 个客户端连接和读写操作,这从根本上解决了传统同步阻塞 I/O 一连接一线程模型,架构的性能、弹性伸缩能力和可靠性都得到了极大的提升。
3、Selector 类相关方法
Selector调用selectedKeys方法,返回一个SelectionKey的集合,然后通过key再获取到对应的channel。
select是一个阻塞方法,直到Selector管理的channel集合中,有一个channel产生了事件,这个方法才会返回。
select(_long timeout) 最多阻塞 timeout 时间_
selectNow(),当前没有事件发生,则立刻返回。4、注意事项
NIO 中的 ServerSocketChannel 功能类似 ServerSocket、SocketChannel 功能类似 Socket。
- Selector 相关方法说明
- selector.select(); //阻塞
- selector.select(1000); //阻塞 1000 毫秒,在 1000 毫秒后返回
- selector.wakeup(); //唤醒 selector
- selector.selectNow(); //不阻塞,立马返还