Netty-初探

引言

最近开始学习网络编程这一块，特此总结

直接内存为什么比堆内内存要快？

JVM在发送堆内数据给远程时，首先会把这部分数据复制到堆外的一块内存空间（防止GC过程中文件引用地址发生变化带来的问题），然后再发送给远程应用。而直接内存省去了这个复制步骤，好处就是更快速并且减少了GC

直接内存的缺点就是难以控制，发生内存泄漏时难以排查。比较适合存简单对象扁平化

Linux常见的零拷贝有哪些？

• mmap内存映射

直接将文件从硬盘拷贝到用户空间，不再有文件内容从硬盘拷贝到内核空间的缓冲区

扩展：Kafka中有一个Broker用来管理消息，Producer需要把消息发送给Broker，Broker收到消息以后肯定是要做持久化的。Kafka号称单机百万级吞吐量，为什么持久化速度这么快呢？就是使用了磁盘顺序写和mmap的零拷贝技术

java.nio.MappedByteBuffer这个类就是mmap在 Java中应用

• sendfile

Linux2.1开始支持

DMA模块直接将数据从内核缓冲区传递给协议引擎，注意需要硬件设备支持

DMA：Direct Memory Access，直接内存存取

扩展：同样是Kafka的Broker，Consumer订阅消息时，Broker把消息的数据从磁盘发送到网卡的发送缓冲区这个过程就使用了sendfile技术

FileChannel.transferTo和FileChannel.transferFrom 就是在Java中的应用

• splice

Linux2.6.17开始支持

相比sendfile不需要硬件支持

splice直接将两个内核空间的buffer进行pipe（sendfile在DMA硬件不支持的情况下，这里需要一次CPU拷贝）

Netty的零拷贝实现

• 网络通信

Netty的发送和接收ByteBuffer使用直接内存，减少了堆内存到直接内存的拷贝

• 缓存操作

Netty提供了CompositeByteBuf类，将多个ByteBuf合并成一个逻辑上的ByteBuf，防止它们之间的互相拷贝

• 文件传输

Netty通过FileRegion包装的FileChannel.transferTo实现文件传输，直接将文件缓冲区的数据发送到目标Channel

Linux常见的I/O编程模型

1、阻塞IO（blocking IO），BIO

2、非阻塞IO（nonblocking IO）

3、IO复用（select、epoll和poll，IO multiplexing），NIO

4、信号驱动IO（Single Driven IO，SIGIO）

5、异步IO（asynchronous IO）

常见的就是BIO和NIO，严格意义上前四种都是阻塞的，过程中间都存在阻塞，只不过阻塞时可以做其他的事情

通常都会说同步阻塞和异步非阻塞，但是并不代表同步非阻塞和异步阻塞不能用

同步非阻塞：获取资源不存在，线程阻塞了，线程去做其他事，线程会频繁的查询资源是否存在，消耗很多CPU

异步阻塞：Java中创建Future，然后马上调用get方法获取资源，没有多大的意义

总给：同步非阻塞和异步阻塞这两种方式太傻，所以不会有人去使用

接下来主要学习的是NIO

NIO的优势：可以用很少的线程服务很多的用户

select、poll 和 epoll 模型的区别？

// fd数组存储，有连接上限
int select (int n, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);
// fd链表存储，无连接上限
int poll (struct pollfd *fds, unsigned int nfds, int timeout);

// 创建EventPoll对象
int epoll_create(int size);
// 增加或删除监听事件
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event); 
// 阻塞直到有事件发生
int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);

	select	poll	epoll
支持一个进程能打开的最大连接数	FD_SETSIZE定义，32位机器是32*32大小，64位机器是32*64大小。可以修改但不建议	本质上和select相同，没有最大连接数限制，链表存储	连接数受限机器内存大小
FD剧增带来的IO效率问题	对连接线性遍历，FD增加后效率线性下降	同select	根据fd的callback函数实现，活跃的socket才会调用callback。活跃socket多的情况下也有性能问题
消息传递方式	内核将消息传递到用户空间，经过拷贝	内核将消息传递到用户空间，经过拷贝	内核和用户空间共享一块内存

总结：

使用时根据场合以及这三种方式各自的特点

1、表面上epoll效率最高，但是在连接数少并且都很活跃的情况下，select和poll的性能更高，epoll通知机制需要很多回调

2、select低效是因为轮询，但是低效也是相对的，也可以通过良好的设计改善

Netty简述

Netty的优势

1、API使用简单，开发门槛低；

2、功能强大，预置了多种编解码功能，支持多种主流协议；

3、定制能力强，可以通过ChannelHandler对通信框架进行灵活地扩展；

4、性能高，通过与其他业界主流的NIO框架对比，Netty的综合性能最优；

5、成熟、稳定，Netty修复了已经发现的所有JDK NIO BUG，业务开发人员不需要再为NIO的BUG而烦 恼；

6、社区活跃，版本迭代周期短，发现的BUG可以被及时修复，同时，更多的新功能会加入；

7、经历了大规模的商业应用考验，质量得到验证

为什么不用Netty5

已经停止开发了，其底层的AIO模型，参考了NIO的epoll模型，性能并没有提高很多，而且还会带来很多的异步回调问题。

而且操作系统对AIO的支持不够成熟，处理回调结果速度跟不上处理需求

作者原话： （为什么使用NIO为不是AIO）

Not faster than NIO (epoll) on unix systems (which is true)

There is no daragram suppport

Unnecessary threading model (too much abstraction without usage)

为什么不用Mina

Mina几乎不更新了。Mina也是Netty的作者做出来的，后来作者继续回去做Netty了。