?专栏内容:
参天引擎内核架构
本专栏一起来聊聊参天引擎内核架构,以及如何实现多机的数据库节点的多读多写,与传统主备,MPP的区别,技术难点的分析,数据元数据同步,多主节点的情况下对故障容灾的支持。手写数据库toadb
本专栏主要介绍如何从零开发,开发的步骤,以及开发过程中的涉及的原理,遇到的问题等,让大家能跟上并且可以一起开发,让每个需要的人成为参与者。
本专栏会定期更新,对应的代码也会定期更新,每个阶段的代码会打上tag,方便阶段学习。
?开源贡献:
现代的CPU都是多core处理器,而且在intel处理器中每个core又可以多个processor,形成了多任务并行处理的硬件架构,在服务器端的处理器上架构又有一些不同,传统的采用SMP,也就是对称的多任务处理架构,每个任务都可以对等的访问所有内存,外设等,而如今在ARM系列CPU上,多采用NUMA架构,它将CPU核分了几个组,给每个组的CPU core分配了对应的内存和外设,CPU访问对应的内存和外设时速度最优,跨组访问时性能会降底一些。
随着硬件技术的持续发展,它们对一般应用的性能优化能力越来越强,同时对于服务器软件的开发,提出更高要求,要想达到极高的并发和性能,就需要充分利用当前硬件架构的特点,对它们进行压榨。那么,我们的应用至少也是要采用多任务架构,不管是多线程还是多进程的多任务架构,才可以充分利用硬件的资源,达到高效的处理能力。
当然多任务框架的采用,不仅仅是多线程的执行,需要对多任务下带来的问题进行处理,如任务执行返回值获取,任务间数据的传递,任务执行次序的协调;当然也不是任务越多处理越快,要避免线程过多导致操作系统夯住,也要防止任务空转过快导致CPU使用率飙高。
本专栏主要介绍使用多线程与多进程模型,如何搭建多任务的应用框架,同时对多任务下的数据通信,数据同步,任务控制,以及CPU core与任务绑定等相关知识的分享,让大家在实际开发中轻松构建自已的多任务程序。
前一篇博客介绍了创建线程的步骤和调用的接口,但是传递的参数都采用了默认值,其实线程有很多属性值可以进行设置,这样让多线程的应用运行更加的协调,充分利用硬件资源。
本文就来分享一下线程的属性,以及设置方法和接口,最后会分享一段示例代码看一下设置效果。
特点说明一下,这里分享的linux thread 库,是Native Posix Thread Library(NPTL),也就是符合posix的接口;为什么要强调这个呢,因为linux 下的线程库有好几种,各家实现都有一些差异,也会存在一些问题,而posix的这一套NTPL已经被大家广泛接受而大量使用,所以我们也以这套库为基础来介绍;编译时需要加-lptrhead或libpthread库引用。
线程属性有很多,这里分类列举一下。
属性名 | 接口 | 描述 |
---|---|---|
栈属性 | pthread_attr_getstack, pthread_attr_setstack | 设置栈地址和栈大小 |
栈地址 | pthread_attr_getstackaddr, pthread_attr_setstackaddr | 设置栈地址 |
栈大小 | pthread_attr_getstacksize, pthread_attr_setstacksize | 设置栈大小 |
堆栈保护区 | pthread_attr_getguardsize, pthread_attr_setguardsize | 设置堆栈保护区大小 |
分离状态 | pthread_attr_getdetachstate, pthread_attr_setdetachstate | 设置线程的可连接或分离 |
调度继承属性 | pthread_attr_getinheritsched, pthread_attr_setinheritsched | 是否继承调度属性的设置 |
调度优先级属性 | pthread_attr_getschedparam, pthread_attr_setschedparam | 调度优先级参数的设置 |
调度策略属性 | pthread_attr_getschedpolicy, pthread_attr_setschedpolicy | 调度策略属性的设置 |
调度资源的范围 | pthread_attr_getscope, pthread_attr_setscope | 设置调度资源的范围 |
CPU 亲和性 | pthread_attr_getaffinity_np,pthread_attr_setaffinity_np | 设置线程运行时绑定的CPU core |
信号掩码 | pthread_attr_getsigmask_np, pthread_attr_setsigmask_np | 信号掩码设置 |
默认属性 | pthread_getattr_default_np, pthread_setattr_default_np | 设置为线程默认属性 |
获取属性 | pthread_getattr_np | 获取线程实际属性 |
主要分为四大类:
属性名 | 接口 | 描述 |
---|---|---|
栈属性 | pthread_attr_getstack, pthread_attr_setstack | 设置栈地址和栈大小 |
栈地址 | pthread_attr_getstackaddr, pthread_attr_setstackaddr | 设置栈地址 |
栈大小 | pthread_attr_getstacksize, pthread_attr_setstacksize | 设置栈大小 |
堆栈保护区 | pthread_attr_getguardsize, pthread_attr_setguardsize | 设置堆栈保护区大小 |
主要有四组接口,其中栈属性设置包括了对栈地址和栈大小的设置,所以这里只介绍下面三组接口。
int pthread_attr_setstack(pthread_attr_t *attr,
void *stackaddr, size_t stacksize);
int pthread_attr_getstack(pthread_attr_t *attr,
void **stackaddr, size_t *stacksize);
int pthread_attr_getstackaddr(const pthread_attr_t *restrict attr,
void **restrict stackaddr);
int pthread_attr_setstackaddr(pthread_attr_t *attr, void *stackaddr);
设置线程栈的起始地址,我们知道栈的地址是从起始地址开始从大到小的增长,也就是向下连续的分配空间,如果该地址超出了分配的栈区域的最高地址,就会发生栈溢出。
不建议平常使用单独设置栈地址的功能 pthread_attr_setstackaddr
,由于无法提供指定增长方向或栈范围的方法; 而pthread_attr_setstack
中指定了起始地址和stacksize参数指定的栈的范围,可以分配连续的向下的区域。
int pthread_attr_getstacksize(const pthread_attr_t *restrict attr,
size_t *restrict stacksize);
int pthread_attr_setstacksize(pthread_attr_t *attr, size_t stacksize);
常用的是对栈大小的设置,根据程序本身的特点,如并发线程多少,递归调用深度,分配大的结构体数据等情况,决定是否需要调整默认栈大小。
int pthread_attr_getguardsize(const pthread_attr_t *restrict attr,
size_t *restrict guardsize);
int pthread_attr_setguardsize(pthread_attr_t *attr,
size_t guardsize);
出于以下两个原因,为应用程序提供了 guardsize 属性:
溢出保护可能会导致系统资源浪费。如果应用程序创建大量线程,并且已知这些线程永远不会溢出其栈,则可以关闭溢出保护区。通过关闭溢出保护区,可以节省系统资源。
线程在栈上分配大型数据结构时,可能需要较大的溢出保护区来检测栈溢出。
guardsize 参数提供了对栈指针溢出的保护。如果创建线程的栈时使用了保护功能,则实现会在栈的溢出端分配额外内存。此额外内存的作用与缓冲区一样,可以防止栈指针的栈溢出。如果应用程序溢出到此缓冲区中,这个错误可能会导致 SIGSEGV 信号被发送给该线程。
如果 guardsize 为零,则不会为线程提供溢出保护区。如果 guardsize 大于零,则会为每个使用 attr 创建的线程提供大小至少为 guardsize 字节的溢出保护区。缺省情况下,线程具有实现定义的非零溢出保护区。
允许合乎惯例的实现,将 guardsize 的值向上舍入为可配置的系统变量 PAGESIZE 的倍数。
属性名 | 接口 | 描述 |
---|---|---|
调度继承属性 | pthread_attr_getinheritsched, pthread_attr_setinheritsched | 是否继承调度属性的设置 |
调度优先级属性 | pthread_attr_getschedparam, pthread_attr_setschedparam | 调度优先级参数的设置 |
调度策略属性 | pthread_attr_getschedpolicy, pthread_attr_setschedpolicy | 调度策略属性的设置 |
调度资源的范围 | pthread_attr_getscope, pthread_attr_setscope | 设置调度资源的范围 |
CPU 亲和性 | pthread_attr_getaffinity_np,pthread_attr_setaffinity_np | 设置线程运行时绑定的CPU core |
线程调度属性主要有以下几种:
int pthread_attr_setinheritsched(pthread_attr_t *attr,
int inheritsched);
int pthread_attr_getinheritsched(pthread_attr_t *attr,
int *inheritsched);
PTHREAD_INHERIT_SCHED
表示新建的线程将继承创建者线程中定义的调度策略, 将忽略在 pthread_create() 调用中定义的所有调度属性。PTHREAD_EXPLICIT_SCHED
,则将使用 pthread_create() 调用中的属性。int pthread_attr_setschedpolicy(pthread_attr_t *attr, int policy);
int pthread_attr_getschedpolicy(pthread_attr_t *attr, int *policy);
这里的策略支持三种取值:
当policy 取值为以下:
前两种是realtime,实时系统的调度策略,一般不会使用,它们两个支持优先级的设置,范围是1-99;
第三种是用户线程默认的策略类型,在内核中的命名是SCHED_NORMAL
, 不支持优先级设置,必须为0;
当然在SCHED_OTHER
策略下的各用户线程之间可以通过调整nice值,进行优先级调整,它的范围为-20 - 19之间,越小优先级越高。
int pthread_attr_setschedparam(pthread_attr_t *attr,
const struct sched_param *param);
int pthread_attr_getschedparam(pthread_attr_t *attr,
struct sched_param *param);
调度参数在结构sched_param
中定义,仅支持优先级参数设定。
优先级参数仅在支持的调度策略下设置才有效,在SCHED_OTHER
, SCHED_IDLE
, SCHED_BATCH
这三种策略下,优先级必须设置为0;
在SCHED_FIFO
, SCHED_RR
这两种实时调度策略下,优先级范围为1-99,数字越大优先级越高;
新创建的线程以此优先级运行, 简单示例代码如下:
pthread_attr_t tattr;
int newprio;
sched_param param;
/* set the priority; others are unchanged */
param.sched_priority = 10;
/* set the new scheduling param */
ret = pthread_attr_setschedparam (&tattr, ¶m);
int pthread_attr_setscope(pthread_attr_t *attr, int contentionscope);
int pthread_attr_getscope(const pthread_attr_t *attr, int *contentionscope);
contentionscope的取值如下:
int pthread_attr_setaffinity_np(pthread_attr_t *attr,
size_t cpusetsize, const cpu_set_t *cpuset);
int pthread_attr_getaffinity_np(pthread_attr_t *attr,
size_t cpusetsize, cpu_set_t *cpuset);
参数说明
CPU_ZERO(&set);
和 CPU_SET(numCpu, &set);
两个宏来设定,numCpu指定绑定的core或thread编号,是整型数字;参看机制的CPU 数量和core数量
[senllang@hatch example_03]$ lscpu | egrep -i 'core.*:|socket'
Thread(s) per core: 2
Core(s) per socket: 8
Socket(s): 1
这里有一个CPU,包含8个core,每个core可以有两个线程,那就是可以有16个掩码值,设置时编号从0-15;
有时CPU会采用NUMA架构,那么相关线程需要设置到同一个Node的CPU编号下。
int pthread_attr_setdetachstate(pthread_attr_t *attr, int detachstate);
int pthread_attr_getdetachstate(pthread_attr_t *attr, int *detachstate);
detachstate的取值如下:
如果线程以PTHREAD_CREATE_JOINABLE创建后,没有时机调用pthread_join时,还可以调用pthread_detach 函数,将指定线程置为分离状态,这样系统会自动回收线程资源。
如果线程以PTHREAD_CREATE_JOINABLE创建后,没有调用pthread_join,会造成一定的内存泄漏,这里一定要注意。
#define _GNU_SOURCE /* See feature_test_macros(7) */
#include <pthread.h>
int pthread_attr_setsigmask_np(pthread_attr_t *attr,
const sigset_t *sigmask);
int pthread_attr_getsigmask_np(const pthread_attr_t *attr,
sigset_t *sigmask);
设置线程级别的信号掩码,也就是那些信号会被阻塞。
sigset_t 类型的操作,需要使用一组信号掩码操作函数
#define _GNU_SOURCE /* See feature_test_macros(7) */
#include <pthread.h>
int pthread_getattr_default_np(pthread_attr_t *attr);
int pthread_setattr_default_np(pthread_attr_t *attr);
int pthread_getattr_np(pthread_t thread, pthread_attr_t *attr);
前两个函数是将线程属性设置为默认值,也就是创建线程时,将线程属性设置为NULL,这两者是等价的。
第三个函数是获取指定线程的属性,可以在线程运行过程中获取线程属性。
本文主要分享了线程属性相关的接口,以及部分属性的含义,如何正确使用;在应用编程时,大多数情况下都会采用多线程并发的架构,线程属性的正确使用,能够帮助我们有提高CPU的利用效率,同时在使用过程中避够资源泄漏也非常关键。
在gitCode上分享了工程hatchCode,会不断增加多线程并发的案例代码,请大家关注保留。
非常感谢大家的支持,在浏览的同时别忘了留下您宝贵的评论,如果觉得值得鼓励,请点赞,收藏,我会更加努力!
作者邮箱:study@senllang.onaliyun.com
如有错误或者疏漏欢迎指出,互相学习。