当前位置: 首页 > 科技观察

说说LinuxC下线程池的使用

时间:2023-03-18 13:36:29 科技观察

线程池也是一种多线程的处理方式。就是把任务添加到“生产者”线程提出的“任务队列”中,然后有一些线程自动完成“任务队列”上的任务。多线程编程,创建线程,指定完成某项任务,等待线程退出。虽然可以满足编程需求,但是当我们需要创建大量线程时,在创建和销毁线程的过程中可能会消耗大量的CPU,增加了很多开销。如:文件夹的拷贝,WEB服务器的响应。线程池就是用来解决这样一个问题的,可以减少频繁创建和销毁线程带来的开销。线程池技术思路:一般采用预创建线程技术,即预先创建一定数量的线程。预先创建好这些线程后,假设“任务队列”中没有任务,就让这些线程休眠。一旦有任务,就唤醒线程去执行任务。任务执行完毕后,不需要销毁线程,直到你想退出或者关闭的时候,这时候调用销毁线程池的函数来销毁线程。线程完成任务后不会销毁,而是自动执行下一个任务。而且,当任务多的时候,可以有一个函数接口,增加线程数,当任务少的时候,可以有一个函数接口,销毁一些线程。如果创建和销毁线程的时间与执行任务的时间相比可以忽略不计,那么在这种情况下我们不需要使用线程池。“任务队列”是一个共享资源“互斥访问”线程池本质上是一个数据结构,需要一个结构体来描述它:structpthread_pool//线程池的实现{//一般会有以下几个成员//互斥lock,用来保护这个“任务队列”pthread_mutex_tlock;//互斥锁//线程条件变量表示“任务队列”是否有任务pthread_cond_tcond;//条件变量boolshutdown;//表示是否退出程序bool:typefalse/true//任务队列(链表),指向需要指向的第一个任务//所有线程从任务链表中获取任务“共享资源”structtask*task_list;//有多个线程在线程池,每个线程都有tid,需要一个数组保存tidpthread_t*tids;//malloc()//线程池中服务的线程数,当前线程数unsignedintactive_threads;//最大线程数线程池任务中的任务queueunsignedintmax_waiting_tasks;//线程池任务队列中当前有多少个任务unsignedintcur_waiting_tasks;//...};//任务队列(链表)上的任务节点,只要能描述一个任务,//线程会继续将任务放入队列中取任务structtask//任务节点{//1。任务节点所代表的任务,“函数指针”指向任务要执行的函数(cp_file)void*(*do_task)(void*arg);//2.指针,指向函数的任务的参数(文件描述符)void*arg;//3.任务节点类型指针,指向下一个任务structtask*next;};线程池框架代码如下,功能自填:操作线程池所需函数接口:pthread_pool.c、pthread_pool.h把“线程池”想象成一个外包公司,需要完成的是操作线程池提供的函数接口。pthread_pool.c#include"pthread_pool.h"/*init_pool:线程池初始化函数,指定线程池中有thread_num个初始线程@pool:指针,指向你要初始化的线程池@thread_num:你要初始化的线程池要初始化线程池中启动的线程数返回值:成功0失败-1*/intinit_pool(pthread_pool*pool,unsignedintthrea_num){//初始化线程池的结构//初始化线程互斥锁pthread_mutex_init(&pool->lock,NULL);//初始化线程条件变量pthread_cond_init(&pool->cond,NULL);pool->shutdown=false;//不退出pool->task_list=(structtask*)malloc(sizeof(structtask));pool->tids=(pthread_t*)malloc(sizeof(pthread_t)*MAX_ACTIVE_THREADS);if(pool->task_list==NULL||pool->tids==NULL){perror("mallocmemeryerror");return-1;}pool->task_list->next=NULL;//线程池中初始初始化了多少个线程来为pool->active_threads=threa_num;//表示如何manytasksareatmostinthethreadpoolpool->max_waiting_tasks=MAX_WAITING_TASKS;//Tasksinthethreadpool当前队列中的任务数pool->cur_waiting_tasks=0;//创建thread_num个线程,让线程执行任务分配函数,//记录所有线程的tidinti=0;for(i=0;itids)[i],NULL,routine,(void*)池);if(ret!=0){perror("creatthreaderror");return-1;}printf("[%lu]:[%s]===>tids[%d]:[%lu]",pthread_self(),__FUNCTION__,i,pool->tids[i]);}return0;}/*routine:任务分配函数的所有线程开始执行该函数,该函数会不断从线程池的任务队列中取出任务节点执行。任务节点包含"函数指针"h"函数参数"*/void*routine(void*arg){//arg代表你线程池的指针while(){//获取线程互斥量,锁//当线程池没有结束时这个时候,不断地从线程池的任务队列中取出节点//去执行。//释放线程互斥锁,解锁//释放任务节点}}/*destroy_pool:销毁线程池,保证所有的任务hasbeencompleted*/intdestroy_pool(pthread_pool*pool){//释放所有空间,等待任务完成(join)。//唤醒所有线程//使用join函数回收每个线程资源。}/*add_task:加入任务队列Task,保存任务(函数pointer)和arg指向的参数指向一个任务节点,并将其添加到pool任务队列中。@pool:你要添加任务的线程池@do_task:你要添加的任务(cp_file)@arg:你要执行的任务的参数(文件描述符)*/intadd_task(pthread_pool*pool,void*(*do_task)(void*arg),void*arg){//把第二个参数和第一个三个参数封装成structtask//然后加入到pool->task任务队列//注意task队列是一个共享资源//如果等待线程在任务完成后被唤醒。}//如果任务多,则将线程添加到线程池中pthread_createintadd_threads(pthread_pool*pool,unsignedintnum);{//创建num个线程,让每个线程执行线程分配函数//添加每个新创建的线程tid,添加到pool->tids}//如果任务少,减少线程池的线程数pthread_canceljoinintremove_threads(pthread_pool*pool,unsignedintnum){//用pthread_cancel取消num个线程//使用pthread_join函数回收资源。}pthread_pool.h#ifndef__PTHREAD_POOL_H__#define__PTHREAD_POOL_H__//表示线程池最大线程数#defineMAX_ACTIVE_THREADS20//表示线程池最大任务数#defineMAX_WAITING_TASKS1024//任务队列(链表)上的任务节点,如只要能描述一个好任务就够了,//线程会不断从任务队列structtask//任务节点中取任务{//1.任务节点所代表的任务,“函数指针”指向任务要执行的函数(cp_file)void*(*do_task)(void*arg);//2.指针,指向任务指向的函数的参数(文件描述符)void*arg;//3.任务节点类型指针,指向下一个任务structtask*next;};structpthread_pool//线程池的实现{//一般会有以下成员//Mutex用来保护“任务队列”pthread_mutex_tlock;//Mutex//线程条件变量表示“任务队列”是否有Taskpthread_cond_tcond;//条件变量boolshutdown;//表示是否退出程序bool:typefalse/true//任务队列(链表),指向第一个需要指向的任务//所有线程从链接的任务中获取任务list"Sharedresource"structtask*task_list;//线程池中有多个线程,每个线程都有一个tid,需要一个数组保存tidpthread_t*tids;//malloc()//服务中的线程数线程池,当前线程数unsignedintactive_threads;//线程池任务队列中的最大任务数unsignedintmax_waiting_tasks;//线程池任务队列中当前有多少个任务unsignedintcur_waiting_tasks;//...};/*init_pool:线程池初始化函数,有是指定线程池中thread_num个初始线程进行初始化@pool:指向你要初始化的线程池的指针@threa_num:你要初始化的线程池中开始的线程数返回值:success0failure-1*/intinit_pool(pthread_pool*pool,unsignedintthrea_num);/*routine:任务分配函数所有线程开始执行这个函数,这个函数会不断从线程池的任务队列中取出任务节点执行。任务节点包含“函数指针”h“函数参数”*/void*routine(void*arg);/*destroy_pool:销毁线程池,销毁前确保所有任务已经完成*/intdestroy_pool(pthread_pool*pool);/*add_task:将任务添加到任务队列中,将do_task指向的任务(函数指针)和arg指向的参数保存到一个任务节点中,添加到pool任务队列中。@pool:你要添加任务的线程池@do_task:你要添加的任务(cp_file)@arg:你要执行的任务的参数(文件描述符)*/intadd_task(pthread_pool*pool,void*(*do_task)(void*arg),void*arg);//如果任务多,将线程加入线程池pthread_createintadd_threads(pthread_pool*pool,unsignedintnum);//如果任务少,减少线程数线程池中的线程pthread_canceljoinintremove_threads(pthread_pool*pool,unsignedintnum);#万一