CPU密集型计算、IO密集型计算、多进程、多线程

发布时间:2024年01月18日

参考链接:

使用多进程multiprocessing模块加速程序的运行_哔哩哔哩_bilibili

什么是CPU密集型计算、IO密集型计算:

CPU密集型:

CPU密集型也叫计算密集型,是指I/O在很短的时间就可以完成,CPU需要大量的计算和处理,特点是CPU占用率相当高。

例如:压缩解压缩、加密解密、这规则表达式搜索

IO密集型:

I/O密集型值得是系统运作大部分的状况是CPU在等I/O(硬盘/内存)的读、写操作,CPU占用率仍然较低。

例如:文件处理程序、网络爬虫程序、读写数据库程序

多线程、多进程、多协程的对比

多进程Process(multiprocessing)

  • 优点:可以利用多核CPU并行计算
  • 缺点:占用资源最多、可启动数目比线程少
  • 适用于:CPU密集型计算

多线程Thread(threading)

  • 优点:相比进程,更轻量级、占用资源少
  • 缺点:
    • 相比进程:多线程只能并发执行,不能利用多CPU(GIL)
    • 相比协程:启动数目有限制,占用内存资源,有线程切换开销
  • 适用于:IO密集型计算、同时运行的任务数目要求不多

多协程Coroutine(asyncio)

联系

有了多线程threading,为什么还要用多进程multiprocessing

如果遇到了CPU密集型计算,多线程反而会降低执行速度

docx转pdf是CPU密集型任务还是IO密集型任务?

将文档从 DOCX 格式转换为 PDF 格式通常被认为是 CPU 密集型任务。这种任务的特点主要包括:

  1. 处理要求:文档转换过程需要对原始文档的内容进行解析、渲染和重新格式化。这些操作涉及到大量的计算,特别是当文档包含复杂的格式、图像或其他媒体内容时。

  2. CPU 使用:转换过程中,CPU 承担了大量工作,包括读取源文件、处理文档结构、应用格式和生成新的 PDF 文件。这些操作通常需要大量的计算资源。

  3. 内存使用:此外,转换过程可能需要较大的内存空间,尤其是处理大型或复杂的文档时。

?

多进程multiprocessing知识梳理(对比多线程threading)

?

文章来源:https://blog.csdn.net/llf000000/article/details/135682233
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。