主题：Python爱好者俱乐部
正序浏览
主题图片汇总
主题内检索
大信 发表于 2020-8-10 17:37
看来你研究得比较深入，能不能帮我解决一个多线程的性能问题？
从网上文档得知，python采用GIL机制实际上是不支持CPU的多核、多线程。虽然python有thread模块实现多线程，但它实际上是假的多线程，不能利用CPU多核的资源。我开始对这个说法深信不疑，但后来我的程序分别在Win7和Win10平台上运行的巨大差异，让我困惑了。
我的程序运行并发了220个左右的多线程，主要负责ping采集数据。在Window 7上运行比较流畅，但是在Windows 10就时常出现卡顿。Windows 7是6年前的旧电脑，i3处理器，3.5GHz，4核，18GB内存。Windows 10是较新的电脑，i7-9700,3GHz，8核心，18GB内存。
通过Windows系统的任务管理器看，程序在Windows 10上运行的时候，只有1个核心负荷非常高，其余7个核资源占用在30%以下。印证了python不支持多核的说法。
而在Windows 7中运行程序，通过任务管理器查看4个核心都在高速运行（见下图）。感觉python也似乎也能利用多核实现真正的多线程？ 跟网上的普遍说法矛盾，这究竟是怎么回事？
...
p = mp.Pool(mp.cpu_count())
我很讨厌并行（其实是操作系统原理没学好）。这样粗放的方式还行。
这句命令能使cpu用到最大的cpu线程数量。比方说3990x是64核128线程，mp.cpu_count() = 128，无论是在win和linux下都是一样的结果。
cpu所谓的thread和python里的thread其实不是一回事情--理论上不太懂，这是实证的结果。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
14 帖
闲聊状态 发表于 2020-8-10 17:09
最近我在试几条邪路
关键是pandas 啊 没有了pandas python都不香了。。。。。
pandas有个cuda版本的，叫cudf，更香了
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
13 帖
大信 发表于 2020-8-10 17:37
看来你研究得比较深入，能不能帮我解决一个多线程的性能问题？
从网上文档得知，python采用GIL机制实际上是不支持CPU的多核、多线程。虽然python有thread模块实现多线程，但它实际上是假的多线程，不能利用CPU多核的资源。我开始对这个说法深信不疑，但后来我的程序分别在Win7和Win10平台上运行的巨大差异，让我困惑了。
我的程序运行并发了220个左右的多线程，主要负责ping采集数据。在Window 7上运行比较流畅，但是在Windows 10就时常出现卡顿。Windows 7是6年前的旧电脑，i3处理器，3.5GHz，4核，18GB内存。Windows 10是较新的电脑，i7-9700,3GHz，8核心，18GB内存。
通过Windows系统的任务管理器看，程序在Windows 10上运行的时候，只有1个核心负荷非常高，其余7个核资源占用在30%以下。印证了python不支持多核的说法。
而在Windows 7中运行程序，通过任务管理器查看4个核心都在高速运行（见下图）。感觉python也似乎也能利用多核实现真正的多线程？ 跟网上的普遍说法矛盾，这究竟是怎么回事？
...
用multiprocessing，基于多进程的并行
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
12 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
11 帖
lcchen 发表于 2020-8-10 12:59
这个的确快速，不过中文支持还是有些想不到的异常
锟斤拷锟斤拷锟斤拷？
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
10 帖
闲聊状态 发表于 2020-8-10 17:09
最近我在试几条邪路
1.jython 这个有宇宙无敌jvm加持，结果速度比cpython还慢。。。。
2。iornpython 这个有超级无敌.net core 加持，速度是上去了，可怎么也没法pip 实在不爽
这俩东西 我运行的最流畅的就是 --- py-kms 这俩倒是都行....
pypy.....
而且这些邪路还都是2.7兼容。。。(pypy例外)
关键是pandas 啊 没有了pandas python都不香了。。。。。
看来你研究得比较深入，能不能帮我解决一个多线程的性能问题？
从网上文档得知，python采用GIL机制实际上是不支持CPU的多核、多线程。虽然python有thread模块实现多线程，但它实际上是假的多线程，不能利用CPU多核的资源。我开始对这个说法深信不疑，但后来我的程序分别在Win7和Win10平台上运行的巨大差异，让我困惑了。
我的程序运行并发了220个左右的多线程，主要负责ping采集数据。在Window 7上运行比较流畅，但是在Windows 10就时常出现卡顿。Windows 7是6年前的旧电脑，i3处理器，3.5GHz，4核，18GB内存。Windows 10是较新的电脑，i7-9700,3GHz，8核心，18GB内存。
通过Windows系统的任务管理器看，程序在Windows 10上运行的时候，只有1个核心负荷非常高，其余7个核资源占用在30%以下。印证了python不支持多核的说法。
而在Windows 7中运行程序，通过任务管理器查看4个核心都在高速运行（见下图）。感觉python也似乎也能利用多核实现真正的多线程？ 跟网上的普遍说法矛盾，这究竟是怎么回事？
登录后可直接显示原图
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
9 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
8 帖
lcchen 发表于 2020-8-10 12:59
这个的确快速，不过中文支持还是有些想不到的异常
1.最好使用linux系统，原因是 字符集 linux 默认 utf-8
2。非要win，那就杜绝在路径等地方遇见中文。。。。
3。好好学习下字符集的绕绕，对于这种松散组织的语言很有必要。大MS的全家桶内部好用也不是没原因的，python没那环境，或者说linux才是python的原生环境。。。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
7 帖
lcchen 发表于 2020-8-10 12:59
这个的确快速，不过中文支持还是有些想不到的异常
文字回复说有对论坛的恶意攻击。晕死！
只好贴图啦
登录后可直接显示原图
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
6 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
5 帖
(1)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
4 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
3 帖
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
2 帖
相关标签：
索尼
(2)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
第
1 帖
回复主题： Python爱好者俱乐部
功能受限
游客无回复权限，请登录后再试