主题:做AI视频处理时,RAMDISK作用不大
正序浏览
主题图片汇总
主题内检索
子版版主
泡网分: 92.396
主题: 952
帖子: 24577
注册: 2003年10月
内容贡献勋章
使用CodeFormer做视频片段的AI处理。已经使用了Nvidia Cuda,但运行速度仍然希望得到改善。希望进一步提升性能,所以测试了内存盘。对分别使用SSD和内存盘做了性能对比。对比结果的操作之前,我有在RAMDISK上运行过CodeFormer,但主观感受性能提升不明显。所以对对比结果的期望不大。但实际测试结果,反而大出我的意料。

相同的两组视频片段,原素材和结果文件都放在SSD,然后使用批处理文件运行CodeFormer对这组视频中的每个视频连续进行处理。批处理文件在任务开始和任务结束的时候都记录当时的时间。然后在同一台机器上将素材和结果文件都设置在RAMDisk中。RAMDisk使用的是ImDisk。再次运行同样的内容,使用批处理文件记录任务来时和任务结束时间。因为对采用RAMDISK性能提升期望值不大,为了能看出区别,特意安排了几个视频片段以获得较长的运行时间。视频处理时GPU占用率基本达到100%,显存占用2GB,CPU占用率不高。

两组视频在SSD上运行的时间一个是2小时45分钟,另一个是2小时46分钟。在内存盘上运行的时间一个为3小时9分钟,另一个为3小时24分钟。可见实际结果是视频文件放在RAMDISK中反而运行时间长。

视频处理中途产生的中间文件会保存在结果目录中,所以中间文件也是分别运行在SSD和RAMDISK上的。RAMDISK的运行过程中我有检查SSD上读写文件的情况,没有任何CodeFormer相关文件长期使用SSD,可以说都运行在RAMDISK上了。而总计64GB内存始终都是有大量空闲内存的,不存在内存不足的情况。

这和我之前的预想大不一样,我之前觉得有两种可能,一种是RAMDISK遥遥领先,另一种情况是RAMDISK稍微领先,后者可能性更大。但实际结果是RAMDISK上运行速度是明显落后的。看来CodeFormer做视频处理不适合使用RAMDISK,并不能改善性能。

我经历过增加内存显著改善性能的时代,也经历过使用RAMDISK或SSD明显改善机械硬盘随机读写慢的时代。但技术发展到今天,NVMe SSD为主要存储介质时,超大的内存和RAMDisk的作用都有限,并不能在常用任务中取得性能改善。

我自己分析RAMDISK性能反而低的原因是RAMDISK增加了CPU处理内存时的开销,而使用SSD时可以并行处理,CPU占用少。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
美国
浏览:316 回帖:6
第 1 页 / 共 1 页
游客没有回帖权限
泡菜
泡网分: 1.443
主题: 32
帖子: 571
注册: 2017年6月
我碰到过类似的问题.从网口收数据保存到SSD硬盘上,居然比保存到RAMDISK上快.还没想明白是什么原因.
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
美国
资深泡菜
泡网分: 35.51
主题: 33
帖子: 6815
注册: 2004年8月
会不会是视频处理软件,本来就已经优化好了CPU、显存、内存的数据交换,SSD走南桥,这样互不干扰。
用了RAMDisk以后,反而干扰到内存控制器的工作,挤占了带宽,而南桥在一边看戏。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
广东省
泡菜
泡网分: 2.205
主题: 8
帖子: 2584
注册: 2012年9月
我还以为是内存不足导致的速度降低呢
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
北京
子版版主
泡网分: 92.396
主题: 952
帖子: 24577
注册: 2003年10月
内容贡献勋章
腋毛紫 发表于 2024-04-22 09:31
如果这玩意还有新款,应该快到飞起来

这东西看着不错。可惜只有4个内存插槽。
这个东西使用内存条应该不受CPU的限制吧?比如在DDR4平台上用这个东西将闲置的DDR3内存条利用起来。
如果能支持ECC 内存就更好了。现在退役的服务器内存价格非常好。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
美国
泡菜
泡网分: 0.016
主题: 0
帖子: 13
注册: 2022年4月

登录后可直接显示原图
如果这玩意还有新款,应该快到飞起来
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
广西
ChK
陈年泡菜
泡网分: 51.455
主题: 21
帖子: 12481
注册: 2003年1月
数据从内存到文件,中间有个系统缓存,内存越大,这个缓存的效果越好。
不知道你开了多少内存用来做RAM DISK,这相当于减少了系统缓存。
至于从内存到RAM DISK的开销,需要看一下你的RAM DISK有没有开压缩功能,如果开了,CPU会有负载。
再一点,内存缓存本身也有个缓存压缩的机制,当内存足够时,它不会启动,如果内存小,它就启动了,可能在RAM DISK下这个功能启动了。在任务管理器能看到压缩的情况。
视频处理本身就对磁盘IO的需求极低,码流都是MB/秒为单位的,就算机械盘也不会有太大的瓶颈,保况SSD。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
北京
回复主题: 做AI视频处理时,RAMDISK作用不大
功能受限
游客无回复权限,请登录后再试