大信 发表于 2022-5-9 12:20
在使用pandas的Dataframe的时候遇到一个问题，报错信息显示“页面文件太小，无法操作”，以及out of memory

我编写的python程序中使用了多线程，dataframe等技术。通过任务管理器观察程序启动运行时的内存占用情况，当多进程启动后内存占用逐步提高，在接近9GB的时候，程序就发生崩溃。而实际配置的内存是16GB 。感觉这个问题似乎跟python的内存配置有关?

请路过的各位python专家帮忙看看报错信息，分析原因帮忙解决。 谢谢！

@nahcooo @yejun @benniewang @闲聊状态

闲聊状态 发表于 2022-5-9 13:06
看提示就是 内存不足

找个32G的机器试试？
是不是有复制DataFrame 的操作？9*2 >16 ?

午夜半杯茶 发表于 2022-3-6 14:21
从没学过编程的学Python难吗，只学关于电子表格处理的部分。

午夜半杯茶 发表于 2022-3-6 14:21
从没学过编程的学Python难吗，只学关于电子表格处理的部分。

yejun 发表于 2022-03-06 10:57

用selenium。

本帖最后由 yejun 于 2022-3-6 11:07 编辑

手倦抛书 发表于 2021-9-24 20:05
最近学习pandas，兼职给财务和业务部门做码农，快50的人了，废寝忘食，乐不思蜀，哈哈

大信 发表于 2021-9-24 10:18
非常感谢，解释得比较清楚了。我后来改为一次赋值一列，就没有问题。

针对这个问题，我发现更改数据的时候不用loc加条件赋值，而是采用dfx.loc[index,.....]的方式，也可以多列同时赋值。例如下面这样修改，就不会出现Nan值：

        for index,row in self.dfx.iterrows():
            if row["rate"]< 70:
                self.dfx.loc[index, ["type", "score2"]] = [3, self.dfx["score1"]]

虽然赋值成功，但是仍然会出现告警：

C:\Users\test\AppData\Local\Programs\Python\Python38\lib\site-packages\numpy\core\fromnumeric.py:3162: VisibleDeprecationWarning: Creating an ndarray from ragged nested sequences (which is a list-or-tuple of lists-or-tuples-or ndarrays with different lengths or shapes) is deprecated. If you meant to do this, you must specify 'dtype=object' when creating the ndarray.
  return asarray(a).ndim

我想问的是，这个告警如果不管它，会不会有什么隐患？

最后，我再改为分别赋值，就彻底没这个问题了：

        for index,row in self.dfx.iterrows():

大信 发表于 2021-9-23 15:11
再请教一个dataframe的问题。代码详见附件。
我用loc方法给df中满足条件的数据赋值，为何不满足条件的数据，变成了Nan ？

下面是运行结果：

C:\Users\test\AppData\Local\Programs\Python\Python38\lib\site-packages\numpy\core\fromnumeric.py:3162: VisibleDeprecationWarning: Creating an ndarray from ragged nested sequences (which is a list-or-tuple of lists-or-tuples-or ndarrays with different lengths or shapes) is deprecated. If you meant to do this, you must specify 'dtype=object' when creating the ndarray.
  return asarray(a).ndim

--- 初始化数据后的结果 -----
Name Name1 type: 0 score1: 900 score2: -1
Name Name2 type: 0 score1: 900 score2: -1
Name Name3 type: 0 score1: 900 score2: -1
Name Name4 type: 0 score1: 900 score2: -1
Name Name5 type: 0 score1: 1000 score2: -1
Name Name6 type: 0 score1: 1000 score2: -1
Name Name7 type: 0 score1: 1000 score2: -1
--- loc赋值后的结果 -----
Name Name1 type: 3 score1: 900 score2: 900.0
Name Name2 type: 3 score1: 900 score2: 900.0

yejun 发表于 2021-9-4 21:59
不用重新赋值啊。
reset_index()[[rate, name, id]].values.tolist()

想想心痛 发表于 2021-9-1 08:03
普通人学Python有什么用？

学Python很简单，但要用起来，得学一堆的周边计算机知识。需要耗费大量时间，关键学了也没啥用。

大信 发表于 2021-9-4 00:38
谢谢！
我觉得第二种写法更通俗易懂一些。

这两天翻书，百度，还是没有解决一个问题：
------------------

df表的列包括：name,id,rate,type,score
对df建立索引：
df = df.set_index("id")

我想用切片方式，将表中满足条件的数据转换为列表，返给变量xlist。
希望得到的xlist列表是一个嵌套列表，形如：[[30,"A009","设备1],[72,"A002,"设备5"],,,,]

我的语句是：

xlist = df.loc[df[rate