建议使用哪种Python内存分析器? [关闭]

前提是你 提交于 2019-12-27 19:34:29

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>>

我想知道我的Python应用程序的内存使用情况,并且特别想知道哪些代码块/部分或对象占用了大部分内存。 Google搜索显示商业广告是Python Memory Validator (仅限Windows)。

开源的是PySizerHeapy

我没有尝试任何人,所以我想知道哪一个是最好的考虑:

  1. 提供大部分细节。

  2. 我必须对代码进行最少或不做任何更改。


#1楼

由于没有人提到它,我将指向我的模块memory_profiler ,它能够打印内存使用的逐行报告,并且可以在Unix和Windows上运行(最后一个需要psutil)。 输出不是很详细,但目标是概述代码消耗更多内存的位置,而不是对分配的对象进行详尽的分析。

使用@profile函数并使用-m memory_profiler标志运行代码后,它将打印逐行报告,如下所示:

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

#2楼

我推荐Dowser 。 它很容易设置,您只需对代码进行零更改。 您可以通过简单的Web界面查看每种类型的对象的计数,查看活动对象列表,查看活动对象的引用。

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.server.quickstart()
    cherrypy.engine.start(blocking=False)

导入memdebug,并调用memdebug.start。 就这样。

我没有尝试过PySizer或Heapy。 我会很感激别人的评论。

UPDATE

上面的代码是针对CherryPy 2.XCherryPy 3.X的, server.quickstart方法已被删除,而engine.start没有采用blocking标志。 所以如果你使用的是CherryPy 3.X

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.engine.start()

#3楼

Heapy使用起来非常简单。 在代码中的某个时刻,您必须编写以下内容:

from guppy import hpy
h = hpy()
print h.heap()

这给你一些像这样的输出:

Partition of a set of 132527 objects. Total size = 8301532 bytes.
Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
0  35144  27  2140412  26   2140412  26 str
1  38397  29  1309020  16   3449432  42 tuple
2    530   0   739856   9   4189288  50 dict (no owner)

您还可以找出引用对象的位置并获取有关该对象的统计信息,但不知何故,文档上的文档有点稀疏。

还有一个用Tk编写的图形浏览器。


#4楼

Muppy是(又一个)Python的内存使用分析器。 该工具集的重点是识别内存泄漏。

Muppy试图帮助开发人员识别Python应用程序的内存泄漏。 它可以在运行时跟踪内存使用情况,并识别泄漏的对象。 另外,提供了允许定位未释放对象的源的工具。


#5楼

考虑objgraph库(参见 http://www.lshift.net/blog/2008/11/14/tracing-python-memory-leaks示例用例)。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!