scipy

ValueError: negative dimensions are not allowed using pandas pivot_table

亡梦爱人 提交于 2020-08-02 04:33:29
问题 I am trying to make item-item collaborative recommendation code. My full dataset can be found here. I want the users to become rows, items to become columns, and ratings to be the values. My code is as follows: import pandas as pd import numpy as np file = pd.read_csv("data.csv", names=['user', 'item', 'rating', 'timestamp']) table = pd.pivot_table(file, values='rating', index=['user'], columns=['item']) My data is as follows: user item rating timestamp 0 A2EFCYXHNK06IS 5555991584 5 978480000

Interpolate between two images

自作多情 提交于 2020-08-02 01:03:27
问题 I'm trying to interpolate between two images in Python. Images are of shapes (188, 188) I wish to interpolate the image 'in-between' these two images. Say Image_1 is at location z=0 and Image_2 is at location z=2. I want the interpolated image at location z=1. I believe this answer (MATLAB) contains a similar problem and solution. Creating intermediate slices in a 3D MRI volume with MATLAB I've tried to convert this code to Python as follows: from scipy.interpolate import interpn from scipy

Negative exponent with NumPy array operand

浪尽此生 提交于 2020-08-01 12:48:29
问题 standard power operation ( ** ) in Python does not work for negative power! Sure I could write the formula otherwise, with divide and positive power. However, I am checking optimization routine result, and sometimes power is negative, sometimes it is positive. Here again a if statement could do, but I am wondering if there is a workarouns and a Python library where negative exposant is allowed. Thanks and Regards. 回答1: Which version of python are you using? Perfectly works for me in Python 2

Negative exponent with NumPy array operand

孤人 提交于 2020-08-01 12:47:58
问题 standard power operation ( ** ) in Python does not work for negative power! Sure I could write the formula otherwise, with divide and positive power. However, I am checking optimization routine result, and sometimes power is negative, sometimes it is positive. Here again a if statement could do, but I am wondering if there is a workarouns and a Python library where negative exposant is allowed. Thanks and Regards. 回答1: Which version of python are you using? Perfectly works for me in Python 2

Numpy Indexing: Return the rest

纵然是瞬间 提交于 2020-07-31 09:44:54
问题 A simply example of numpy indexing: In: a = numpy.arange(10) In: sel_id = numpy.arange(5) In: a[sel_id] Out: array([0,1,2,3,4]) How do I return the rest of the array that are not indexed by sel_id? What I can think of is: In: numpy.array([x for x in a if x not in a[id]]) out: array([5,6,7,8,9]) Is there any easier way? 回答1: For this simple 1D case, I'd actually use a boolean mask: a = numpy.arange(10) include_index = numpy.arange(4) include_idx = set(include_index) #Set is more efficient, but

Numpy Indexing: Return the rest

梦想与她 提交于 2020-07-31 09:44:27
问题 A simply example of numpy indexing: In: a = numpy.arange(10) In: sel_id = numpy.arange(5) In: a[sel_id] Out: array([0,1,2,3,4]) How do I return the rest of the array that are not indexed by sel_id? What I can think of is: In: numpy.array([x for x in a if x not in a[id]]) out: array([5,6,7,8,9]) Is there any easier way? 回答1: For this simple 1D case, I'd actually use a boolean mask: a = numpy.arange(10) include_index = numpy.arange(4) include_idx = set(include_index) #Set is more efficient, but

Python数据分析三利器:numpy、scipy与pandas

爷,独闯天下 提交于 2020-07-28 16:54:07
numpy NumPy是Python的一种开源的数值计算扩展第三方库,用于处理数据类型相同的多维数组。开发这个库的直接目的就是简化多维数组操作,可更为方便地用来存储和处理大型矩阵,比Python自身的列表结构要高效得多,因为它支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库 。 WINDOWS7下安装命令非常简单: pip install numpy NumPy提供了大量高级数值编程工具,如:矩阵数据类型、矢量处理,以及精密的运算库,广泛应用于大型金融公司以及核心的科学计算组织。 NumPy库提供大量基础型方便矩阵操作的多维数组函数: 创建数组类 arange, array, copy, empty, empty_like, eye, fromfile, fromfunction, identity, linspace, logspace, mgrid, ogrid, ones, ones like, r , zeros, zeros_like 转换类 ndarray.astype, atleast_1d, atleast_2d, atleast_3d, mat 操纵类 array_split, column_stack, concatenate, diagonal, dsplit, dstack, hsplit, hstack, ndarray.item,

python数据分析用什么软件?(萌新进)

孤街浪徒 提交于 2020-07-28 01:53:33
Python是数据处理常用工具,可以处理数量级从几K至几T不等的数据,具有较高的开发效率和可维护性,还具有较强的通用性和跨平台性,这里就为大家分享几个不错的数据分析工具。 Python数据分析需要安装的第三方扩展库有:Numpy、Pandas、SciPy、Matplotlib、Scikit-Learn、Keras、Gensim、Scrapy等,以下是第三方扩展库的简要介绍: Pandas Pandas是Python强大、灵活的数据分析和探索工具,包含Series、DataFrame等高级数据结构和工具,安装Pandas可使Python中处理数据非常快速和简单。 Pandas是Python的一个数据分析包,Pandas最初被用作金融数据分析工具而开发出来,因此Pandas为时间序列分析提供了很好的支持。 Pandas是为了解决数据分析任务而创建的,Pandas纳入了大量的库和一些标准的数据模型,提供了高效的操作大型数据集所需要的工具。Pandas提供了大量是我们快速便捷的处理数据的函数和方法。Pandas包含了高级数据结构,以及让数据分析变得快速、简单的工具。它建立在Numpy之上,使得Numpy应用变得简单。 带有坐标轴的数据结构,支持自动或明确的数据对齐。这能防止由于数据结构没有对齐,以及处理不同来源、采用不同索引的数据而产生的常见错误。 使用Pandas更容易处理丢失数据。

哈工大/哈工程被禁用 MATLAB,网友:被卡脖子的领域还不少

隐身守侯 提交于 2020-07-27 09:46:40
(给 程序员的那些事 加星标 ) 5 月 23 日,哈工大/哈工程等 33 个中国机构和个人被美国商务部拉入出口管控的「实体名单」。 近日,此一波被“拉黑”的效应已经在高校中产生了! 哈工大学生 发现无法正常使用 MathWorks 最近有哈工大学生表示 MathWorks 正版软件无法正常使用。与 MathWorks 客服交涉,对方告知“受近期美国政府规定的影响,公司已被要求禁止向哈工大/哈工程提供技术或客户支持”。 也有同学向校内老师咨询,得到如下回应: 自 2020-06-06 开始,因哈工大被列入美国商务部实体名单,影响到了我校 MATLAB 的正常使用,目前我们正在和美国 Mathworks 公司方面积极沟通。非常抱歉给大家带来的麻烦! 有自称 MathWorks 员工的网友在知乎上补充表示,“所谓被禁也只是不能提供技术支持和未来的商务合作,之前卖出去的正版 license 还是可以用的……” MATLAB 是什么? MATLAB 是 MATrix LABoratory(矩阵实验室)的缩写,它是美国 MathWorks 公司的一个商业数学软件,是一种用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境。 1970 年代末~80年代初,美国新墨西哥大学教授 Cleve Moler 独立编写了 MATLAB 第一版。 1984 年,克里夫

【资料分享】利用Python进行数据分析·第2版 PDF

狂风中的少年 提交于 2020-07-26 07:30:19
《利用Python进行数据分析》(第二版)+中文翻译精要+配套代码和数据 链接: https://pan.baidu.com/s/1kz4DTlefVVkBpewtgomsjw 提取码:l8wi PDF 1.1 本书的内容 本书讲的是利用Python进行数据控制、处理、整理、分析等方面的具体细节和基本要点。我的目标是介绍Python编程和用于数据处理的库和工具环境,掌握这些,可以让你成为一个数据分析专家。虽然本书的标题是“数据分析”,重点却是Python编程、库,以及用于数据分析的工具。这就是数据分析要用到的Python编程。 什么样的数据? 当书中出现“数据”时,究竟指的是什么呢?主要指的是结构化数据(structured data),这个故意含糊其辞的术语代指了所有通用格式的数据,例如: 表格型数据,其中各列可能是不同的类型(字符串、数值、日期等)。比如保存在关系型数据库中或以制表符/逗号为分隔符的文本文件中的那些数据。 多维数组(矩阵)。 通过关键列(对于SQL用户而言,就是主键和外键)相互联系的多个表。 间隔平均或不平均的时间序列。 这绝不是一个完整的列表。大部分数据集都能被转化为更加适合分析和建模的结构化形式,虽然有时这并不是很明显。如果不行的话,也可以将数据集的特征提取为某种结构化形式。例如,一组新闻文章可以被处理为一张词频表,而这张词频表就可以用于情感分析。