mars-project

(cupy,minpy,mars,numba)使用GPU,并行计算和编译优化加速矩阵运算

人盡茶涼 提交于 2020-12-19 11:19:38
使用GPU,并行计算和编译优化加速numpy矩阵运算(相关材料整理) v1(主要针对numpy运算的加速) 2020/12/16 总结:基于GPU加速numpy:cupy 和 minpy ​ 基于编译的优化加速numpy:numba ​ 基于并行计算加速numpy:Mars ​ 既可以并行又可以用GPU:Mars 文章目录 使用GPU,并行计算和编译优化加速numpy矩阵运算(相关材料整理) cupy minpy和MXnet mars jit和numba RAPIDS numpy学习网址: https://numpy.net/ ​ https://www.numpy.org.cn/ ​ http://cs231n.stanford.edu/syllabus.html cupy cupy支持使用GPU来加速Numpy。 cupy documents:https://docs.cupy.dev/en/stable/ 如果已经安装好cuda,安装cupy只需要( 安装之前一定要保证pip更新到最新的版本 ) $ pip install cupy 也可以使用下面这个方法安装, #根据自己安装的cuda版本是哪一个,然后直接下载安装适合的版本,实测这个方法比较快 #然后进行安装命令 # CUDA 8.0 pip install cupy-cuda80 # CUDA 9.0 pip

MaxCompute Mars 完全指南

穿精又带淫゛_ 提交于 2020-08-04 16:29:16
Mars 简介 Mars 能利用并行和分布式技术,加速 Python 数据科学栈,包括 numpy 、 pandas 和 scikit-learn 。同时,也能轻松与 TensorFlow、PyTorch 和 XGBoost 集成。 Mars tensor 的接口和 numpy 保持一致,但支持大规模高维数组。样例代码如下。 import mars.tensor as mt a = mt.random.rand(10000, 50) b = mt.random.rand(50, 5000) a.dot(b).execute() Mars DataFrame 接口和 pandas 保持一致,但可以支撑大规模数据处理和分析。样例代码如下。 import mars.dataframe as md ratings = md.read_csv('Downloads/ml-20m/ratings.csv') movies = md.read_csv('Downloads/ml-20m/movies.csv') movie_rating = ratings.groupby('movieId', as_index=False).agg({'rating': 'mean'}) result = movie_rating.merge(movies[['movieId', 'title']], on=