张量

初识PyTorch 1.张量 import torch #创建一个空的5x3张量 x = torch . empty ( 5 , 3 ) #创建一个随机初始化的5x3张量 x = torch . rand ( 5 , 3 ) # 创建一个5x3的0张量，类型为long x = torch . zeros ( 5 , 3 , dtype = torch . long ) # 创建一个5x3的单位张量，类型为double x = torch . ones ( 5 , 3 , dtype = torch . double ) # 直接从数组创建张量 x = torch . tensor ( [ 5.5 , 3 ] ) #从已有的张量创建相同维度的新张量，并且重新定义类型为float x = torch . randn_like ( x , dtype = torch . float ) # 打印一个张量的维度 print ( x . size ( ) ) # 将两个张量相加 y = torch . rand ( 5 , 3 ) print ( x + y ) print ( torch . add ( x , y ) ) result = torch . zeros ( 5 , 3 ) torch . add ( x , y , out = result ) print ( result

• TensorFlow ™ 是一个开放源代码软件库，用于进行高性能数值计算 • 借助其灵活的架构，用户可以轻松地将计算工作部署到多种平台 （CPU、GPU、TPU）和设备（桌面设备、服务器集群、移动设备、边 缘设备等） • TensorFlow™ 最初是由 Google Brain 团队（隶属于 Google 的 AI 部门）中的研究人员和工程师开发的，可为机器学习和深度学习提供 强力支持 TensorFlow 的Hello world： 计算图： TensorFlow = Tensor + Flow Tensor 张量 数据结构：多维数组 Flow 流 计算模型：张量之间通过计算而转换的过程 TensorFlow是一个通过 计算图的形式表述计算的编程系统 每一个计算都是计算图上的一个节点 节点之间的边描述了计算之间的关系 计算图是一个有向图，由以下内容构成： 　　• 一组节点，每个 节点都代表一个 操作，是一种 运算 　　• 一组有向边，每条 边代表节点之间的 关系（ 数据传递和 控制依赖 ） 计算图（数据流图）的概念 TensorFlow有两种边： 　　• 常规边（实线）：代表数据依赖关系。一个节点的运算输出成 　　为另一个节点的输入，两个节点之间有tensor流动（ 值传递） 　　• 特殊边（虚线）：不携带值，表示两个节点之间的 控制相关性。 　　比如， happens-

今天是学习深度学习的第二天 1，大概了解了一遍TensorFlow的框架 　　TensorFlow的整体结构-数据流图（图，会话），图，会话，张量，变量，操作以及Tensor board的可视化 2，图的相关操作 　　默认图：tf.get_default_graph()（调用方法） .graph（查看属性） 　　自定义图：new_graph = tf.Graph()（创建图） with new_graph.as_default(): （定义数据和操作） 3，张量 Tensor 　　标量　　一个数字　　0阶张量 　　向量　　一维数组　[2,3,4]　　1阶张量 　　矩阵　　二维数组　[[2,3,4],[2,3,4]]　　二阶张量 　　。。。。。 　　张量　　n维数组　　n阶张量 　　创建张量的方法：a_new = tf.constant([4,9,10], dtype=ft.int32) 　　　　　　　　　　tensor = tf.placeholder(dtype=tf.float32, shape=[None, 10]) 　　 　　张量的转换：tensor.set_shape(shape)（ 改变原始的 tensor） 　　　　　　　　tf.reshape(tensor, shape)（ 不会改变原始的 tensor 返回新的改变形状后的 tensor 动态创建新张量时

import tensorflow as tf import tensorflow.compat.v1 as tf#设置为v1版本 tf.disable_v2_behavior()#禁用v2版本 #首先,要了解一个叫张量的东西,到时候在节点之间流通的就是它了 #理解方式:我认为用数组理解就够了,张量的结束就是数组的维数 #不用扯什么立体,矩阵,列表,向量之类的东西,实例如下: #零维数组: # x=0 #一维数组: #x=[1,2,3,4,5,7,8,9,10] #二位数组: #x=[ [a11,a12,a13,a14,a15,a16,a17] # [a21,a22,a23,a24,a25,a26,a27] # [a31,a32,a33,a34,a35,a36,a37] # [a41,a42,a43,a44,a45,a46,a47] ] #三位数组: #x=[ [[a111,a112],[a121,a122],[a131,a132]] # [[a211,a212],[a221,a222],[a231,a232]] # [[a311,a312],[a321,a322],[a331,a332]] # ] #一维数组就是把一个数扩展为一列数, #二维数组就是把一维数组中的每一个数都变成一列数, #三位数组就是把二位数组中的每一个数组继续扩展为一列数, #可以在命名方式中体现这一点

文章目录 **1 资源汇总 ** 2 常见深度学习框架中的Tensor的通道顺序 **3 常见颜色通道顺序 1 PyTorch Tutorials 1: [入门-1 60分钟闪电战](https://pytorch.org/tutorials/beginner/deep_learning_60min_blitz.html) 1.1 [什么是PyTorch](https://pytorch.org/tutorials/beginner/blitz/tensor_tutorial.html#sphx-glr-beginner-blitz-tensor-tutorial-py) 1.1.1 tensor 1.1.2 operations (1) 加法的语法： (2) tensor的索引与NumPy的索引类似 (3) 调整大小：torch.view (4) .item() 1.1.3 NumPy Bridge 1.1.4 Converting NumPy Array to Torch Tensor 将NumPy数组转换为Torch张量 1.1.5 CUDA Tensors 1.2 [Autograd: 自动分化](https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html#sphx-glr-beginner

基础知识 梯度传播相关原理 梯度传播原理 梯度弥散、梯度爆炸 >>> import tensorflow as tf >>> W = tf.ones([2,2]) # 任意创建某矩阵 >>> W <tf.Tensor: id=2, shape=(2, 2), dtype=float32, numpy= array([[1., 1.], [1., 1.]], dtype=float32)> >>> tf.linalg.eigh(W) (<tf.Tensor: id=3, shape=(2,), dtype=float32, numpy=array([0., 2.], dtype=float32)>, <tf.Tensor: id=4, shape=(2, 2), dtype=float32, numpy= array([[-0.70710677, 0.70710677], [ 0.70710677, 0.70710677]], dtype=float32)>) >>> tf.linalg.eigh(W)[0] # 计算特征值：此时的W矩阵的最大特征值为2，那么下面演示的是最大特征值大于1时的矩阵相乘 <tf.Tensor: id=5, shape=(2,), dtype=float32, numpy=array([0., 2.], dtype=float32)> >>> tf

0. 简介与前置知识 本笔记着重学习Zhao Qibin教授等发表的"关于利用张量网络缩减维度和大规模优化"(Tensor Networks for dimensionality Reduction and Large-Scale Optimization)等张量网络相关的内容. 就目前来看, 网上并没有公开资源, 而前述学术文章的官方中文据悉仍在制作中. 本笔记视作笔者自己的一个自学概要, 其目的为加深理解, 方便回顾. 同时, 也希望能用我自己的理解串联有关内容, 给大家呈现更清晰地知识布局. 本笔记将不是一个完整的翻译作品, 而是一个根据自己理解有选择性的, 摘要性的翻译与整理工作. 希望为互联网上, 特别是中文圈内学习张量领域的热情贡献自己的一份力量. 由于笔者写过关于张量综述的笔记, 很多入门内容就不重复记述. 若有必要, 会提及"笔记系列"以指代该系列. 如果读者不理解什么是张量(tensor) 不理解什么是CP, TUCKER, KRONECKER及KHATRI-RAO乘法, 以及张量秩, mode-n乘法以及低秩分解的基本知识, 欢迎查阅我的另外一个笔记系列, 张量学习笔记. (笔者也经常查阅, 如果不熟悉大可放心. 只要学过, 随学随查即可) 为了方便顺应原作对公式的引用及方便大家查阅原书, 会将公式在原书内的tag写出 0.1. 本文所用图表与符号

本篇内容有clip_by_value、clip_by_norm、gradient clipping 1.tf.clip_by_value a = tf.range(10) print(a) # if x<a res=a,else x=x print(tf.maximum(a,2)) # if x>a,res=a,else x=x print(tf.minimum(a,8)) # 综合maximum和minimum两个函数的功能，指定上下限 print(tf.clip_by_value(a,2,8)) 2.tf.clip_by_norm # 随机生成一个2行2列的tensor a = tf.random.normal([2,2],mean=10) # 打印二范数 print(tf.norm(a)) # 根据新的norm进行放缩 print(tf.clip_by_norm(a,15)) print(tf.norm(tf.clip_by_norm(a,15))) 3.tf.clip_by_global_norm # gradient clipping为解决梯度下降和梯度消失问题 # 可保证整体向量同时缩放（等倍数） for g in grads: grads,_ = tf.clip_by_global_norm(grads,15) 实测： import tensorflow as tf

本篇记录一下TensorFlow中张量的排序方法 tf.sort和tf.argsort # 声明tensor a是由1到5打乱顺序组成的 a = tf.random.shuffle(tf.range(5)) # 打印排序后的tensor print(tf.sort(a,direction='DESCENDING').numpy()) # 打印从大到小排序后，数字对应原来的索引 print(tf.argsort(a,direction='DESCENDING').numpy()) index = tf.argsort(a,direction='DESCENDING') # 按照索引序列取值 print(tf.gather(a,index)) # 返回最大的两个值信息 res = tf.math.top_k(a,2) # indices返回索引 print(res.indices) # values返回值 print(res.values) 计算准确率实例： # 定义模型输出预测概率 prob = tf.constant([[0.1,0.2,0.7],[0.2,0.7,0.1]]) # 定义y标签 target = tf.constant([2,0]) # 求top3的索引 k_b = tf.math.top_k(prob,3).indices # 将矩阵进行转置，即把top-1

A tenseor is something that transforms like a tensor! 在不同的参考系下按照某种特定的法则进行变换的一个量，就是张量 从物理学角度 张量是一个不随坐标而改变的，物理系统内在的量 用张量语言描述的物理定律自动保证了不随参考系变化的这一性质 从数学角度 一维数据是向量，二维数据是矩阵，三维及其以上的数据称为张量 张量的提出，目的是希望数据在坐标系变换下服从某种线性变换的规律 来源： CSDN 作者： 酸菜余 链接： https://blog.csdn.net/weixin_43821376/article/details/103761913