torch

如将Anaconda 中默认版本Python3.7 版本修改成3.5 执行下列命令即可 conda install python=3.7.4 自动会卸载之前的版本，更新新的版本。 不过换了版本以后，第三方库也都需要重新安装，比如opencv，torch 其中TensorFlow 1.15版本需要单独下载，不支持，python3.8版本 下载网址： https://pypi.org/project/tensorflow/1.15.0/#files 感谢： https://blog.csdn.net/qq_31904559/article/details/84309756 来源： oschina 链接： https://my.oschina.net/u/4391345/blog/4921930

转载自 量子位 杨净 发自 凹非寺 量子位 报道 | 公众号 QbitAI 原文链接： 如何提高PyTorch“炼丹”速度？这位小哥总结了17种方法，可直接上手更改的那种 注：文末附【Pytorch】交流群，最近赶ACL，比较忙，很多同学加了没有回过期了，可以重新加一下，备注好的一定会回复，敬请谅解。 如何提升PyTorch“炼丹”速度？ 最近，有一位名叫Lorenz Kuhn的小哥，分享了他在炼丹过程中总结的 17种 投入最低、效果最好的提升训练速度的方法，而且基本上都可以直接在PyTorch中进行更改，无需引入额外的库。 不过需要注意的是，这些方法都是假设是在GPU上训练模型。 这一分享在Reddit上得到了 600 的热度。 接下来，我们便从 提速高低 开始，依次对这些方法来做介绍。 1、选择合适的学习率时间表。 选择的学习率时间表对收敛速度以及模型的泛化性能有很大影响。 Leslie Smith提出的周期性学习速率（CLR)以及 1cycle 策略可以令复杂模型的训练迅速完成。 比如在 cifar10 上训练 resnet-56 时，通过使用 1cycle，迭代次数可以减少10倍，得到与原论文相同的精度。 在最好的情况下，与传统的相比，这个时间表实现了大规模的提速。不过有一个缺点，它们引入了一些额外的超参数。 为什么这样做有效？一种可能的解释是

参考链接： https://blog.csdn.net/weixin_41519463/article/details/100863313 import torch import torch.nn as nn from pytorch_transformers import BertModel, BertConfig,BertTokenizer # 使用gpu device0 = torch.device( " cuda " if torch.cuda.is_available() else " cpu " ) # 输入处理 tokenizer = BertTokenizer.from_pretrained( ' bert-base-uncased ' ) # 从预训练模型中加载tokenizer # text = "[CLS] Who was Jim Henson ? [SEP] Jim Henson was a puppeteer [SEP]"#开始结束标记 # tokenized_text = tokenizer.tokenize(text) #用tokenizer对句子分词 # indexed_tokens = tokenizer.convert_tokens_to_ids(tokenized_text)#词在预训练词表中的索引列表 # segments_ids = [0,

1. 读取文件并将train拆分为train 和 validation 2. 使用训练数据构造词典类 3. 将所有数据使用词典转换成索引后的数据 4. 构造torch.dataset以及torch.Dataloader 5. 训练器trainer类的构造，要实现几个常用的方法如： fit predict train test save load 等 6. 优化器和损失函数 import pandas as pd from collections import Counter import numpy as np import logging from sklearn.model_selection import train_test_split, GroupKFold, StratifiedKFold from torch.utils.data import Dataset, DataLoader import torch.nn as nn import torch import os import tqdm import torch.nn.functional as F import time """ 任务: 多分类 模型: TextCNN """ class NewsVocab(): """ 构建字典: train_data.keys(): ['text', 'label']

https://zhuanlan.zhihu.com/p/112477513 ​ “ 图神经网络火了这么久，是时候掌握它了。 ” 本文包括以下内容，阅读时间10min 图神经网络是什么意思 文本如何构建图 图卷积神经网络 源代码实现 图卷积神经网络最新进展 本文阅读基础 神经网络基础 本文不包含拉普拉斯矩阵的数学推导 01“图神经网络”是什么 过去几年，神经网络在机器学习领域大行其道。比如说卷积神经网络(CNN)在图像识别领域的成功以及循环神经网络(LSTM)在文本识别领域的成功。对于 图像 来说，计算机将其量化为多维矩阵；对于 文本 来说，通过词嵌入(word embedding)的方法也可以将文档句子量化为规则的矩阵表示。以神经网络为代表的深度学习技术在这些规范化的数据上应用的比较成功。但是现实生活中还存在很多不规则的 以图的形式存在的数据 。比如说社交关系图谱中人与人之间的连接关系，又比如说电子商务系统中的人与货物的关系等等，这些数据结构像下面这样： 演员-电影 关系位于neo4j的图数据 图神经网络 (Graph Neural Network, GNN)是指神经网络在图上应用的模型的统称，图神经网络有五大类别：分别是：图卷积网络（Graph Convolution Networks，GCN）、 图注意力网络（Graph Attention Networks）、图自编码器（