infer

深度注意力机制模型 深度注意力机制模型（Deep Attention Matching Network）是开放领域多轮对话匹配模型。根据多轮对话历史和候选回复内容，排序出最合适的回复。 网络结构如下 任务定义与建模 多轮对话匹配任务输入是多轮对话历史和候选回复，输出是回复匹配得分，根据匹配得分排序。 模型原理介绍 可以参考论文: http://aclweb.org/anthology/P18-1103 . 数据格式说明 训练、预测、评估使用的数据示例如下，数据由三列组成，以制表符（'\t'）分隔，第一列是以空 格分开的上文id，第二列是以空格分开的回复id，第三列是标签 286 642 865 36 87 25 693 0 17 54 975 512 775 54 6 1 注：本项目额外提供了分词预处理脚本（在preprocess目录下），可供用户使用，具体使用方法如 下： python tokenizer.py \ --test_data_dir ./test.txt.utf8 \ --batch_size 1 > test.txt.utf8.seg 代码结构说明 main.py：该项目的主函数，封装包括训练、预测的部分 config.py：定义了该项目模型的相关配置，包括具体模型类别、以及模型的超参数 reader.py：定义了读入数据，加载词典的功能 evaluation

神经机器翻译 机器翻译的目标是将文本从一种语言自动翻译成另一种语言，给定一个待翻译的语言的文本序列, 不存在一个翻译是当前文本的最佳翻译。 这是因为人类语言天生的模糊性和灵活性.这使得自动机器翻译这一挑战变得困难, 也许这是人工智能中最难的一项挑战。 常规的机器翻译方法有统计机器翻译和神经机器翻译，这里我们主要讨论神经机器翻译。 从上图中我们可以看到，翻译的主要任务是在学习源端词到目标端词的一种映射关系，同时还包括调序，例如先翻译了read a book 而不是on Sunday。 那么如何评价翻译质量如何呢？ 翻译专员人工评价（准确度更高，但费时费力） 自动评价（速度快，方便模型迭代，但存在缺陷） 实验操作1 In[36] # run prediction !tar -zxf /home/aistudio/data/data13032/ddle_ai_course.t -C /home/aistudio WORK_PATH = "/home/aistudio/paddle_ai_course" # decompress pretrained models !tar -zxf {WORK_PATH}/model_big.tgz -C {WORK_PATH} !tar -zxf {WORK_PATH}/model_small.tgz -C {WORK_PATH} !cd {WORK

算法介绍 NeXtVLAD模型是第二届Youtube-8M视频理解竞赛中效果最好的单模型，在参数量小于80M的情况下，能得到高于0.87的GAP指标。该模型提供了一种将桢级别的视频特征转化并压缩成特征向量，以适用于大尺寸视频文件的分类的方法。其基本出发点是在NetVLAD模型的基础上，将高维度的特征先进行分组，通过引入attention机制聚合提取时间维度的信息，这样既可以获得较高的准确率，又可以使用更少的参数量。详细内容请参考 NeXtVLAD: An Efficient Neural Network to Aggregate Frame-level Features for Large-scale Video Classification 。 这里实现了论文中的单模型结构，使用2nd-Youtube-8M的train数据集作为训练集，在val数据集上做测试。 本例采用的是YouTube-8M 2018年更新之后的数据集。使用官方数据集，并将TFRecord文件转化为pickle文件以便PaddlePaddle使用。Youtube-8M数据集官方提供了frame-level和video-level的特征。本例挂靠的数据集为预处理后的数据集, 该数据集为YouTUbe 8M数据集的子集，仅包含5个视频文件，并且训练和测试使用的数据一样，主要用途是模型示例。 下载安装命令 ##

模型简介 Attention Cluster模型为ActivityNet Kinetics Challenge 2017中最佳序列模型。该模型通过带Shifting Opeation的Attention Clusters处理已抽取好的RGB、Flow、Audio特征数据，Attention Cluster结构如下图所示。 Shifting Operation通过对每一个attention单元的输出添加一个独立可学习的线性变换处理后进行L2-normalization，使得各attention单元倾向于学习特征的不同成分，从而让Attention Cluster能更好地学习不同分布的数据，提高整个网络的学习表征能力。 详细内容请参考 Attention Clusters: Purely Attention Based Local Feature Integration for Video Classification 优秀解读博客 https://www.colabug.com/5709529.html 本例采用的是YouTube-8M 2018年更新之后的数据集。使用官方数据集，并将TFRecord文件转化为pickle文件以便PaddlePaddle使用。Youtube-8M数据集官方提供了frame-level和video-level的特征。本例挂靠的数据集为预处理后的数据集,

【推荐阅读】微服务还能火多久？>>> 百度学习原文地址： https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/beginners_guide/basics/fit_a_line/README.cn.html import paddle import paddle.fluid as fluid import numpy import math import sys from __future__ import print_function BATCH_SIZE = 20 train_reader = paddle.batch( paddle.reader.shuffle( paddle.dataset.uci_housing.train(), buf_size=500), batch_size=BATCH_SIZE) test_reader = paddle.batch( paddle.reader.shuffle( paddle.dataset.uci_housing.test(), buf_size=500), batch_size=BATCH_SIZE) x = fluid.layers.data(name='x', shape=[13], dtype='float32') # 定义输入的形状和数据类型 y =

【推荐阅读】微服务还能火多久？>>> infer 代码静态分析 静态代码分析工具，主要是为了提高我们的代码质量。 通常，我们提高代码质量的方式是通过CodeReview，但是这个过程耗费的人工和时间往往较大。并且随着代码量的增加人肉检测起来会更加费劲。不要指望测试同学能把所有的问题都测试到,潜在问题就更别指望了。定制一些规则，让机器帮我们完成一部分代码质量的检测，从而提高我们的工作效率。 都能检测啥： 潜藏的问题： 循环引用，未使用的代码，潜在的崩溃，命名规范等等 为优化决策提供依据： 圈复杂度：圈选复杂度指的是遍历一个模块时的复杂度,这个复杂度由if、switch、while、for循环，运算符&&||，以及决策点共同决定的,圈选复杂度在4以内低复杂度，5到7是中等复杂度，8到10是高复杂度，再往上就得考虑优化了。因为复杂度过高，可能需要更多的测试情况了。复杂度这个人工就不太好检测了。 NSPath： 一个方法所有可能执行的路径数量，执行路径太多，那么业务逻辑可能就太复杂了，是否考虑优化？ NCSS度量: NCSS度量指的是不包含注释的代码行数，如果检测到多行代码没有注释，这种的就不太有利于代码的维护了 什么是Infer？ Infer是Facebook开源的静态程序分析工具，用于在发布移动应用之前对代码进行分析，找出潜在的问题

【推荐阅读】微服务还能火多久？>>> infer 代码静态分析 静态代码分析工具，主要是为了提高我们的代码质量。 通常，我们提高代码质量的方式是通过CodeReview，但是这个过程耗费的人工和时间往往较大。并且随着代码量的增加人肉检测起来会更加费劲。不要指望测试同学能把所有的问题都测试到,潜在问题就更别指望了。定制一些规则，让机器帮我们完成一部分代码质量的检测，从而提高我们的工作效率。 都能检测啥： 潜藏的问题： 循环引用，未使用的代码，潜在的崩溃，命名规范等等 为优化决策提供依据： 圈复杂度：圈选复杂度指的是遍历一个模块时的复杂度,这个复杂度由if、switch、while、for循环，运算符&&||，以及决策点共同决定的,圈选复杂度在4以内低复杂度，5到7是中等复杂度，8到10是高复杂度，再往上就得考虑优化了。因为复杂度过高，可能需要更多的测试情况了。复杂度这个人工就不太好检测了。 NSPath： 一个方法所有可能执行的路径数量，执行路径太多，那么业务逻辑可能就太复杂了，是否考虑优化？ NCSS度量: NCSS度量指的是不包含注释的代码行数，如果检测到多行代码没有注释，这种的就不太有利于代码的维护了 什么是Infer？ Infer是Facebook开源的静态程序分析工具，用于在发布移动应用之前对代码进行分析，找出潜在的问题

一、创建项目 （1）进入到https://aistudio.baidu.com/aistudio/projectoverview/public （2）创建项目 点击添加数据集：找到这两个 然后创建即可。 会生成以下项目： 二、启动环境，选择GPU版本 然后会进入到以下界面 选择的两个压缩包在/home/aistudio/data/下，先进行解压： !unzip /home/aistudio/data/data15067/ fruit.zip !unzip /home/aistudio/data/data15072/PaddleDetec.zip 之后在左边文件夹就可以看到解压后的内容了： 三、查看fruit-detection中的内容： 其实是类似pascal voc目标检测数据集的格式 （1） Annotations 以第一个apple_65.xml为例： folder：文件夹名称 filename：图片名称 path：文件地址 size：图片的大小 object：图片中的对象名称以及其的左下角和右上角的坐标。 < annotation > < folder > train </ folder > < filename > apple_65.jpg </ filename > < path > C:\tensorflow1\models\research\object

3 月，跳不动了？>>> 地物分类预测 参考 源码notebook， https://github.com/databooks/databook/gis/iobjects10 iObjects 10使用， 使用SuperMap iObjects for python 10.0 # !/usr/bin/env python3 # coding=utf-8 import os import time from iobjectspy.ml.vision import Inference Using TensorFlow backend. 设置输入数据路径 curr_dir = '' data_dir = os.path.join(curr_dir, '..','..','example_data/') inference_dir = os.path.join(data_dir, 'inference') 设置输出数据路径 out_dir = os.path.join(curr_dir, '..','..','out') if not os.path.exists(out_dir): os.makedirs(out_dir) 设置模型路径 model_path = os.path.join(curr_dir, '..','..','model') land_cls_model = os

AndroidStudio3.0创建Project默认的布局就是ConstraintLayout。 AndroidStudio3.0前的可以自己修改，使用ConstraintLayout。 为了要使用ConstraintLayout，我们需要在app/build.gradle文件中添加ConstraintLayout的依赖，如下所示。 dependencies { compile 'com.android.support.constraint:constraint-layout:1.1.2' } 现在打开res/layout/activity_main.xml文件，由于这是一个新建的空项目，Android Studio会自动帮我们创建好一个布局，如下图所示。 不过，Android Studio自动创建的这个布局默认使用的是RelativeLayout，我们可以通过如下操作将它转换成ConstraintLayout。 转换完成之后，原RelativeLayout中的内容也会自动转换到ConstraintLayout中，比如图中的TextView。如果你不需要它的话，可以选中这个控件，然后按键盘上的Delete键即可删除。 我们可以看到，现在主操作区域内有两个类似于手机屏幕的界面，左边的是预览界面，右边的是蓝图界面。这两部分都可以用于进行布局编辑工作