entropy

　　机器之心分析师网络 　　 作者：王子嘉 　　 编辑：Joni 　　 在本文中，作者首先为读者普及了 word2vec 的基础知识，然后以六篇论文为示例详细介绍了当前研究如何利用经典 word2vec 进行拓展性研究。其中，作者重点介绍的部分是知识嵌入空间的生成过程，对于其完整应用感兴趣的读者可以参阅原论文。 　　随着深度学习的兴起，每个模型都需要一个输入，而我们现实生活中的对象（文字、图片）等等都不是数字，计算机无法处理。所以如何为每个任务确定一个合适的 “输入” 就变得尤其重要了，这个过程也被叫做表征学习。 　　word2vec 做的就是把文字变成对计算机有意义的输入，简单来说就是把这些东西映射到一个空间里，我们平时为了表示位置可能是三维空间，也就是 xyz，但是在图片啊、文本啊这种领域里，三维空间不太够，就可能去到另外一个 N 维空间，在这个空间里，就像三维空间里人的鼻子要跟嘴挨得近一样，我们也希望相似的东西在这个新的空间里也距离近，比如文本里的 “鼻子” 和“嘴”我们就也希望它们能挨得近一点，因为都属于五官，那么 “鼻子” 和“腿”就相对离得远一点。 　　顾名思义，word2vec 是把文字转换成计算机可以识别的输入，所以这个技术最开始应用、也是应用最多的地方就是自然语言处理领域（NLP）。其实在之前对于表征学习，我基于 ICLR 和 CVPR 做过两次 high

即使在大数据时代，获取大批量高质量的标注数据在实际中往往成本高昂。半监督学习技术作为一类可以同时有效利用有标签数据和无标签数据的学习范式，有希望大大降低监督任务对于标签数据的需求。本文从 2013 年所提出的 Pseudo-Label 开始，至 2019 年 Google 所提出的 UDA 技术为止， 详细介绍了半监督学习近年来的发展历程 ，重点关注各技术在核心思想、方法论上的演进。文章最后对半监督学习中涉及到的部分关键细节，如领域外数据等问题进行了详细讨论。 关于作者 李渔，熵简科技联合创始人，博士毕业于清华大学电子工程系，以第一作者身份发表学术论文 10 余篇，申请专利 6 项，致力于将先进的自然语言处理及深度学习技术真正落地于金融资管领域，让科技赋能产业。 目前负责熵简科技 NLP 技术中台的建设，包括层次化的分层架构、大数据泛采体系、持续部署的后台支持以及前沿算法的领域内落地等，为熵简科技的各大业务线提供底层技术支持和可落地的解决方案。 个人知乎专栏： https://zhuanlan.zhihu.com/c_1215573707772649472 目录 1. 为什么要了解半监督学习 1.1 什么是半监督学习 1.2 半监督学习有什么用 2. 典型技术方案的演进历程 3. 部分关键细节的讨论 3.1 类别外数据的处理 3.2 一致性正则的数学选择 3.3 错误标记数据的影响

起因 事情已经过去快一周了吧，继上次修复 maixpy k210 的 esp8285 at 通信后，突然遇到泽畔大大问，要不要做 ussl 的支持？ 评估了一下各方的实现，想了一下自己也刚好在做网络层的优化和处理，况且 micropython 在 stm32 、 esp32 上的也有对应的实现，那就添加实现进去吧，选取了 mbedtls 版本的 ussl 模块，实现相关文件如下。 这里说一下 ussl 的工作机制。 首先建立在 micropython 的 network 架构下的 socket 模块，提供了关键的 steam->write 和 steam->read 基础接口，实际上就是继承一个抽象 steam 对象的接口。 因此 ussl 提供了 wrap_socket 用来提升 socket 的功能，从而支持 https 的访问。 我们看一下 micropython 的实例就知道了。 try: import usocket as _socket except: import _socket try: import ussl as ssl except: import ssl def main(use_stream=True): s = _socket.socket() ai = _socket.getaddrinfo("google.com", 443) print(

TensorFlow是目前深度学习最流行的框架，很有学习的必要，下面我们就来实际动手，使用TensorFlow搭建一个简单的CNN，来对经典的mnist数据集进行数字识别。 如果对CNN还不是很熟悉的朋友，可以参考： Convolutional Neural Network 。 下面就开始。 step 0 导入TensorFlow 1 import tensorflow as tf 2 from tensorflow.examples.tutorials.mnist import input_data step 1 加载数据集mnist 声明两个placeholder，用于存储神经网络的输入，输入包括image和label。这里加载的image是(784,)的shape。 1 mnist = input_data.read_data_sets( ' MNIST_data/ ' , one_hot= True) 2 x = tf.placeholder(tf.float32,[None, 784 ]) 3 y_ = tf.placeholder(tf.float32, [None, 10]) step 2 定义weights和bias 为了使代码整洁，这里把weight和bias的初始化封装成函数。 1 # ----Weight Initialization---# 2 # One

Tomcat9.0启动变慢解决 问题过程 在linux centos7上部署测试web项目时，通过nginx配置的tomcat集群，在启动tomcat9.0的过程中，无报错信息，但tomcat一直卡在Skipping unneeded JARs during scanning can improve startup time and JSP compilation time.无法继续执行，约5.6分钟后，tomcat才启动成功。 tomcat启动日志 通过查看tomcat根目录下的日志（logs/catalina.xxxx-xx-xx.log）： 08-Aug-2020 09:30:43.870 INFO [main] org.apache.catalina.startup.HostConfig.deployWAR Deployment of web application archive [/root/tomcat/tomcat9.0.37-1/webapps/wnshop.war] has finished in [748] ms 08-Aug-2020 09:30:43.870 INFO [main] org.apache.catalina.startup.HostConfig.deployWAR Deploying web application archive [

摘要： LeNet-5是Yann LeCun在1998年设计的用于手写数字识别的卷积神经网络，当年美国大多数银行就是用它来识别支票上面的手写数字的，它是早期卷积神经网络中最有代表性的实验系统之一。可以说，LeNet-5就相当于编程语言入门中的“Hello world！”。 华为的昇腾训练芯片一直是大家所期待的，目前已经开始提供公测，如何在昇腾训练芯片上运行一个训练任务，这是目前很多人都在采坑过程中，所以我写了一篇指导文章，附带上所有相关源代码。注意，本文并没有包含环境的安装，请查看另外相关文档。 环境约束：昇腾910目前仅配套TensorFlow 1.15版本。 基础镜像上传之后，我们需要启动镜像命令，以下命令挂载了8块卡（单机所有卡）： docker run -it --net=host --device=/dev/davinci0 --device=/dev/davinci1 --device=/dev/davinci2 --device=/dev/davinci3 --device=/dev/davinci4 --device=/dev/davinci5 --device=/dev/davinci6 --device=/dev/davinci7 --device=/dev/davinci_manager --device=/dev/devmm_svm --device=

本文重点介绍了下小样本学习方法(FSL)演变过程以及MAML和度量学习的区别所在。 小样本学习一般会简化为N-way K-shot问题，如图[1]。其中N代表类别数量，K代表每一类中(支持集)的样本量； 图[1] N-way K-shot 解决分类问题，人们最先想到的是采用传统监督学习的方式，直接在训练集上进行训练，在测试集上进行测试，如图[2]，但神经网络需要优化的参数量是巨大的，在少样本条件下，几乎都会发生过拟合； 图[2] 传统监督学习 为了解决上述问题，人们首先想到的是通过使用迁移学习+Fine-tune的方式，利用Base-classes中的大量数据进行网络训练，得到的Pre-trained模型迁移到Novel-classes进行Fine-tune，如图[3]。虽然是Pre-trained网络+Fine-tune微调可以避免部分情况的过拟合问题，但是当数据量很少的时候，仍然存在较大过拟合的风险。 图[3] Pre-trained网络+Fine-tune微调 接下来讲的就是小样本学习中极具分量的Meta-learning方法，现阶段绝大部分的小样本学习都使用的是Meta-learning方法。Meta-learning，即learn to learn，翻译成中文是元学习。Meta-learning共分为Training和Testing两个阶段，Training阶段的思路如图

python代码如下： import numpy as np # Write a function that takes as input a list of numbers, and returns # the list of values given by the softmax function. def softmax(L): pass expL = np.exp(L) sumExpL = sum(expL) result = [] for i in expL: result.append(i*1.0/sumExpL) return result python编写交叉熵公式： import numpy as np def cross_entropy(Y, P): Y = np.float_(Y) P = np.float_(P) return -np.sum(Y * np.log(P) + (1 - Y) * np.log(1 - P)) import numpy as np def cross_entropy(Y, P): Y = np.float_(Y) P = np.float_(P) return -np.sum(Y * np.log(P) + (1 - Y) * np.log(1 - P)) MSE： cross-entropy： 从上述的公式可以看出

2018-05-30 14:12:46 于深圳南山科技园 最近有个项目，客户需要通过手机app通过机器wifi热点连接，从而实现对机器的设置及视频的实时预览等各种功能。这两天一直在搞rtl8188eu的wifi热点，驱动服务都搭建好了，但是出现设置密码后无法连接，折腾了好几天也没找到原因及解决办法， 硬件平台：全志T3 + rtl8188euwifi模块（usb连接） 系统：linux kernel-3.10 ap启动脚本：ap-start.sh hostapd版本：0.8x DHCp版本：4.1.1-P1 ap-start.sh ifconfig wlan0 192.168 . 1.24 netmask 255.255 . 255.0 sleep 1 hostapd /etc/hostapd.conf - B touch / var /lib/dhcp/ dhcpd.leases dhcpd /etc/hostapd.conf ##### hostapd configuration file ############################################## interface = wlan0 ctrl_interface =/ var /run/ hostapd ssid = carwifi channel = 9 wpa = 1 wpa

目录 一、背景前言 二、DNN概述 三、手写DNN实现逻辑 四、调用Tensorflow代码构建DNN 五、模型保存和使用 六、提升准确率方案 七、引申和总结--零初始化，梯度消失和反向传播 一、背景前言 我们先看下SoftMax的代码： #!/usr/bin/python # -*- coding: UTF-8 -*- # 文件名: 12_Softmax_regression.py from examples.tutorials.mnist import input_data import tensorflow as tf # mn.SOURCE_URL = "http://yann.lecun.com/exdb/mnist/" my_mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)#从本地路径加载进来 # The MNIST data is split into three parts: # 55,000 data points of training data (mnist.train)#训练集图片 # 10,000 points of test data (mnist.test), and#测试集图片 # 5,000 points of validation data (mnist