epoch

TensorFlow 实战线性回归问题 线性回归 (Linear Regression) 是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析，用来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。线性回归问题也是机器学习的入门级知识，下面就和小编一起来学习一下用 Python + TensorFlow 如何实现线性回归吧！ 1、线性回归方程 单变量的线性回归方程可以表示为： y=w*x+b 本例我们将通过代码来生成一个人工数据集。随机生成一个近似采样随机分布，使得w=2.0，b=1，并加入一个噪声，噪声的最大振幅为0.4。即方程表示为： y=2.0*x+1 2、人工数据集生成 %matplotlib inline import matplotlib.pyplot as plt import numpy as np import tensorflow as tf # 设置随机数种子 np.random.seed(5) #采用np生成等差数列，生成100个点，每个点取值在-1到1之间 x_data = np.linspace(-1,1,100) # y=2x+1，其中，噪声的维度与x_data一致 y_data = 2*x_data + 1.0 + np.random.randn(*x_data.shape)*0.4

1. ZooKeeper是什么？ ZooKeeper是一个开放源码的分布式协调服务，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 分布式应用程序可以基于Zookeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。 Zookeeper保证了如下分布式一致性特性： 顺序一致性 原子性 单一视图 可靠性 实时性（最终一致性） 客户端的读请求可以被集群中的任意一台机器处理， 如果读请求在节点上注册了监听器，这个监听器也是由所连接的zookeeper机器来处理 。对于写请求，这些请求会同时发给其他zookeeper机器并且达成一致后，请求才会返回成功。因此，随着zookeeper的集群机器增多，读请求的吞吐会提高但是写请求的吞吐会下降。 有序性是zookeeper中非常重要的一个特性，所有的更新都是全局有序的，每个更新都有一个唯一的时间戳，这个时间戳称为zxid（Zookeeper Transaction Id）。而读请求只会相对于更新有序，也就是读请求的返回结果中会带有这个zookeeper最新的zxid。 2. ZooKeeper提供了什么？ 1、文件系统 2、通知机制 3. Zookeeper文件系统

1.ZooKeeper是什么？ ZooKeeper是一个 分布式 的，开放源码的分布式 应用程序协调服务 ，是Google的Chubby一个开源的实现，它是 集群的管理者 ， 监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作 。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 客户端的 读请求 可以被集群中的 任意一台机器处理 ，如果读请求在节点上注册了监听器，这个监听器也是由所连接的zookeeper机器来处理。对于 写请求 ，这些请求会同 时发给其他zookeeper机器并且达成一致后，请求才会返回成功 。因此，随着 zookeeper的集群机器增多，读请求的吞吐会提高但是写请求的吞吐会下降 。 有序性是zookeeper中非常重要的一个特性，所有的 更新都是全局有序的 ，每个更新都有一个 唯一的时间戳 ，这个时间戳称为 zxid（Zookeeper Transaction Id） 。而 读请求只会相对于更新有序 ，也就是读请求的返回结果中会带有这个 zookeeper最新的zxid 。 2.ZooKeeper提供了什么？ 1、 文件系统 2、 通知机制 3.Zookeeper文件系统 Zookeeper提供一个多层级的节点命名空间（节点称为znode）。与文件系统不同的是，这些节点 都可以设置关联的数据

面试的时候，面试官只要看到你简历的上写的有Zookeeper（熟悉、掌握）之类，那你至少要准备接下来的11连问。 NO1：说说zookeeper是什么？ ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现（Chubby是不开源的），它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户 。 Zookeeper一个最常用的使用场景就是用于担任服务生产者和服务消费者的注册中心，服务生产者将自己提供的服务注册到Zookeeper中心，服务的消费者在进行服务调用的时候先到Zookeeper中查找服务，获取到服务生产者的详细信息之后，再去调用服务生产者的内容与数据，简单示例图如下： NO2：了解Zookeeper的系统架构吗？ ZooKeeper 的架构图中我们需要了解和掌握的主要有： （1）ZooKeeper分为服务器端（Server） 和客户端（Client），客户端可以连接到整个 ZooKeeper服务的任意服务器上（除非 leaderServes 参数被显式设置， leader 不允许接受客户端连接）。 （2）客户端使用并维护一个 TCP 连接，通过这个连接发送请求、接受响应、获取观察的事件以及发送心跳。如果这个 TCP 连接中断

©PaperWeekly 原创 · 作者｜陆顺 学校｜中科院计算所硕士 研究方向｜神经网络架构搜索 注：该工作由作者在美团实习期间由初祥祥（美团 Mentor，前小米 AutoML 负责人）指导参与。 论文标题： DARTS-: Robustly Stepping out of Performance Collapse Without Indicators 论文作者： 初祥祥、王晓星、张勃、陆顺、魏晓林、严骏驰 论文链接： https://openreview.net/forum?id=KLH36ELmwIB 彩蛋： 团队正在招聘实习生，详情见 ： 美团视觉智能中心实习生招聘 简介 可微分方法（DARTS）是神经网络架构搜索（NAS）中最流行的方法。现有不少方法都致力于解决性能崩塌的问题，从而提升其稳定性。RobustDARTS [1] 提出了用超网的特征根作为判别是否进入崩塌的标志，而我们在本篇工作发现了反例，即在特征根不断增大的情形下，搜索出的模型性能仍在提升。我们受 FairDARTS [2] 中跳跃连接存在不公平竞争优势的启发，使用了一个额外的跳跃链接（auxiliary skip），简单有效地提升了 DARTS 的鲁棒性，且不使用额外的超参数和指示标志。 研究动机 可微分神经网络搜索（DARTS）存在普遍的性能崩塌，现有提升方法使用了先验知识或用指示信号来判别崩塌是否发生

最近人脸检测识别又火起来了，不知道大家知否两会期间都是人脸检测识别技术在后台监控，保证了我们两会期间的安全及监控工作，今天是我们CV进阶的第二节课，带领大家进入新的篇章，教你怎么用最近本的框架去实现人脸识别。 人脸检测及识别无处不在我们身边，只要你出门，就被摄像头一直监控着可以这么说。这也是为了我们社会安全！ 在各个领域都已经用到了检测及识别技术最常见的是我们支付宝刷脸支付及门禁系统。 那今天我们“计算机视觉战队”就和大家说说识别。今天主要是针对刚刚入门的同学，如果你还很感兴趣，接下来和我们一起学习吧！本次学习后，你会对识别有一个深入了解，也会对该领域有浓厚的兴趣！ 今天我们主要以 实践 为主！！！ 在实践之前，我们首先要做的就是搭建环境，这个在CV系列已经有详细的教学了，本次我们基于Python的keras为大家带来简单教学。 数据准备 首先你选定文件的位置，该文件主要有train、test、Model和predict四个文件夹，之后会说每个文件夹的用途。 建立好四个文件夹之后，在train这个文件夹中存放你要存放的训练集，如下图： 今天举例子我只用两个类别的人脸数据， 注： 在train文件在建立两个你存入训练数据的文件夹并命名，在测试集也一样的操作，数据量根据你个人而定。 上图就是训练集内的部分数据，其他训练集文件及测试集都一样的操作，这个是建模的基础。 建模型 注：

import numpy as np import matplotlib.pyplot as plt import scipy.io import math import sklearn import sklearn.datasets from opt_utils import load_params_and_grads, initialize_parameters, forward_propagation, backward_propagation from opt_utils import compute_cost, predict, predict_dec, plot_decision_boundary, load_dataset from testCase import * % matplotlib inline plt.rcParams[ ' figure.figsize ' ] = (7.0, 4.0) # set default size of plots plt.rcParams[ ' image.interpolation ' ] = ' nearest ' plt.rcParams[ ' image.cmap ' ] = ' gray ' # Batch Gradient Descent. def update_parameters_with_gd

一：概述 　　项目中经常用遇到多线程操作共享数据问题，常用的处理方式是对共享数据进行加锁，如果多线程操作共享变量也同样采用这种方式。 　　为什么要对共享变量加锁或使用原子操作？如两个线程操作同一变量过程中，一个线程执行过程中可能被内核临时挂起，这就是线程切换，当内核再次切换到该线程时，之前的数据可能已被修改，不能保证原子操作。 　　C++11提供了个原子的类和方法atomic，保证了多线程对变量原子性操作，相比加锁机制mutex.locak()，mutex.unlocak()，性能有几倍的提升。 　　所需头文件<atomic> 二：错误代码 1 // 全局变量 2 int g_num = 0 ; 3 4 void fun() 5 { 6 for ( int i = 0 ; i < 10000000 ; i++ ) 7 { 8 g_num++ ; 9 } 10 return ; 11 } 12 13 int main() 14 { 15 // 创建线程1 16 thread t1(fun); 17 // 创建线程2 18 thread t2(fun); 19 t1.join(); 20 t2.join(); 21 22 cout << g_num << endl; 23 getchar(); 24 return 1 ; 25 } 应该输出结果20000000，实际每次结果都不一样

引用： https://blog.csdn.net/u012102306/article/details/51538574 https://blog.csdn.net/foxir/article/details/43916601 GMT和UTC GMT ，即格林尼治标准时间，也就是世界时。GMT的正午是指当太阳横穿格林尼治子午线（本初子午线）时的时间。但由于地球自转不均匀不规则，导致GMT不精确，现在已经不再作为世界标准时间使用。 UTC ，即协调世界时。UTC是以原子时秒长为基础，在时刻上尽量接近于GMT的一种时间计量系统。为确保UTC与GMT相差不会超过0.9秒，在有需要的情况下会在UTC内加上正或负闰秒。UTC现在作为世界标准时间使用。 所以，UTC与GMT基本上等同，误差不超过0.9秒。 时区 地球自西向东旋转，东边比西边先看到太阳，东边的时间也比西边的早。为了统一世界的时间，1884年的国际经度会议规规定将全球划分为24个 时区 （东、西各12个时区）。规定英国（格林尼治天文台旧址）为零时区（GMT+00），东1-12区，西1-12区，中国北京处于东8区（GMT+08）。 若英国时间为6点整，则GMT时间为6点整，则北京时间为14点整。 UNIX时间戳 计算机中的 UNIX时间戳 ，是以GMT/UTC时间「1970-01-01T00:00:00」为起点，到具体时间的秒数

导语 结束比赛有几天了，这几天一直在处理前段时间堆积的工作，今天得空对自己的方案进行梳理总结。今年7月多结束魔镜杯后，将之前的内容整理了一下，刚好看到华为垃圾分类比赛，由于我的工作内容还是偏图像，所以就想玩玩，有幸拿了一个亚军。 这次比赛是基于华为云的modelArts平台，免费的gpu硬件环境，全新的结果提交验证方法。感谢组织方华为云，喜欢打比赛的小伙伴也可以多留意该平台，会不定期举办各种数据类竞赛。这次我们队共有三人：谢赋(老虎）、舒欣（up)和文瑞（一休)，大家交流分工合作，才能不断奋力前进。这次分享主要是针对决赛阶段，该阶段要求模型的推理时间不能大于100ms，不能使用融合和TTA。故关于模型融合和TTA技巧，本次不会涉及到，后面还会有图像分类的专题分享。 一 解题思路 拿到数据后，我们首先做了数据分析。统计数据样本分布，尺寸分布，图片形态等，基于分析可以做一些针对性的数据预处理算法，对后期的模型训练会有很大的帮助。 选择好的baseline。需要不断的尝试各种现有的网络结构，进行结果对比，挑选出适合该网络的模型结构，然后基于该模型进行不断的调参，调试出性能较好的参数。 做结果验证，分析badcase。将上述模型在验证集上做结果验证，找出错误样本，分析出错原因，然后针对性的调整网络和数据。 基于新数据和模型，再次进行模型调优 二 数据分析（EDA) 原始共有43个类别