闭环

如何构建阿里小蜜算法模型的迭代闭环?

女生的网名这么多〃 提交于 2020-02-24 18:23:51
导读:伴随着AI的兴起,越来越多的智能产品诞生,算法链路也会变得越来越复杂,在工程实践中面临着大量算法模型的从0到1快速构建和不断迭代优化的问题,本文将介绍如何打通数据分析-样本标注-模型训练-监控回流的闭环,为复杂算法系统提供强有力的支持。 新技术/实用技术点: 实时、离线场景下数据加工的方案选型 高维数据的可视化交互 面对不同算法,不同部署场景如何对流程进行抽象 01. 背景 技术背景及业务需求 小蜜系列产品是阿里巴巴为消费者和商家提供的智能服务解决方案,分别在用户助理、电商客服、导购等方面做了很多工作,双十一当天提供了上亿轮次的对话服务。其中用到了问答、预测、推荐、决策等多种算法模型,工程和算法同学在日常运维中会面临着如何从0到1快速算法模型并不断迭代优化,接下来将从工程角度介绍如何打通数据->样本->模型->系统的闭环,加速智能产品的迭代周期。 实现 实现这一过程分为2个阶段: 0->1阶段: 模型冷启动,这一阶段更多关注模型的覆盖率。 实现步骤: A. 抽取对话日志作为数据源 B. 做一次知识挖掘从日志中挑出有价值的数据 C. 运营人员进行标注 D. 算法对模型进行训练 E. 运营人员和算法端统一对模型做评测 F. 模型发布 1->100阶段: badcase反馈和修复阶段,主要目标是提升模型的准确率。 实现步骤: A. 运营端根据业务反馈(顶踩按钮)、用户不满意会话(如

谈谈运放与比较器的本质区别

家住魔仙堡 提交于 2020-02-24 12:37:58
概述 运算放大器和比较器无论外观或图纸符号都差不多,那么它们究竟有什么区别,在实际应用中如何区分?今天我来图文全面分析一下,夯实大家的基础,让工程师更上一层楼。 先看一下它们的内部区别图: 从内部图可以看出运算放大器和比较器的差别在于输出电路。运算放大器采用双晶体管推挽输出,而比较器只用一只晶体管,集电极连到输出端,发射极接地。 比较器需要外接一个从正电源端到输出端的上拉电阻,该上拉电阻相当于晶体管的集电极电阻。 运算放大器可用于线性放大电路(负反馈),也可用于非线性信号电压比较(开环或正反馈)。 电压比较器只能用于信号电压比较,不能用于线性放大电路(比较器没有频率补偿) 。 两者都可以用于做信号电压比较,但比较器被设计为高速开关,它有比运算放大器更快的转换速率和更短的延时。 运算放大器 做为线性放大电路,我这里就不多说了(以后有需要单独讨论放大器),这个在主板电路图很常见,一般用于稳压电路,使用负反馈电路它与晶体管配合相当于一个三端稳压器,但使用起来更灵活。如下图: 在许多情况下,需要知道两个信号中哪个比较大,或一个信号何时超出预设的电压(用作电压比较)。用运算放大器便可很容易搭建一个简单电路实现该功能。当V+电压大于V-电压时,输出高电平。当V+电压小于V-电压时 ,输出低电平。如下图: 分析一下电路,2.5v经电阻分压得到1V输入到V-端,当总线电压正常产生1.2v时

如何构建阿里小蜜算法模型的迭代闭环?

感情迁移 提交于 2020-02-18 05:22:08
导读:伴随着AI的兴起,越来越多的智能产品诞生,算法链路也会变得越来越复杂,在工程实践中面临着大量算法模型的从0到1快速构建和不断迭代优化的问题,本文将介绍如何打通数据分析-样本标注-模型训练-监控回流的闭环,为复杂算法系统提供强有力的支持。 新技术/实用技术点: 实时、离线场景下数据加工的方案选型 高维数据的可视化交互 面对不同算法,不同部署场景如何对流程进行抽象 01. 背景 技术背景及业务需求 小蜜系列产品是阿里巴巴为消费者和商家提供的智能服务解决方案,分别在用户助理、电商客服、导购等方面做了很多工作,双十一当天提供了上亿轮次的对话服务。其中用到了问答、预测、推荐、决策等多种算法模型,工程和算法同学在日常运维中会面临着如何从0到1快速算法模型并不断迭代优化,接下来将从工程角度介绍如何打通数据->样本->模型->系统的闭环,加速智能产品的迭代周期。 实现 实现这一过程分为2个阶段: 0->1阶段: 模型冷启动,这一阶段更多关注模型的覆盖率。 实现步骤: A. 抽取对话日志作为数据源 B. 做一次知识挖掘从日志中挑出有价值的数据 C. 运营人员进行标注 D. 算法对模型进行训练 E. 运营人员和算法端统一对模型做评测 F. 模型发布 1->100阶段: badcase反馈和修复阶段,主要目标是提升模型的准确率。 实现步骤: A. 运营端根据业务反馈(顶踩按钮)、用户不满意会话(如

HashMap和ConcurrentHashMap的原理和实现

微笑、不失礼 提交于 2020-02-16 18:33:31
一.线程不安全的HashMap 多线程环境下,使用HashMap进行put操作会引起死循环(jdk1.7 Entry链表形成环形数据结构),导致CPU利用率接近100%。 结构:数组 table[]+链表entry<k,v> put 对key做hash 默认初始化数组长度 16 加载因子 0.75 扩容 大于16*0.75时 rehash hash冲突:链表解决。原来的entry移出去,后来的进来,然后next指向原来的entry 线程不安全:多个线程扩容时闭环,引起死循环。 为什么会形成闭环: 线程1 A>B>C 线程2 B>A倒置。会变成A>B>A 解决: 1.8 红黑树:数组+链表+红黑树。阈值:8 hashmap扩容过程: 传入新的容量 初始化新的Entry数组,将数据转移到新的Entry数组里(遍历旧数组,取得每个元素,释放旧数组的引用,重新计算位置) table属性引用新的entry数组 修改阈值 hash算法:取key的hashcode值,高位运算,取模运算 1.8的优化 1.resize时不需要重新计算hash,只要看看原来的hash新增的那个bit是0还是1。0的话索引没变,1的话索引变成原索引加oldcap。找到新数组下标,确定索引位置,增加随机性。 2.不会形成闭环,扩容时不再使用头插法改成尾插法。 二.效率低下的HashTable

霍尔效应电流传感器

自古美人都是妖i 提交于 2020-02-11 15:51:51
I=P/U当负载变化大时,输出的电流也变化较大,若不加控制超过设计载荷就可能过热损害设备,所以必须要有能检测电流的霍尔传感器进行闭环控制。 一 霍尔效应 电流的磁效应: 当变化的电流流过导体,则导体周围产生磁场, I ∝ B 即通过磁场可以反映电流情况 霍尔效应:当通电的导体置于磁场中,在另一个垂直面将产生电场,当电流一定,则输出霍尔电压可以反映磁场大小 B ∝ V H。 V H =( R H / d )× B × I C (1) 式中: B 为磁感应强度; I C 为控制电流; R H 为霍尔系数; d 为半导体厚度。 通过以上2个步骤和适当的系数则可以建立输出霍尔 电压电压与输出电流之间的关系,这也就是霍尔传感器, 开式霍尔传感器与闭环式霍尔传感器:直接对Vh进行放大输出的开环式响应慢,误差大,线性差;而闭环平衡式响应快灵敏度高,线性好所以得到广大应用。 N 1 × I N = N 2 × I M (3)原副边电流和匝数。 平衡式霍尔特点特点: 1)可以同时测量任意波形电流,如:直流、交流、脉冲电流; 2)副边测量电流与原边被测电流之间完全电气隔离,绝缘电压一般为2kV~12kV; 3)电流测量范围宽,可测量额定1mA~50kA电流; 4)跟踪速度d i /d t >50A/μs; 5)线性度优于0.1% I N ; 6)响应时间<1μs; 7)频率响应0~100kHz

再谈抄袭与创新

自作多情 提交于 2020-02-11 05:26:20
http://firecacada.blog.163.com/blog/static/70743762012112935142750/周末加班,等着代码提交再测试新版本,无聊时随手写几句。 1、互联网创新来自于创新者的灵感和才华,而不是对收益的预期。因为“怕抄”而不创新,只是无能者的托辞。 2、创新最大的价值,不在于你实现了一些新的功能与界面交互效果,而是实现了独特的价值闭环。新的价值闭环才是你抵御抄袭者的壁垒。如果人家抄走你的新功能,新界面,新交互,立马赶上了你,这样的创新未免太虚弱无力。 3、强有力的创新,背后多有强有力的价值观,基于独特的产品理念去推动产品的不断进化,路径清晰,取舍有度,每次大更新都把抄袭者甩开几条街。缺乏价值观的创新只不过是点子一枚,阅后即焚。 4、创新带来的用户收益,归根结底还是概念俗套的“体验”。这意味着钻石创意也需要扎实的产品基本功去实现。基本功不到位,技术支持跟不上,结果被对手改良后反超,这时大骂仅仅是弱者的哀鸣罢了。 5、大公司做产品,也分高中低三档,王牌军是极少数。如果创业团队的产品体验连大公司的中档水准都打不赢,实在不太好意思去骂人家抄袭无耻的。而王牌军并不轻易出动——别触碰到大公司的核心利益,也是创新的谋略之一。 6、刚才提到价值闭环,独特的用户生态往往是价值闭环的一部分。大公司的用户构成复杂,很难精准导入流量,因而对于依赖“社群生态

ORB-SLAM(五)优化

纵然是瞬间 提交于 2019-12-26 09:46:52
ORB-SLAM作为单目SLAM,其精度很大程度上决定于帧与帧之间的位姿优化的是否准确。因此优化(optimization)在ORB-SLAM里面扮演了很重要的角色。这一小节探讨一下ORB-SLAM里用到的优化。 ORB-SLAM选用g2o作为图优化的方法,关于g2o可以参考 http://www.cnblogs.com/gaoxiang12/p/5304272.html 。 一、为什么要优化 因为摄像机标定(camera calibration)和追踪(tracking)的精度不够。摄像机标定的误差会体现在重建中(比如三角法重建时),而追踪的误差则会体现在不同关键帧之间的位姿中,和重建中(单目)。误差的不断累积会导致后面帧的位姿离实际位姿越来越远,最终会限制系统整体的精度。 1.1 摄像机标定 单目SLAM文献中一般假设摄像机标定的结果是准确的,并不考虑这个因素带来的误差(大概因为很多时候跑标准的数据集,认为摄像机标定的误差是相似的)。然而对于一个产品,不同类型的传感器对应的标定误差并不相同,甚至有可能差异很大。因此,如果要评估整个系统的精度,这方面的误差必须要考虑进去。 1.2 追踪 无论在单目、双目还是RGBD中,追踪得到的位姿都是有误差的。单目SLAM中,如果两帧之间有足够的对应点,那么既可以直接得到两帧之间的位姿(像初始化中那样),也可以通过求解一个优化问题得到

可闭环、可沉淀、可持续的企业级数据赋能体系

孤者浪人 提交于 2019-12-25 17:08:13
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 以下内容根据演讲视频以及PPT整理而成。 本次分享主要围绕以下两个方面: 一、构建可闭环、可沉淀、可持续的企业级数据赋能体系的背景 二、开发者数据银行 一、构建可闭环、可沉淀、可持续的企业级数据赋能体系的背景 1.数据“四化” 如何让属于企业自己的不同触点的数据快速形成一个闭环,沉淀串联这些零散的数据能够快速应用去赋能业务?这涉及到四个关键词,一是业务数据化,企业所有触点是否为真,是否被打通。第二是数据资产化,能否可以像管理资产一样很好地管理数据。第三是资产应用化,企业的资产能否有效应用?如何借助数据资产赋能业务,最后是应用价值化。所有的应用最终一定是为增长、为获客而服务,必须要有价值。在这背后最重要的是场景必须可闭环,数据必须可沉淀,最终数据中台、数据能源才是可持续的。 2.构建可闭环、可沉淀的数据赋能体系的意义与价值 下图展示了一套可闭环、可沉淀、可持续的企业级数据赋能体系是如何构建的。下图友盟+会推出一个面向企业的数据银行。数据银行和业务是一种什么样的协作关系?开发者数据银行会基于云基础设施,如MaxComput等,不断帮助企业采集各种场景、触点的数据,做相应的数据治理、提纯、模型加工、形成各种应用服务,基于UMID打通能力,多账号归一,多端归一,支持不同的终端数据打通(移动客户端、服务端

OCR数据闭环任务

喜夏-厌秋 提交于 2019-12-16 05:01:43
OCR数据闭环任务 目录介绍 文件夹 备注 classify 基于pytorch的分类网络,用于对新能源车牌,非新能源车牌进行初步分类 crnn 基于pyrorch的crnn文字识别网络,用于训练文字识别模型 doc 数据闭环总结文档和清洗执行时的文件挂载对应关系 scripts 数据闭环,脚本清洗文件,其中business_license,green_plate,invoice_classify有单独的清洗脚本,其他如火车票,定额票,增值税发票,预分类由于暂无标签文件,清洗脚本使用通用的 test 基于keras的crnn文字识别推断网络,用于新能源车牌识别。 train 基于keras的crnn文字识别训练网络,用于新能源车牌识别。 utils 用于新能源车牌闭环数据整理的标签映射,字符检查等 VOC2007_xml 目标检测xml样例文件 脚本清洗 scripts : business_license green_plate invoice_classify run.sh wash.py write_xml.py 脚本清洗流程图 Created with Raphaël 2.2.0 开始清洗 执行清洗处理 清洗成功? 结束任务 补清洗 yes no 来源: CSDN 作者: Jincenter 链接: https://blog.csdn.net/confuciust

vslam优化方法(激光 VS 视觉)

二次信任 提交于 2019-12-15 05:24:57
转载 https://cloud.tencent.com/developer/article/1436532 。 最近在做基于激光信息的机器人行人跟踪发现如果单独利用激光信息很难完成机器人对行人的识别、跟踪等功能,因此考虑与视觉融合的方法,这样便可以充分利用激光雷达提供的精确位置信息及视觉提供的丰富纹理、颜色等场景信息。以下是最近调研视觉SLAM中的实现方法的总结,包括三方面内容:姿态计算、闭环检测、BA优化。 姿态计算 一、通过提取图像的特征描述子,如ORB、SURF和SIFT等特征描述子,然后通过RANSAC算法进行图像匹配去除匹配点中的外点,再通过将二维点对映射到三维之后,便可以利用PnP或ICP算法计算相机位姿。基于特征提取的位姿计算算法对场景有一定的要求,在无纹理场景会出现位姿计算失败的情形。 二、直接图像匹配方法:直接图像匹配并不对图片进行特征提取,核心思想是在旋转坐标系下,基于相机一致性的假设,在相机的刚体变换已知的情况下,利用相机变换矩阵将目标图片投影到当前图片上,其像素之间的差异应该最小,将姿态计算转换为加权最小二乘问题。直接图像匹配算法的计算效率很高,不依赖GPU,具有很高的理论和商用价值。 闭环检测 闭环检测算法指的是通过检测算法检测出之前访问过的场景。如图1所示,当机器人在移动过程中,特别是在探索大面积的场景时,由于模型的不确定性以及设备的噪声