SOP

　　 　　自18年底谷歌BERT问世以后，NLP便逐渐步入bert时代，bert家族儿孙满堂，如RoBERTa、ALBert、ERNIE等等，这些bert们正在给并持续给nlp领域输入无限生机，让人工智能皇冠上的明珠更加光彩夺目，在其光芒的照耀下，人类的人工智能之路必定越来越清晰、明朗。 　　通过阅读大量博客资料，知乎专栏和论文，文本以通俗易懂而不失专业的方式总结了Bert以及其13个衍生版本，分享给大家，不足之处，望请指出。后期会不定期分享各个版本bert的详细解读以及实战代码，敬请期待。 　　 1 　　 BERT 　　论文：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》 　　论文地址：https://arxiv.org/pdf/1810.04805 　　作者/机构：google 　　年份：2018.10 　　 1.1 概述 　　Bert是基于Transformer的深度双向预训练语言模型，神经语言模型可直接用于下游NLP任务的微调。Bert的出现使finetune技术应用于NLP领域真正走向成熟，并在工业界得到了广泛的应用，在不太消耗算力的情况下能显著提升各类任务的性能；在学术界也成为了研究热点，Bert出现会后，基于Bert的各类任务的SOTA模型也逐渐出现

在《程序员的思维修炼：开发潜能认知的九堂课》这本书中，介绍了一种从“ 新手 ”到“ 专家 ”的成长模型，既“德雷福斯模型”。 简单点的接介绍，就是如何从一个新手成长为一个专家的修炼套路。 德雷福斯模型由德雷福斯兄弟在20世纪70年代研究提出，德雷福斯兄弟考察了行业技术能手，包括商用客机飞行员和世界著名国际象棋大师 。他们的研究表明，从新手到专家要经历巨大的变化。 在这个过程中，人们不只是“知道更多”或者获得了技术，而且还在如何认识世界，如何解决问题以及如何形成使用的思维模型等方面体验到根本性的区别。人们获取新技术的方式发生了变化，影响（促进或阻碍）人们工作业绩的外部因素也发生了变化。　　 德雷福斯模型描述了我们的能力、态度、素质和视角在不同的技术水平下是如何变化的，以及为什么会有变化。　　 对于所有的事情，你既不是“专家”也不是“新手”，你只是处于某个特定技能领域中的某个水平阶段。虽然你可能只是烹饪新手，但却可能是跳伞专家。大多数非残障成人在直立行走方面都是专家——无需计划或者思考。这已经变成了本能。大多数人在税务规划方面都是新手。如果提供足够多的明确指令，我们就能够完成它，但是事实上我们不知道那是怎么回事（不明白为什么这些规则如此神奇）。 德雷福斯模型描述了新手到专家所经历的5个阶段。如图所示： 在一个团队中，或者一个组织中，绝大多数人其实是新手，或者高级新手

上个月，全球规模最大的语义评测比赛 SemEval 2020 结果出炉，百度基于飞桨平台自研的语义理解框架 ERNIE 一举斩获 5 项世界冠军，囊括视觉媒体的关键文本片段挖掘、多语攻击性语言检测和混合语种的情感分析。去年，ERNIE先后完成两版重大升级：ERNIE 1.0 提出知识增强的语义表示模型， ERNIE 2.0 则构建了持续学习语义理解框架，在中英文 16 个任务上超越业界最好模型。本文将为开发者详细解读ERNIE的进化史。 ERNIE 1.0 ERNIE: Enhanced Representation through Knowledge Integration[1] 是百度在2019年4月的时候，基于BERT模型，做的进一步优化，在中文的NLP任务上得到了state-of-the-art的结果。 它主要是在mask的机制上做了改进，它的mask不是基本的word piece的mask，而是在pretrainning阶段增加了外部的知识，由三种level的mask组成，分别是basic-level masking（word piece）+ phrase level masking（WWM style） + entity level masking。在这个基础上，借助百度在中文社区的强大能力，中文的ERNIE还使用了各种异质(Heterogeneous)的数据集

引子 近期随着业务的改造，新旧交替，不同系统的稳定性问题大量爆发，基于此我们对稳定加大了投入，梳理出来了部分保证系统平稳运行的方法论，在这里做一下分享，切记"稳定性压倒一切". 保障总则 保障总则，即保障策略，对于一个系统，如果要做到全方位的稳定性保障，应该具备一下3个硬性条件，脱离这3个条件，很难保证线上业务能够在波谲云诡的大海上长久稳定运行。 可感知 可预防和应急 可快速处理 下面就上面的3个条件，这里做一些细致的说明。 可感知 可感知顾名思义，就是要能够实时的监测到系统的运行状态，任何细微的波动都能反馈出来。可感知最重要的便是 监控系统 ，监控是我们的眼睛，有了他我们才能观察到我们的业务在线上运行的怎么样。 监控体系 是感知、预防问题最主要、最有效的手段，主要包括业务监控、应用监控、系统监控。对于监控来说必须保障灵敏性、准确性，在此基础上在配合 告警系统 ，我们就能第一时间发现问题并处理问题，减少故障带来的损失，减少舆论压力，赢得使用方的信赖。此外一些特殊的优先级高的故障应该发送给GOC故障报警，防止工作时间盲区不能及时发现。 业务监控 业务监控突出的是业务场景，业务指标，他和一些硬件指标不同，我们需要有链路追踪功能（trace），要能实时反应一个用户的操作从客户端发起一直到服务端的整个过程，能够没阶段的耗时，花销，调用等信息。方便我们定位故障发生的位置，缩短问题处理时间

案例:该数据集的是一个关于每个学生成绩的数据集,接下来我们对该数据集进行分析，判断学生是否适合继续深造 数据集特征展示 1 GRE 成绩 (290 to 340 ) 2 TOEFL 成绩(92 to 120 ) 3 学校等级 (1 to 5 ) 4 自身的意愿 (1 to 5 ) 5 推荐信的力度 (1 to 5 ) 6 CGPA成绩 (6.8 to 9.92 ) 7 是否有研习经验 (0 or 1 ) 8 读硕士的意向 (0.34 to 0.97) 1.导入包 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import os,sys 2.导入并查看数据集 df = pd.read_csv( " D:\\machine-learning\\score\\Admission_Predict.csv " ,sep = " , " ) print('There are ',len(df.columns),'columns') for c in df.columns: sys.stdout.write(str(c)+', ' There are 9 columns Serial No., GRE Score, TOEFL Score,

本教程是为了理解基本的Java垃圾回收以及它是如何工作的。这是垃圾回收教程系列的第二部分。希望你已经读过了第一部分： 《Java 垃圾回收介绍》 。 Java 垃圾回收是一项自动化的过程，用来管理程序所使用的运行时内存。通过这一自动化过程，JVM 解除了程序员在程序中分配和释放内存资源的开销。 启动Java垃圾回收 作为一个自动的过程，程序员不需要在代码中显示地启动垃圾回收过程。System.gc()和Runtime.gc()用来请求JVM启动垃圾回收。 虽然这个请求机制提供给程序员一个启动 GC 过程的机会，但是启动由 JVM负责。JVM可以拒绝这个请求，所以并不保证这些调用都将执行垃圾回收。启动时机的选择由JVM决定，并且取决于堆内存中Eden区是否可用。JVM将这个选择留给了Java规范的实现，不同实现具体使用的算法不尽相同。 毋庸置疑，我们知道垃圾回收过程是不能被强制执行的。我刚刚发现了一个调用System.gc()有意义的场景。通过这篇文章了解一下 适合调用System.gc() 这种极端情况。 Java垃圾回收过程 垃圾回收是一种回收无用内存空间并使其对未来实例可用的过程。 Eden 区：当一个实例被创建了，首先会被存储在堆内存年轻代的 Eden 区中。 注意：如果你不能理解这些词汇，我建议你阅读这篇 垃圾回收介绍 ，这篇教程详细地介绍了内存模型、JVM

上海 巨微 集成电路有限公司专注 蓝牙SoC芯片 和与之相关的系统设计，提供最高性价比的无线传感器芯片和方案，并成为无线传感节点的主要供货商。其核心技术能力覆盖射频，模拟，SOC和系统软件的设计。 巨微的 蓝牙SoC芯片 是业内独有的专用功能芯片，具有最小的封装、最少的外围电路、最简易和灵活的系统应用。 MS1793S 是单模超低功耗蓝牙SoC芯片，射频采用 2.4GHz ISM 频段的频率，2MHz 信道间隔，符合蓝牙规范。MS1793S 使用高性能的 ARM M0 为内核的 32 位单片机，最高工作频率可达 48MHz，内置高速 SRAM 存储器，丰富的增强型 I/O 端口和外设连接到 AHB 和 APB 总线。 MS1793S 工作电压为 2.0V ~ 3.6V，工作温度范围包含-40℃~ +85℃常规型。多种省电工作模式适合低功耗应用的要求。 MS1793S 产品提供 TSSOP24 封装形式，提供低成本低功耗解决方案，适合于多种应用场合： ● Beacon ● LED 灯控 ● 工业应用：工业遥控、遥测 ● 警报系统、门禁系统、数据采集和传输系统 特性 ● 内核与系统： - 32 位 ARM?Cortex-M0 处理器内核 - 最高工作频率可达 48MHz - 单指令周期 32 位硬件乘法器 ● 存储器 - 32K 字节的闪存程序存储器 - 4K 字节的 SRAM -

本文作者：AIOps智能运维 作者简介 凌薇 百度云智能运维业务研发负责人 负责百度云Noah自动化运维平台和智能运维解决方案的探索，在服务管理、资源管理、变更管理和故障管理的业务分析和设计方面经验丰富，致力于推进AIOps在百度业务、公有云以及私有云客户的运维场景落地。 为什么要写这篇文章 做了这么多年项目，参加过无数次团队内外的项目复盘，发现不少 项目延期 和客户 交付质量 的问题。这些问题给产品和技术负责人带来了不少应急“救火”的困扰。分析这些Case后，发现问题集中在以下几个方面： 需求界定不清晰、系统设计有缺陷、研发质量无保障、无效沟通耗时长，导致项目反复并且严重延期； 跨团队协作推动成本高，多团队交付进度出现Delay，项目整体目标不可控； 概要设计文档、API手册、产品使用手册和运维手册质量差，客户学习成本高； 我们团队通常会使用 项目复盘 （Case Study）的方法来应对这些情况。复盘主要为了解决以下两个问题：其一， 为项目延期和客户交付风险找到可行的解决方法 ；其二， 给团队成员一些指导，避免同一个问题重复出现 。当然，这些复盘工作一般在某个项目组内部开展，需要一种方式能够在多个项目组之间共享，这便是我写此文章的原因。 项目管理和研发质量控制是一个比较复杂的系统工程，本文不会系统的讲解一些理论和原则

3 月，跳不动了？>>> 交通运输系统是四个现代化建设的重要保障，在“一带一路”倡议规划背景下，互联网+、智慧交通提升到国家新战略。智慧交通的基石是建立可映射物理世界的虚拟世界，因此大多数交通管理平台项目通过抽象建模构造二维电子地图，并在抽象模型上集成数据及分析工具，实现运营期信息化管理。随着设计、施工、运营全生命周期细化管理日益增长的需求，传统的交通地理信息(Geographic Informa-tion System-Transportation,GIS-T)系统的压力也随之增加。 交通基础设施数字化映射为 三维GIS 信息世界的技术方案是突破二维GIS-T系统局限的有效途径，其已成为交通信息化研究的热点课题，目前研究主要集中于建模、数据库协同、可视化分析。 （1）在建模方面，通过三维GIS平台场景中集成建筑信息模型(Building Information Modeling, BIM)软件创建的地物模型达到宏观和微观的信息表达是最直观的思路。实践发现，交通以线状工程为主，其结构复杂性远低于建筑工程，照搬建筑业BIM不可复用的手工建模方式具有高人力投人的特点，缺乏项目各生命周期出现的模型、选线变更高效应对手段。点云、倾斜摄影等基于机载激光雷达的标准数据(LIDAR Standard, LAS)雷达和图形学的建模方法十分先进但只适用于运营期，且模型单体化处理技术尚不成熟

某厂面试归来，发现自己落伍了！>>> 科技步伐在向产业互联网迈进的大趋势下，互联网体验和传统金融行业正在相互触碰及深度交融。企业数字化转型如火如荼，各种中台战略及相应互联网架构的演进或重构正是当前IT的建设重点。本文是对TVP王晔倞老师的直播演讲整理，为大家介绍介绍整个技术中台的演化过程，说明在实践过程中遇到的问题与条件，并带领大家了解技术中台的价值与未来发展。 引言 本文主要会分为两个阶段，前面半段介绍的是金融全产品交易模式，后半段是技术中台实践。 相信很多人都听过这样一句话：脱离了整个业务场景谈架构或者谈技术，其实就是耍流氓。技术中台最近这段时间非常火热，在各样的大会、文章里面都出现过相关的话题。很多人脑海中就会认为：只要公司做大了，我的业务就要去做中台，如果不做中台好像我就活不下去，这种话题外界流传的也非常多。 在我看来，中台其实并没有什么标准，因为每家公司都会基于自身的业务场景来进行实践，比如我这边分享的是金融全产品交易模式，有的人可能基于公司的电商场景，有的可能是游戏平台的场景，或者是其他什么场景。 我从来不认为中台是一个什么标准，因为每家公司都有自己的一些特性，这中间掺杂到人、组织结构、流程，SOP等等各样的事务，所有掺和起来的整体更像是一个公司经营的战略。 所以， 我认为中台不是一种技术实现，而是一种技术战略。 包括微服务，之前的SOA也都一样， 它根本就不是一种技术