Transformers

出品 | AI科技大本营（ID:rgznai100） 4月24日，腾讯正式宣布开源Transformer推理加速工具TurboTransformers。该工具面向自然语言处理领域中Transformers相关模型丰富的线上预测场景，在微信、腾讯云、QQ看点等产品的线上服务中已经广泛应用，这也是腾讯通过Github对外开源的第100个项目。 据了解，TurboTransformers的诞生源于腾讯内部对开源协同的推动。2019年初，腾讯技术委员会成立，下设开源协同、自研上云两个项目组和对外开源管理办公室，以此来促进内部代码的开放共享和协同共建。 TurboTransformers来自于深度学习自然语言处理基础平台TencentNLP Oteam，作为基础性技术版块，率先进行了开源协同的实践，旨在搭建统一的深度学习 NLP （Natural Language Processing，自然语言处理）基础平台、提升研发效能。在内部对技术反复打磨的基础上，该项目进一步对外开源。 在自然语言处理领域中，以BERT为代表的Transformers相关神经网络模型是近年来最重要的模型创新。可以为阅读理解、文章摘要、语义分类、同义改写等NLP任务提供显著的效果提升。但提高模型精度的同时，Transformes相关模型也带来了更多的计算量。由于深度学习的训练和推理任务存在差异

作者：串烧鱼丸 链接：https://www.zhihu.com/question/308982522/answer/837703680 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 以下是我做视频以来收集到的一些素材网站包括了影视、音效、图片、模板等方面，另外我还整理了一份视频剪辑素材包括无版权的音乐，可商用的字体，录屏软件、以及Pr、Ae插件放在文章末尾，有需要的同学可以选择领取。 一、影视类 电影家园（ www.idyjy.com ） 这个网站的更新速度还是挺快的，你可以看到近期最新的电影以及电视剧。这个网站不仅可以在线观看还支持bt下载。 电影素材（ rarbgprx.org/torrents ） 这是一个国外的网站，这里的视频都是网友自己录制上传的，清晰度的方面至少720。不过你要是搜索电影的话需要输入电影的英文名字，比如变形金刚你就要输入transformers；另外有时候下载视频需要爬梯子。 动漫（ www.miobt.com ） 这个网站不仅能够找到免费的动漫，而且还包含漫画、音乐、周边、Raw、Ova等素材。 视频解析网：（ www.parsevideo.com/ ） 这个网站主要提供国内外各种视频网站的直接下载链接解析，解析直链后即可直接通过链接下载视频。目前ParseVideo支持解析的网站主要分为几个大类：综合视频类网站

项目背景 以BERT为代表的Transformer神经网络是近年来NLP领域最重要的模型创新，很多NLP任务，如阅读理解、文章摘要、语义分类、同义改写等，都通过采用BERT获得了显著的效果提升。但是，如下图所示，Transformer带来更高的模型精度的同时也引入了更多的计算量，使用Transformer的线上NLP服务的高效部署面临着巨大挑战。鉴于BERT在各大互联网公司的广泛应用，非常必要实现一个能发挥充分CPU/GPU硬件计算能力的Transformer推理方法。 TurboTransformers的诞生源于腾讯内部对开源协同的推动。2019年初，腾讯技术委员会成立，下设开源协同、自研上云两个项目组和对外开源管理办公室，以此来促进内部代码的开放共享和协同共建。TurboTransformers来自于深度学习自然语言处理基础平台TencentNLP Oteam，作为基础性技术版块，率先进行了开源协同的实践，旨在搭建统一的深度学习 NLP （Natural Language Processing，自然语言处理）基础平台、提升研发效能。在内部对技术反复打磨的基础上，该项目进一步对外开源。 在业界，Transformers模型的训练部分通常采用tensorflow或者pytorch这种训练框架完成。由于深度学习的训练和推理任务存在差异，训练框架直接应用于线上推理并不能得到极致的性能

作者|huggingface 编译|VK 来源|Github 从 v2.2.2 开始，你可以使用库中内置的CLI上传与社区共享你的微调模型。 首先，在以下网址上创建一个帐户。 https://huggingface.co/join 然后： transformers-cli login # 使用与huggingface.co上相同的凭据登录 上传你的模型： transformers-cli upload ./path/to/pretrained_model/ # 上传一个文件夹包含weights/tokenizer/config # 通过`.save_pretrained()`保存 transformers-cli upload ./config.json [--filename folder/foobar.json] # 上传单个文件 # (你可以选择覆盖其文件名，该文件名可以嵌套在文件夹中) 然后，可以通过其标识符，用户名和上面的文件夹名称的组合来访问模型： "username/pretrained_model" 请在 model_cards/ 文件夹下添加README.md到仓库中，其中 model_cards/ 包括：模型描述，训练参数（数据集，预处理，超参数），评估结果，预期用途和限制等。 现在你的模型现在在havingface.co/models上有一个页面🔥

3 月，跳不动了？>>> 理解rxjava中的compose 一.compose基本概念及使用 引入： 1 2 如果我们相对多个流重复利用一系列操作符该怎么办？ 一种方式是，提取一个工具方法，把复用的地方抽取成一个方法applySchedulers。 1 2 另外一种方法就是使用compose. compose常和Transformers。 Transformers 1 2 3 4 换句话说就是提供给他一个Observable它会返回给你另一个Observable，这和lift等操作符有着同等功效。 例如： 定义一个Transformers。 1 2 3 4 5 6 7 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 好处在于： 1.实现一系列操作符的复用 2.不破坏链式调用的结构 二.和flatmap的区别 1 2 3 4 5 6 7 三.应用场景示例 可参考rxlifecycle绑定生命周期的时候就是使用的compose方法来复用一些处理逻辑。 来源： oschina 链接： https://my.oschina.net/u/1177694/blog/1936582

【SpringIOC容器初始化（一）】 1、 IOC容器是指的spring bean 工厂里面MAP存储结构，包含beanFactory、applicationContext工厂； 2、 beanFactory采取的延迟加载,第一次getBean时才会初始化Bean； applicationContext是加载完applicationContext.xml 就创建了具体的bean实例(只对BeanDefition中描述是单例的bean,才进行恶汉模式创建) 3、applicationContext接口常用实现类 classpathXmlApplicationContext : 它是从类的跟路劲下加载配置文件,推荐使用这种 FileSystemXmlApplicationContext: 它是从磁盘上加载配置文件,配置文件可以在磁盘的任意位置 AnnotationConfigApplicationContext : 当我们使用注解配置容器对象时，需要使用此类来创建 spring 容器。它用来读取注解。 4、步骤 4.1 new ClassPathXmlApplicationContext(),初始化ClassPathXmlApplicationContext public ClassPathXmlApplicationContext(String[] configLocations,

1. 引言 信息流是目前大众点评除搜索之外的第二大用户获取信息的入口，以优质内容来辅助用户消费决策并引导发现品质生活。整个大众点评信息流（下文简称点评信息流）围绕个性化推荐去连接用户和信息，把更好的内容推荐给需要的用户。信息流推荐系统涉及内容挖掘、召回、精排、重排、创意等多层机制和排序。本文主要围绕创意部分的工作展开，并选取其中重要的文本创意优化做介绍，分为三个部分：第一部分阐述几个重点问题，包括创意优化是什么，为什么做，以及挑战在哪里；第二部分讲述领域内的应用及技术进展；第三部分介绍我们创意优化的实践，最后做个总结。 什么是创意优化 创意是一个宽泛的概念，它作为一种信息载体对受众展现，可以是文本、图像、视频等任何单一或多类间的组合，如新闻的标题就是经典的创意载体。而创意优化，作为一种方法，指在原有基础上进一步挖掘和激活资源组合方式进而提升资源的价值。在互联网领域产品中，往往表现为通过优化创意载体来提升技术指标、业务目标的过程，在信息流中落地重点包括三个方向： 文本创意 ：在文本方面，既包括了面向内容的摘要标题、排版改写等，也包括面向商户的推荐文案及内容化聚合页。它们都广泛地应用了文本表示和文本生成等技术，也是本文的主要方向。 图像创意 ：图像方面涉及到首图或首帧的优选、图像的动态裁剪，以及图像的二次生成等。 其他创意 ：包括多类展示理由（如社交关系等）、元素创意在内的额外补充信息

最近，用规则引擎(drools)的封装了一个jar包，给别人使用。用的是maven-assembly-plugin打的包，可以把多个jar包里的class 给打成一个jar，感觉还是满好用的，但是打包成功后，发现报空指针错误， SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details. Exception in thread "main" java.lang.NullPointerException at org.kie.internal.utils.KieHelper.<init>(KieHelper.java:43) at com.topnet.ruleengine.RuleCall.geKieSession(RuleCall.java:145) at com.topnet.ruleengine.RuleCall.call(RuleCall.java:43) at M.main(M.java:17) 感觉少打哪个个东西了