智能平台

   因新冠肺炎疫情，学校延期开学。为了让广大学生在家时间不浪费，提高相关计算机技能。阿里云多方产品联合开发者社区，推出了高校“在家实践”计划，其中 阿里云视觉智能开放平台 （vision.aliyun.com)为赋能此次活动，助力大学生提高技能，所有参加此次活动的高校学生均可免费使用该平台下的70+种视觉AI能力，另外参加此次活动每人还可免费领取一台云服务器ECS以及在线实践课程等资源。    在活动举办期间，很多同学通过现有的资源搭建出了属于自己的网站或者是博客，并对接相关功能，成功实现网页功能的配置。我们有幸采访到了其中一位开发者臧家河同学，那么接下来听听他是怎么看待此次活动的。    案例地址： http://ms.bcaqfy.xin/AliAi/ 阿里云： 加入此次活动的初衷是什么？ 臧家河： 本身作为一个软件技术专业的学生来说，本身就对科技类开发类的知识感兴趣，当时也是抱着提高自身技术、开拓视野结交更多的开发牛人的想法，因此报名参加了此次活动。 阿里云： 是什么原因让你制作了车牌识别页面呢？ 臧家河： 在报名此次活动后有加入对应的钉钉群，在群里面发现很多技术大牛在分享自己的作品，这也促使我萌生出制作网页的想法，也想在群里发自己的作品和大家交流，刚好此次活动提供了免费的ecs和ai能力，我就通过这些内容搭建了一个网页端的车牌识别页面。 阿里云：

小悦还沉浸在新春开工大吉的工作中，微软Power BI就又迎来了一个好消息！据Gartner刚新鲜出炉的《 2019年Gartner的分析和商业智能平台魔力象限报告》，微软迄今已连续12年成为Gartner分析和BI平台魔力象限的领导者！在富有远见的领导力和执行力方面，Power BI在过去充满激情的2018年里变得越来越好！今天小悦就和大家一起来分享此报告的关键要点。 分析和商业智能平台的魔力象限 资料来源：Gartner（2019年2月） 小悦根据Gartner近两年（2018与2019）的报告，对各商业智能平台的发展态势做了分析，一起来看看各厂商在去年成绩的变化吧！箭头的始点代表该厂商去年的位置，通过箭头方向和线条长短，反映该厂商排名上升或下滑的幅度大小。 商业智能产品2017与2018年的发展态势 资料来源：Gartner历年报告 Microsoft通过Power BI提供数据准备，基于可视化的数据发现，交互式仪表板和增强分析。它可作为在Azure云中运行的SaaS应用或作为本地化部署Power BI Report Server。Power BI Desktop可用作独立的免费个人分析工具。当高级用户正在编写涉及本地数据源的复杂数据整合时也需要它。另外，微软拥有全面且富有远见的产品路线图，旨在为全球化和人人使用的Power BI来所有分析场景，并且客户满意度很高！

Serverless工作流来了！ 发布会传送门 抢先了解Serverless技术干货 4月，阿里云Serverless工作流正式商业化，这是一款用于协调多个分布式任务执行的全托管 Serverless 云服务。产品致力于简化开发和运行业务流程所需要的任务协调、状态管理以及错误处理等繁琐工作，让用户聚焦业务逻辑开发。 每家企业都会遇到工作流，诸如企业内部审批、采购订单、ETL、自动化运维等日常企业事务。而对于大数据AI、基因、音视频等行业，更离不开多媒体视频转码审核、大数据处理、机器学习流水线、基因测序工作流等任务。 Serverless工作流，将流程逻辑与任务执行分开，支持不同架构、不同网络环境、不同语言编写的应用，提供全面的服务编排能力、完善的流程状态管理和可视化监控、运维全托管式省心服务。同时，将成本降低到20CU，支持异步方式的无限长时间调用，为广大企业用户提供了高容错、高可维护性和高观测性，解锁复杂和冗长，让用户聚焦业务逻辑的开发。 据悉，著名无人驾驶企业图森未来，基于Serverless工作流产品实现了自动化的数据处理平台，结合使用消息服务打通云上云下数据，优化原有的本地任务流，高效管理任务的生命周期及数据共享。 "Serverless 工作流是阿里云 Serverless 产品体系中的关键一环。" 阿里云 Serverless产品负责人杨皓然表示，“ 通过

Serverless工作流来了！ 发布会传送门 抢先了解Serverless 技术干货4月，阿里云Serverless工作流正式商业化，这是一款用于协调多个分布式任务执行的全托管 Serverless 云服务。产品致力于简化开发和运行业务流程所需要的任务协调、状态管理以及错误处理等繁琐工作，让用户聚焦业务逻辑开发。 精准打造云上自动生产线，Serverless工作流正式商用 工作流是一种非常常见的场景，比如企业内部审批、采购订单、ETL等日常企业事务，或者大数据处理流水线，常规或定制化自动化运维等。此外，音视频行业的多媒体文件分片转码、格式转换、审核校验和人脸识别等长时任务，电商旅游行业的客户线上订单，AI行业的机器学习流水线， 生信行业的基因测序工作流。 这些场景面临着以下难点：一般由众多异步分布式任务组成，控制逻辑和任务逻辑交织在一起，流程复杂冗长；分布式任务可能跨越公共云和本地机房，安全的打通网络代价很大；整个工作流执行完毕耗时过长，造成资源占用的浪费；涉及异步且关键业务流程，务必保证数据一致性；繁复的执行步骤如何进行可视化监控等等。 Serverless工作流正式针对这些痛点，分离控制逻辑与任务逻辑，细化责任，便于管理和维护； 将流程以模版方式统一定义控制，简化编排，通过串联或并行等多种方式编排任务；支持函数，队列，云服务等多种任务类型，打通公共云和企业内网

Serverless工作流来了！ 发布会传送门 抢先了解Serverless技术干货 4月，阿里云Serverless工作流正式商业化，这是一款用于协调多个分布式任务执行的全托管 Serverless 云服务。产品致力于简化开发和运行业务流程所需要的任务协调、状态管理以及错误处理等繁琐工作，让用户聚焦业务逻辑开发。 每家企业都会遇到工作流，诸如企业内部审批、采购订单、ETL、自动化运维等日常企业事务。而对于大数据AI、基因、音视频等行业，更离不开多媒体视频转码审核、大数据处理、机器学习流水线、基因测序工作流等任务。 Serverless工作流，将流程逻辑与任务执行分开，支持不同架构、不同网络环境、不同语言编写的应用，提供全面的服务编排能力、完善的流程状态管理和可视化监控、运维全托管式省心服务。同时，将成本降低到20CU，支持异步方式的无限长时间调用，为广大企业用户提供了高容错、高可维护性和高观测性，解锁复杂和冗长，让用户聚焦业务逻辑的开发。 据悉，著名无人驾驶企业图森未来，基于Serverless工作流产品实现了自动化的数据处理平台，结合使用消息服务打通云上云下数据，优化原有的本地任务流，高效管理任务的生命周期及数据共享。 "Serverless 工作流是阿里云 Serverless 产品体系中的关键一环。" 阿里云 Serverless产品负责人杨皓然表示，“ 通过

【推荐阅读】微服务还能火多久？>>> “Hiring a Machine Learning engineer or Data Scientist in Silicon Valley is becoming like hiring a professional athlete. That’s how demanding it is” — The New York Times 基于深度学习识别姑息治疗患者 Stanford ML Group 建立了一个使用深度学习算法的程序，根据电子健康记录（Electronic Health Record ，EHR，包括病历、心电图、医疗影像等信息）数据确定在未来3-12个月高风险死亡的住院患者。这些病人的预警信息将发送给姑息治疗小组，这有助于姑息护理小组尽早介入、提供服务。 姑息治疗（Palliative Care ，在日本、中国台湾翻译为舒缓医学）起源于 hospice运动，最早起源于公元四世纪。根据世界卫生组织的定义，姑息治疗强调控制疼痛及患者有关症状，并对心理、社会和精神问题予以重视，目的是为病人和家属赢得最好的生活质量。 预测模型是一个 18 层的深度神经网络，输入参数为一个病人的 EHR 数据，输出为未来 3-12 个月死亡的概率。训练数据采用斯坦福医院 EHR 数据库中的历史数据，包含超过 200 万名患者的数据。EHR

个性推荐算法说的很多了，常用的模型是： U*V= Q 其中Q是评分表，一般共3列：用户id，物品id，评分值 U是用户特征表，V是物品特征表。 算法的最终目标就是从Q算出U和V。那么Spark Mllib里有ALS算法可以做矩阵分解，其基本原理是最小交叉二乘法，用到了Breeze库的矩阵函数库。所谓交叉二乘就是轮流固定U或V，来算出V或U。比如第一轮固定U，来算出V，第二轮固定算出的V，来算出U。直到最后误差收敛。 Spark里主要是用RDD框架来对数据分块计算，达到并行的特点。 而Tensorflow里用深度学习的方法来实现矩阵分解就更简便了，其基本原理是根据U*V和Q的差值来自动优化，深度学习的特点就是只要你搭建好了学习模型，那么只要自动训练就可以找到最优解，因此实现起来也很方便。 TensorFlow的代码可以参考如下。 1、 收集原始数据 import pandas as pd import numpy as np import tensorflow as tf # 第一步：------------------------收集和清洗数据 ratings_df = pd.read_csv('F:\Machine\data_sets\ml-latest-small/ratings.csv') # print(ratings_df.tail()) #

大家习惯使用TensorFlow进行模型的训练、验证和预测，但模型完善之后的生产上线流程，就变得五花八门了。针对这种情况Google提供了TensorFlow Servering，可以将训练好的模型直接上线并提供服务。在2017年的TensorFlow开发者Summit上便提出了TensorFlow Serving。 传送门： https://www.youtube.com/watch?v=q_IkJcPyNl0&list=PLOU2XLYxmsIKGc_NBoIhTn2Qhraji53cv&index=13 但那时候客户端和服务端的通信只支持gRPC。在实际的生产环境中比较广泛使用的C/S通信手段是基于RESTfull API的，幸运的是从TF1.8以后，TF Serving也正式支持RESTfull API通信方式了。 服务框架 TF Serving服务框架 基于TF Serving的持续集成框架还是挺简明的，基本分三个步骤： 模型训练 这是大家最熟悉的部分，主要包括数据的收集和清洗、模型的训练、评测和优化； 模型上线 前一个步骤训练好的模型在TF Server中上线； 服务使用 客户端通过gRPC和RESTfull API两种方式同TF Servering端进行通信，并获取服务； TF Serving工作流程 TF Serving工作流程 TF

【一】代码下载 https://github.com/tensorflow/tensorflow/releases/ PS：本次源码分析采用1.11版本 【二】Session简介 在TensorFlow中，session是沟通tf的桥梁，模型的训练、推理，都需要通过session，session持有graph的引用。tf支持单机与分布式，因此session也分为单机版与分布式版。 【三】session类图 Session ::tensorflow\core\public\session.h DirectSession ::tensorflow\core\common_runtime\direct_session.h GrpcSession ::tensorflow\core\distributed_runtime\rpc\grpc_session.h class DirectSession : public Session --->单机版session class GrpcSession : public Session ---> 分布式版session 【四】session创建 tf对外提供了一套C API，负责给client语言使用。在tensorflow\c\c_api.h中，session的创建流程我们从这里开始。 TF_NewSession NewSession

3 月，跳不动了？>>> 玄念 两年多之前我在“ex公司”的时候，有一个明确的项目需求是集装箱识别并计数，然后通过OCR识别出之前计数的每一个集装箱号，与其余业务系统的数据进行交换，以实现特定的整体需求。当时正好Tensorflow Object Detection API 发布了，就放弃了YOLO或者SSD的选项，考虑用TF实现Demo做POC验证了。 背景 之前也并未接触过Deep Learning相关的事情，为了验证这个需求可以实现并满足交付要求，从入门到了解到选择到学习到准备图片并标注到完成基本的Python Demo验证一个人前后差不多用了2个月时间（那时候用的还是12年中的MacBook Air），验证完成后，交给了C++和C#的小伙伴们去实现。在这个过程中感受到了Deep Learning的魅力与强大以及对于未来的无限可能，就带着我的研发小伙伴们走向这条路前进了，人脸、语音这些都尝试了，也都嵌入了已有都产品中，也不会因为只有第三方算法而各种踩坑了。 最近重装了Mac，重写个Demo验证下Inteld对于CPU的DL支持有多大改善，说实话，代码不重要，一点不复杂，我更想借这个Demo说一下做AI技术工程化落地的思考方法和实现过程。 问题分析 1、明确要具体解决的问题 这个需求有两个关键点，主要应用场景是在只有单摄像头监控的位置，实现集装箱装卸过程中：如何准确识别集装箱