系统评价

推荐系统是互联网发展至今最常见也重要的技术之一。如今各类APP、网站、小程序等所有提供内容的地方，背后都有推荐系统在发挥作用。 开发好一套真正优秀的推荐系统非常有价值，但也非常艰巨。达观数据是国内推荐系统主要第三方供应商，一直在摸索中前进。 在想办法开发出强大的推荐系统服务好客户时，也一直在思考推荐系统的评估方法。 众所周知业界有一句俗话：“没有评价就没有进步”，其意思是如果没有一套科学的评价推荐系统效果的方法，那就找不到优化改进的方向，打造优秀的推荐系统就无从谈起。 笔者在几年前写过《 怎样量化评价搜索引擎的结果质量 》一文并首发于InfoQ（也可见知乎 https://zhuanlan.zhihu.com/p/30910760 ）。和搜索引擎相比，移动互联网时代的推荐系统应用面更广阔，评价指标也更复杂。 评价指标像一把尺子，指引着我们产品优化的方向。到底怎样才能科学合理的评价推荐系统的结果质量？从各类文献资料和网上文章里能看到数十种评估公式，让人眼花缭乱。这些指标各自有什么优缺点，应该怎样取舍？本文从我们的实践经验出发，对此进行一些深入的分析，期望对大家有所裨益（达观数据 陈运文）。 针对不同的推荐场景，一定要因地制宜的选择合适的评估方法 推荐场景是制定评价指标时最为关键的，脱离了推荐场景来谈评测指标就像无水之鱼。所谓“推荐场景”， 与所推荐的内容类型、展现方式

比较 推荐系统 搜索引擎 获取信息的方式不同 被动；模糊 主动；明确 个性化程度 高 低 服务特性 持续服务 （“好”的推荐系统往往让用户停留更多的时间，带来的增量点击，推荐成功数，成交转化提升量等） 快速满足 （“好”的搜索算法是需要让用户获取信息的效率更高、停留时间更短。） 特点 （用户存在大量的需求是比较难用精炼的文字组织的：一方面用户不愿意，另一方面搜索对语义的理解还无法足够深入） 满足难以文字表述的需求 （所以有了“相关推荐”、“猜你喜欢”） 推荐引擎又称为无声的搜索。 主流的搜索引擎仍然是以 文字 （最简洁、直接）构成查询词，搜索查询词也大都是比较短小的 相关理论 长尾理论阐述了推荐系统发挥的价值 （每一个人的品味和偏好都并非和主流人群完全一致，Chris指出：当我们发现得越多，我们就越能体会到我们需要更多的选择。） 马太效应：头部内容吸引了绝大部分点击 评价方式 相对宽泛，当应用于Top-N结果推荐时，MAP（Mean Average Precison）或CTR（Click Through Rate，计算广告中常用）是普遍的计量方法；当用于评分预测问题时，RMSE（Root Mean Squared Error）或MAE（Mean Absolute Error）是常见量化方法。 基于Cranfield评价体系，并基于信息检索中常用的评价指标

在信息检索、分类体系中，有一系列的指标，搞清楚这些指标对于评价检索和分类性能非常重要，因此最近做了一个汇总。 准确率、召回率、F1 信息检索、分类、识别、翻译等领域两个最基本指标是 召回率(Recall Rate) 和 准确率(Precision Rate) ，召回率也叫查全率，准确率也叫查准率，概念公式 : 召回率( R ecall) = 系统检索到的相关文件 / 系统所有相关的文件总数 准确率( P recision) = 系统检索到的相关文件 / 系统所有检索到的文件总数 图示表示如下： 注意：准确率和召回率是互相影响的，理想情况下肯定是做到两者都高，但是一般情况下准确率高、召回率就低，召回率低、准确率高，当然如果两者都低，那是什么地方出问题了 。一般情况，用不同的阀值，统计出一组不同阀值下的精确率和召回率，如下图： 如果是做搜索，那就是保证召回的情况下提升准确率；如果做疾病监测、反垃圾，则是保准确率的条件下，提升召回。 所以，在两者都要求高的情况下，可以用F1来衡量。 [python] view plain copy F1 = 2 * P * R / (P + R) 公式基本上就是这样，但是如何算图1中的A、B、C、D呢？ 这需要人工标注，人工标注数据需要较多时间且枯燥，如果仅仅是做实验可以用用现成的语料。当然，还有一个办法，找个一个比较成熟的算法作为基准

软件测试英语专业词汇 NLV：Nation Language Version 本地化版本 FVT：Functional Verification Testing 功能验证测试 TVT：Translation Verification Testing 翻译验证测试 SVT：System Verification Testing 系统验证测试 fault－－故障 在软件中一个错误的表现。 feasible path－－可达路径 可以通过一组输入值和条件执行到的一条路径。 feature testing－－特性测试 参考功能测试（Functional Testing） FMEA－－失效模型效果分析（Failure Modes and Effects Analysis） 可靠性分析中的一种方法，用于在基本组件级别上确认对系统性能有重大影响的失效 FMECA－－失效模型效果关键性分析(Failure Modes and Effects Criticality Analysis) FMEA的一个扩展，它分析了失效结果的严重性。 FTA－－故障树分析(Fault Tree Analysis) 引起一个不需要事件产生的条件和因素的确认和分析，通常是严重影响系统性能、经济性、安全性或其它需要特性。 functional decomposition－－功能分解 参考模块分解（modular

AUC是推荐系统中最常用的模型评价指标。基础概念要常看常新，最近复习了一遍AUC的概念，在此做个笔记。本文力求简洁系统地理解AUC的概念和计算方法，AUC在推荐/广告领域的局限性以及解决这一问题的另一个指标：Group AUC(GAUC) 1. 分类任务与混淆矩阵 认识auc的第一步，是看懂混淆矩阵： 预测\真实 1 0 1 TP FP 0 FN TN True/False代表预测的正确/错误； Positive/Negative代表预测值为1/0. TP是真1；FP是假1；FN是假0； TN是真0。 真阳率： T P R = T P T P + F N TPR = \frac{TP}{TP+FN} T P R = T P + F N T P ​ ，正样本被预测为1的概率； 假阳率： F P R = F P F P + T N FPR = \frac{FP}{FP+TN} F P R = F P + T N F P ​ ，负样本被预测为1的概率； 2. ROC曲线与AUC 以x轴为FPR, y轴为TPR，做出图称为ROC曲线 AUC的定义：Area Under ROC Curve，即ROC曲线下的面积 AUC的意义：随机抽取一对正负样本，AUC是 把正样本预测为1的概率大于把负样本预测为1的概率的概率 。这句话有点拗口，用公式写就是： A U C = P ( P 正 > P 负 )

前 言 进程优先级实际上是系统对进程重要性的一个客观评价。根据这个评价的结果来为进程分配不同的系统资源，这个资源包括内存资源和CPU资源。为了保证“公平公正”的评价每个进程，Google工程师为此设计了一套评价系统。本文试图从面相对象的角度和功能设计者角度来理解该功能，具体思路如下： 要实现一个功能，有必要的时候我们会去为他制定一些属性，对于设计者而言这些属性肯定是必须的，因此作为使用者我们必须理解这些属性的意义是什么。 同样要实现一个功能，设计者会定制一些该功能特有的行为，在代码里面体现为特定的函数，那么我们作为使用者，必须了解以下几个面:a.该行为的能产生什么样的结果，即行为的目的，b.该行为的触发条件，即什么时候会用到这些方法，为什么在这个时候要去触发？ 本文会从如下三个关键词和三个关键方法来展开分析和讨论 adj ：通过调整oom_score_adj来影响进程寿命(Lowmemorykiller杀进程策略)； schedGroup ：影响进程的CPU资源调度与分配； procState ：从进程所包含的四大组件运行状态来评估进程状态，影响framework的内存控制策略。比如控制缓存进程和空进程个数上限依赖于procState，再比如控制APP执行handleLowMemory()的触发时机等 updateOomAdjLocked ： 更新

企业领导高层重视 企业业务人员积极性 企业要有科学管理基础 资金保证 严格的组织和管理，用户和每个成员同理合作。 结构化方法，面向对象方法，原型方法。 企业系统规划（BSP）遵循的原则 支持企业总目标 面向企业中管理各层次的要求 从方法论上摆脱旧组织机构的依从性 使信息系统在结构上有良好的整体性 自上而下的规划和自下而上实施相结合 业务流程 是指一组共同为顾客创造价值，而又相互关联的活动，业务流程的特点有目标性、逻辑性、层次性。 BSP方法中的企业资源 计划与管理 产品与产品（主要资源） 支持性资源 结构化系统开发的主要阶段 总体规划 系统分析 系统设计 系统实施 运行维护 系统评价 编码设计应该遵循的原则 唯一化 规范化 标准化 可扩展 易修改 系统的可维护性以及评价指标 可维护性是指：维护人员理解、改正、改动和改进软件的难易程度。可维护性的评价指标有可理解性、可测试性、和可修改性。 程序质量的评价指标 可靠性、可读性、适应性、可维护性 信息系统的可行性分析包括 经济、技术、管理、环境 BSP定义企业过程 定义企业过程的基本方法是对企业的现实活动就行调查，以企业的关键资源为线索，追踪其生命周期，通过分析与综合，最终完成企业过程的定义。 一般步骤： 从计划与控制、产品与服务，和支持资源识别企业过程。 ERP 企业资源计划 以顾客驱动、基于时间、面向整个供应链为三个主要特征。

企业领导高层重视 企业业务人员积极性 企业要有科学管理基础 资金保证 严格的组织和管理，用户和每个成员同理合作。 结构化方法，面向对象方法，原型方法。 企业系统规划（BSP）遵循的原则 支持企业总目标 面向企业中管理各层次的要求 从方法论上摆脱旧组织机构的依从性 使信息系统在结构上有良好的整体性 自上而下的规划和自下而上实施相结合 业务流程 是指一组共同为顾客创造价值，而又相互关联的活动，业务流程的特点有目标性、逻辑性、层次性。 BSP方法中的企业资源 计划与管理 产品与产品（主要资源） 支持性资源 结构化系统开发的主要阶段 总体规划 系统分析 系统设计 系统实施 运行维护 系统评价 编码设计应该遵循的原则 唯一化 规范化 标准化 可扩展 易修改 系统的可维护性以及评价指标 可维护性是指：维护人员理解、改正、改动和改进软件的难易程度。可维护性的评价指标有可理解性、可测试性、和可修改性。 程序质量的评价指标 可靠性、可读性、适应性、可维护性 信息系统的可行性分析包括 经济、技术、管理、环境 BSP定义企业过程 定义企业过程的基本方法是对企业的现实活动就行调查，以企业的关键资源为线索，追踪其生命周期，通过分析与综合，最终完成企业过程的定义。 一般步骤： 从计划与控制、产品与服务，和支持资源识别企业过程。 ERP 企业资源计划 以顾客驱动、基于时间、面向整个供应链为三个主要特征。

企业领导高层重视 企业业务人员积极性 企业要有科学管理基础 资金保证 严格的组织和管理，用户和每个成员同理合作。 结构化方法，面向对象方法，原型方法。 企业系统规划（BSP）遵循的原则 支持企业总目标 面向企业中管理各层次的要求 从方法论上摆脱旧组织机构的依从性 使信息系统在结构上有良好的整体性 自上而下的规划和自下而上实施相结合 业务流程 是指一组共同为顾客创造价值，而又相互关联的活动，业务流程的特点有目标性、逻辑性、层次性。 BSP方法中的企业资源 计划与管理 产品与产品（主要资源） 支持性资源 结构化系统开发的主要阶段 总体规划 系统分析 系统设计 系统实施 运行维护 系统评价 编码设计应该遵循的原则 唯一化 规范化 标准化 可扩展 易修改 系统的可维护性以及评价指标 可维护性是指：维护人员理解、改正、改动和改进软件的难易程度。可维护性的评价指标有可理解性、可测试性、和可修改性。 程序质量的评价指标 可靠性、可读性、适应性、可维护性 信息系统的可行性分析包括 经济、技术、管理、环境 BSP定义企业过程 定义企业过程的基本方法是对企业的现实活动就行调查，以企业的关键资源为线索，追踪其生命周期，通过分析与综合，最终完成企业过程的定义。 一般步骤： 从计划与控制、产品与服务，和支持资源识别企业过程。 ERP 企业资源计划 以顾客驱动、基于时间、面向整个供应链为三个主要特征。

<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width,initial-scale=1.0, minimum-scale=1.0,maximum-scale=1.0,user-scalable=no"> <script src="lib/jquery-2.1.4.min.js"></script> <title>ES5CMP</title> <style> .a{ width: 50px; height: 50px; background-color: #07beed; display: inline-block; } .b{ background-color: #00A000; } .c{ background-color: #00A000; } </style> </head> <body> <div class="wrap"> <div class="a"></div> <div class="a"></div> <div class="a"></div> <div class="a"></div> <div class="a"></div> </div> </body> <script> $(".a")