主要内容是
第一部分:人工智能和测试的介绍
第二部分:人工智能系统的特性和验收标准
第三部分:机器学习的性能指标和基准
第四部分:测试机器学习工作流程
第五部分:人工智能系统测试简介
第六部分:人工智能系统的黑盒测试
第七部分:人工智能系统的白盒测试
第八部分:测试人工智能的测试环境
第九部分:使用人工智能进行测试
引言
传统系统的测试已被很好地理解,但是基于AI的系统对我们的日常生活变得越来越普遍和至关重要,它带来了新的挑战。
这篇内容涵盖了人工智能(AI)的关键概念,我们如何确定验收标准以及如何测试基于AI的系统。
这些系统通常是复杂的(例如深层神经网络),基于大数据,指定不明确和不确定性,这给测试它们带来了许多新的挑战和机遇。
在整个文档中,首字母缩写词AI代表“人工智能”一词。
一、人工智能和测试的介绍
1.1 “人工智能”和“人工智能效应”的定义
1.2 AI使用案例
1.3 AI使用和以后的市场
91%的技术主管认为AI将成为下一次技术革命的核心。
1.4 基于AI系统的故障和测试的重要性
1.5 图灵测试和AI的历史
1.6 AI技术
搜索算法•推理技术–逻辑程序–规则引擎–演绎分类器–基于案例的推理–程序推理•机器学习技术–人工神经网络•前馈神经网络•递归神经网络–贝叶斯网络
–决策树–深度学习•卷积神经网络–强化学习–转移学习–遗传算法–支持向量机
结合使用这些技术,可以将一些最有效的基于AI的系统视为AI混合体。
1.7 AI开发框架
TensorFlow –基于数据流图,可用于Google的可扩展机器学习PyTorch-用于使用Python语言进行深度学习的神经网络
MxNet –亚马逊用于AWS的深度学习开源框架
Caffe / Caffe2-使用C ++和Python接口编写的深度学习开放框架CNTK –微软认知工具包(CNTK),一种开源深度学习工具包
Keras-用Python语言编写的高级API,能够在TensorFlow或CNTK上运行
1.8 NARROW VS一般AI和技术奇异性
到目前为止,所有成功的AI都是“狭窄”的AI,这意味着它可以处理一项专门的任务,例如下围棋,充当垃圾邮件过滤器或驾驶自动驾驶汽车。
通用AI比狭窄的AI先进得多,它是指一种基于AI的系统,它可以处理许多完全不同的任务,与人类一样。
通用AI也被称为高级机器智能(HLMI)。
2017年发布的一项针对AI研究人员的调查报告称,HLMI何时实现的总体平均估计值是到2061年。在这些AI研究人员中,有15%的人认为HLMI对人类会产生不良或非常不良的后果。
一个普遍的假设是,一旦实现了一般的AI(并且允许基于AI的系统访问互联网),基于AI的系统将使用对可用信息,处理能力和存储的访问进入自我循环-改进。
片刻之后,这将意味着该系统将变得比人类更智能(继续变得超级智能)。
这种智能爆炸发生的时间点称为技术奇点。
1.9 AI标准化
标准化旨在促进创新,帮助提高系统质量并确保用户安全,同时创建一个公平开放的行业生态系统。
AI标准化发生在各个级别,
包括:国际标准组织、区域标准组织、国家标准
1.9 AI的监管标准
监管标准可以分为两大类:适用于安全相关系统的标准和适用于非安全相关系统的标准,例如财务,公用事业和报告系统。
与安全相关的系统是那些可能对人,财产或环境造成伤害的系统。
第二部分——人工智能系统的特性和验收标准 ( 待完成)
来源:oschina
链接:https://my.oschina.net/u/4375161/blog/3290758