Han Yang 的答案说「可解释性应该指的是对于数据的可解释性」，我觉得可解释性应该指的是对于「结构」的可解释性。以分类问题举例，对于一些简单的分类问题，我们可以主动设计出一个解决算法，也就是某种结构，并通过测试数据来优化或者纠正这个结构，最重要的是，这个结构可以被人分析、理解和抽象——它最终可以还原为某种流程图，乃至一个逻辑代数的公式。但用神经网络来解决同样的问题，最终训练而来的模型同样是某种结构，却好像是「生长」出来的，没办法把它还原成更抽象的东西，甚至没有太多道理可以讲。
我感觉传统算法比较像传统机器制造业。假如我要做一个硬币分类器，我可以设计一个斜坡，从上到下开由小到大的孔，然后让硬币滑过斜坡，小硬币会先滑落，大硬币会最后滑落，这个结构是可以理解的（并且 predictable）。而神经网络比较像养蛊：我在一个粗大的垂直玻璃管中间放个架子，铺上几层有活性的胶状微粒。然后从玻璃管上方不停往下倒硬币，这些硬币会沉入胶状微粒层，从而改变掉落的方向。如果微粒层使得硬币按照大小分别接近指定落点，我就给这些胶状微粒投点营养剂，如果离远了，我就投点毒。倒了几百万个硬币之后，这些胶状物自己固化出来了一个结构，可以把我扔进去的硬币分别掉落到指定落点，而我却（接近于完全）不知道这些微粒生成出来的这个结构为什么能做到这件事（即便我知道单个微粒的工作原理，能调整每一个微粒，也可以改变微粒的层数，或者投放的营养液的剂量），也不知道这些微粒子为什么会生成这样一个结构
来源：CSDN
作者：__樵夫__
链接：https://blog.csdn.net/stevesea/article/details/82905453