一、原理
数据离散化（也称，数据分组），指将连续的数据进行分组，使其变为一段离散化的区间。
根据离散化过程中是否考虑类别属性，可以将离散化算法分为：有监督算法和无监督算法。事实证明，由于有监督算法充分利用了类别属性的信息，所以再分类中能获得较高的正确率。
常用的数据离散化方法：
- 等宽分组
- 等频分组
- 单变量分组
- 基于信息熵分组
数据离散化所使用的方法需要事先对数据进行排序，且假设待离散化的数据是按照升序排序。
1、等宽分组
原理：根据分组的个数得出固定的宽度，分到每个组中的变量的宽度是相等的。
如：现在有一个待离散化的数组[1, 7, 12, 12, 22, 30, 34, 38, 46]，需要分成三组，
那么，
，即宽度 =( 46 - 1)/3 = 15
分组后结果范围：[1,16]，(16, 31]，(31, 46]，第一个分组取的是全闭区间，
分组后结果：[1, 7, 12, 12]，[22, 30]，[34, 38, 46]
2、等频分组
原理：等频分组也叫分位数分组，即分组后，每个分组的元素个数是一样的。
如：现在有一个待离散化的数组[1, 7, 12, 12, 22, 30, 34, 38, 46]，需要分成三组，
那么，
，即每组元素的个数 = 9 / 3 = 3
分组后的结果：[1, 7, 12]，[12, 22, 30], [34, 38, 46]
3、单变量分组
原理：单变量分组，也叫秩分组。将所有元素按照降序或者升序排序，排序名次即为排序结果，即将相同的元素划分到同一个组。
如：现在有一个待离散化的数组[1, 7, 12, 12, 22, 30, 34, 38, 46]，
分组后的结果：[1], [7], [12, 12], [22], [30], [34], [38], [46]
4、基于信息熵分组
概念：
（1）信息量
Shannon认为，信息是用来消除随机不确定性的东西。即，衡量信息量大小就看这个消息消除不确定性的程度。
信息量的大小和事件发生的概率成反比。可以用公式表示为：
式中，p(x)表示x发生的概率。
（2）熵
熵，是在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。
可以表示为：
按照随机变量的所有可能取值划分数据的总熵E是所有事件的熵的加权平均：
式中，
是第x个事件出现的比例，是第个可能取值出现的次数，是所有取值出现的总次数。
熵表示的是样本集合的不确定性。熵越大，则样本的不确定性越大。
所以，基于信息熵进行数据分组的具体做法是：
- 对属性A的所有取值从小到大进行排序；
- 遍历属性A的每个值，将属性A的值分为两个区间、，使得将其作为分隔点划分数据集后的熵最小；
- 当划分后的熵大于设置的阈值且小于指定的数据分组个数时，递归对、执行步骤2中的划分。
总结：
上述分组方法中，等宽分组和等频分组实现起来比较简单，但需要人为指定分组个数。
等宽分组的缺点：对离散值比较敏感，将属性值不均匀地分布到各个区间。有些区间的元素个数较多，有些则较少，容易导致数据倾斜。
等频分组虽然能避免等宽分组的缺点，但是会将相同的元素分到不同的组，如例子中的“12”元素。
二、基于信息熵的数据离散化实现
import numpy as np import math class DiscreateByEntropy: def __init__(self, group, threshold): self.maxGroup = group # 最大分组数 self.minInfoThreshold = threshold # 停止划分的最小熵 self.result = dict() def loadData(self): data = np.array( [ [56,1],[87,1],[129,0],[23,0],[342,1], [641,1],[63,0],[2764,1],[2323,0],[453,1], [10,1],[9,0],[88,1],[222,0],[97,0], [2398,1],[592,1],[561,1],[764,0],[121,1] ] ) return data # 计算按照数据指定数据分组后的Shannon熵 def calEntropy(self, data): numData = len(data) labelCounts = {} for feature in data: # 获得标签,这里只有0或者1 oneLabel = feature[-1] # 设置字典中，标签的默认值 if labelCounts.get(oneLabel,-1) == -1: labelCounts[oneLabel] = 0 # 统计同类标签的数量 labelCounts[oneLabel] += 1 shannoEnt = 0.0 for key in labelCounts: # 同类标签出现的概率,某一标签出现的次数除以所有标签的数量 prob = float(labelCounts[key])/numData # 求熵，以2为底，取对数 shannoEnt -= prob * math.log2(prob) return shannoEnt # 按照调和信息熵最小化原则分割数据集 def split(self, data): # inf为正无穷 minEntropy = np.inf # 记录最终分割的索引 index = -1 # 按照第一列对数据进行排序 sortData = data[np.argsort(data[:,0])] # print(sortData) # 初始化最终分割数据后的熵 lastE1,lastE2 = -1, -1 # 返回的数据区间，包括数据和对应的熵 S1 = dict() S2 = dict() for i in range(len(data)): splitData1, splitData2 = sortData[:i+1], sortData[i+1:] # 计算信息熵 entropy1, entropy2 = ( self.calEntropy(splitData1), self.calEntropy(splitData2) ) # 计算调和平均熵 entropy = entropy1 * len(splitData1) / len(sortData) + entropy2 * len(splitData2) / len(sortData) if entropy < minEntropy: minEntropy = entropy index = i lastE1 = entropy1 lastE2 = entropy2 S1["entropy"] = lastE1 S1["data"] = sortData[:index+1] S2["entropy"] = lastE2 S2["data"] = sortData[index+1:] return S1, S2, entropy def train(self,data): # 需要遍历的key needSplitKey = [0] self.result.setdefault(0,{}) self.result[0]["entropy"] = np.inf self.result[0]["data"] = data group = 1 for key in needSplitKey: S1, S2, entropy = self.split(self.result[key]["data"]) if entropy > self.minInfoThreshold and group < self.maxGroup: self.result[key] = S1 newKey = max(self.result.keys()) + 1 self.result[newKey] = S2 needSplitKey.extend([key]) needSplitKey.extend([newKey]) group += 1 else: break if __name__ == '__main__': dbe = DiscreateByEntropy(group=6,threshold=0.5) data = dbe.loadData() dbe.train(data) print("result is {}".format(dbe.result)) 运行结果：
可见，将商品价格分为了5份，下标分别对应了0，1，2，3，4.