《BI那点儿事》数据挖掘各类算法——准确性验证

原文:《BI那点儿事》数据挖掘各类算法——准确性验证

准确性验证示例1：——基于三国志11数据库

数据准备：

挖掘模型：
依次为：Naive Bayes 算法、聚类分析算法、决策树算法、神经网络算法、逻辑回归算法、关联算法

提升图：

依次排名为：
1. 神经网络算法（92.69% 0.99）
2. 逻辑回归算法（92.39% 0.99）
3. 决策树算法（91.19% 0.98）
4. 关联算法（90.60% 0.98）
5. 聚类分析算法（89.25% 0.96）
6. Naive Bayes 算法（87.61 0.96）

Naive Bayes算法——分类矩阵

说明：
其他类的538个样本有482个预测正确，32个错分为军师类，24个错分为将军类，预测正确率为89.59%；
军师20个样本有13个预测正确，7个错分为其他类，预测正确率为65%；
将军112个样本有92个预测正确，16个错分为其他类，4个错分为军师类，预测正确率为82.14%。
聚类分析算法——分类矩阵

说明：
其他类的538个样本有536个预测正确，2个错分为将军类，预测正确率为99.63%；
军师20个样本有0个预测正确，20个错分为其他类，预测正确率为0%；
将军112个样本有62个预测正确，50个错分为其他类，预测正确率为55.36%。
决策树算法——分类矩阵

说明：
其他类的538个样本有538个预测正确，预测正确率为100%；
军师20个样本有0个预测正确，20个错分为其他类，预测正确率为0%；
将军112个样本有73个预测正确，39个错分为其他类，预测正确率为65.18%。
神经网络算法——分类矩阵

说明：
其他类的538个样本有524个预测正确，5个错分为军师类，9个错分为将军类，预测正确率为97.40%；
军师20个样本有5个预测正确，15个错分为其他类，预测正确率为25%；
将军112个样本有92个预测正确，20个错分为其他类，预测正确率为82.14%。
逻辑回归算法——分类矩阵

说明：
其他类的538个样本有526个预测正确，6个错分为军师类，6个错分为将军类，预测正确率为97.77%；
军师20个样本有5个预测正确，15个错分为其他类，预测正确率为25%；
将军112个样本有88个预测正确，24个错分为其他类，预测正确率为78.57%。
关联算法——分类矩阵

说明：
其他类的538个样本有519个预测正确，19个错分为军师类，预测正确率为96.47%；
军师20个样本有0个预测正确，20个错分为其他类，预测正确率为0%；
将军112个样本有88个预测正确，24个错分为其他类，预测正确率为78.57%。
分类矩阵——预测正确率汇总分析：

可以看出Naive Bayes 算法在预测军师身份正确率最高，达到65%，决策树算法、关联算法、聚类分析算法为0%，神经网络算法、逻辑回归算法为25%；
决策树算法在预测其他身份正确率最高，达到100%；
神经网络算法、Naive Bayes 算法在预测将军身份正确率并列，达到82.14%。

准确性验证示例2：——基于个股数据
数据准备：

挖掘模型依次为：
StockClustering 聚类分析算法
StrockDecisionTrees 决策树算法
StockNeuralNetWork 神经网络算法
StockLogistic 逻辑回归算法

提升图：

依次排名为：
1. 逻辑回归算法（49.73% 0.52）
2. 神经网络算法（49.63% 0.53）
3. 聚类分析算法（48.13% 0.51）
4. 决策树算法（47.28% 0.50）
聚类分析算法——分类矩阵：

说明：
持平的114个样本有0个预测正确，91个错分为跌，23个错分为涨，预测正确率为0%；
跌的443个样本有340个预测正确，103个错分为涨，预测正确率为76.75%；
涨的380个样本有111个预测正确，269个错分为跌，预测正确率为29.21%。

决策树算法——分类矩阵：

说明：
持平的114个样本有0个预测正确，114个错分为跌，预测正确率为0%；
跌的443个样本有443个预测正确，预测正确率为100.00%；
涨的380个样本有0个预测正确，380个错分为跌，预测正确率为0%。

神经网络算法——分类矩阵：

说明：
持平的114个样本有0个预测正确，60个错分为跌，54个错分为涨，预测正确率为0%；
跌的443个样本有277个预测正确，166个错分为涨，预测正确率为62.53%；
涨的380个样本有188个预测正确，192个错分为跌，预测正确率为49.47%。

逻辑回归算法——分类矩阵：

说明：
持平的114个样本有0个预测正确，89个错分为跌，25个错分为涨，预测正确率为0%；
跌的443个样本有380个预测正确，63个错分为涨，预测正确率为85.78%；
涨的380个样本有86个预测正确，294个错分为跌，预测正确率为22.63%。

分类矩阵——预测正确率汇总分析：