人工神经网络作为智能算法的一种,一直以来在实践方面取得了一定的成就,比如数字识别、信号处理、数据预测、内容分类等等,但是在理论方面还是缺乏相关的严格数学分析与证明。
至于神经网络的相关算法分析将在以后的文章中介绍,这里先介绍下神经网络的分类原理,不足之处请大家指教,相互进步。
神经网络为什么能分类?又是如何分类的?以下是本人在相关研究中阅读到一些理解
图 1.1 3层前馈人工神经网络拓扑图
其中x1,x2,...xn为网络输入,y1,y2,...ym为网络输出。网络的输入输出变换关系如下:
(1)
(2)
其中W为网络权值,为第q层网络的第i个节点的阀值,yj为第q层网络的第j个节点的输出,为节点处的激励函数(通常情况下为S型的连续可导的函数:logsig,tan等)。那么高维空间的超平面可表示为:
(3)
首先,先介绍下二维空间下超平面的表示,如下图所示:
图 1.2 二维空间超平面划分圆点类和三角形类
图 1.3 判定原理
通过判定函数,我们就可以把三角形类与圆形类成功分开。那么高维的分类情况也是类似。
在这里,想问下是否考虑过为什么需要用到高维空间下的超平面?
首先我们先看一个例子:
属于一维空间的点:x1,x2,x3,其中x1=0, x2=1, x3=2, 如下图所示:
图 1.4 一维空间下,x1, x2, x3 的分布情况
考虑一个问题,如何用一条直线把圆点与方形分割出来(线性分类)? 在现在这种情况下是无法分割的。
为此,做些变动就可以用直线分割此2类物体。
1. 把一维空间的点映射到二维空间的点,这里我们采用如下函数把点映射到二维空间
那么一维的点x1,x2,x3可映射到点(x1,y1),(x2,y2),(x3,y3)
x1: 0 -----> (x1,y1):(0,0)
x2:1 -----> (x2,y2):(1,2^0.5)---(2^0.5 === 根号2)
x3:2 -----> (x3,y3):(4,2×2^0.5)---(2×2^0.5 === 2根号2)
2. 在二维空间找条直线分割新的映射点,如下图所示:
图 1.5 映射到二维空间,然后线性分割
至此,我们把一维非线性分类问题转移到二维线性分类问题。最终通过在二维找到分割面把二类分割。
总结:高维超平面是把低维非线性分类问题转换到高维空间,通过在高维空间找到超平面进行线性分类。
最后一点介绍神经网络权值范围对超平面的影响[1],此处是针对整型权值神经网络,即权值都为整数型。
图1.6 权值范围分别为[-3,3], [-4,4]和[-5,5]的超平面在区域[0,0.5]的分布情况
从图可以看到权值范围越大,超平面越密集,那么同样的两个不同类型的类别就越容易被分割在不同的区域内(即越容易进行分类)。
参考文献
[1]. Sorin Drafhici. On the capabilities of neural networks using limited precision weights [J]. Neural Networks, Contributed article. 2002, 15: 395-414.
注:其他相关参考文献未写在参考文献并不代表未参考,只是找不到相关论文,凭自己印象写出来。
- 大小: 23.9 KB
- 大小: 10.2 KB
- 大小: 9 KB
- 大小: 7.9 KB
- 大小: 7.8 KB
- 大小: 9.8 KB
- 大小: 20.7 KB
- 大小: 27.9 KB
- 大小: 10.3 KB
- 大小: 9.7 KB
- 大小: 14.1 KB
- 大小: 67.8 KB
分享到:
相关推荐
Matlab神经网络43个案例分析。 BP神经网络的数据 BP神经网络的非线 遗传算法优化BP神 神经网络遗传算法函 基于BP_Adaboost的 PID神经元网络解耦 RBF网络的回归--非 GRNN网络的预测--- 离散Hopfield神经网 离散...
基于神经网络的分类器,能够实现识别功能,附有源代码
资源中包括决策树分类算法、朴素贝叶斯分类算法、人工神经网络分类算法的代码(.ipynb,.py)和案例股票价格波动分析的数据(.csv),建议使用jupyter notebook打开.ipynb文件,体验更佳 1、资源配合博文《【python...
7.MATLAB神经网络43个案例分析 LVQ神经网络的分类——乳腺肿瘤诊断7.MATLAB神经网络43个案例分析 LVQ神经网络的分类——乳腺肿瘤诊断7.MATLAB神经网络43个案例分析 LVQ神经网络的分类——乳腺肿瘤诊断7.MATLAB神经...
2.MATLAB神经网络43个案例分析 BP神经网络的数据分类——语音特征信号分类2.MATLAB神经网络43个案例分析 BP神经网络的数据分类——语音特征信号分类2.MATLAB神经网络43个案例分析 BP神经网络的数据分类——语音特征...
《MATLAB 神经网络43个案例分析》源代码: 第1章 BP神经网络的数据分类——语音特征信号分类 第2章 BP神经网络的非线性系统建模——非线性函数拟合 第3章 遗传算法优化BP神经网络——非线性函数拟合 第4章 神经网络...
数据挖掘中分类算法----神经网络算法分析介绍
.MATLAB神经网络43个案例分析 概率神经网络的分类预测--基于PNN的变压器故障诊断.MATLAB神经网络43个案例分析 概率神经网络的分类预测--基于PNN的变压器故障诊断.MATLAB神经网络43个案例分析 概率神经网络的分类预测...
MATLAB神经网络30个案例分析 案例1 BP神经网络的数据分类-语音特征信号分类 案例2 BP神经网络的非线性系统建模-非线性函数拟合 案例3 遗传算法优化BP神经网络-非线性函数拟合 案例4 神经网络遗传算法函数极值寻优-非...
11.MATLAB神经网络43个案例分析 SOM神经网络的数据分类--柴油机故障诊断11.MATLAB神经网络43个案例分析 SOM神经网络的数据分类--柴油机故障诊断11.MATLAB神经网络43个案例分析 SOM神经网络的数据分类--柴油机故障...
案例14 SVM神经网络的回归预测分析---上证开盘指数预测 案例15 SVM神经网络的信息粒化时序回归预测 案例16 单层竞争神经网络的数据分类—患者癌症发病预测 案例17 SOM神经网络的数据分类--柴油机故障诊断 案例......
案例14 SVM神经网络的回归预测分析---上证指数开盘指数预测 案例15 SVM神经网络的信息粒化时序回归预测 案例16:SOM神经网络的数据分类--柴油机故障诊断 案例17:单层竞争神经网络的数据分类—患者癌症发病预测 案例...
MATLAB神经网络43个案例分析源代码&数据 《MATLAB 神经网络43个案例分析》目录 第1章 BP神经网络的数据分类——语音特征信号分类 第2章 BP神经网络的非线性系统建模——非线性函数拟合 第3章 遗传算法优化BP神经...
iris_classification_BPNeuralNetwork 本文用Python实现了BP神经网络分类算法,根据鸢尾花的4个特征,实现3种鸢尾花的分类。
本资源适用于参加美国大学生数学建模竞赛(美赛)的学生,特别是对语音信号处理和神经网络分类算法有兴趣的参赛者。对于其他对语音信号处理和神经网络分类算法研究感兴趣的学者和研究者,也具有一定的参考价值。 ...
MATLAB神经网络43个案例分析 初始SVM分类与回归MATLAB神经网络43个案例分析 初始SVM分类与回归MATLAB神经网络43个案例分析 初始SVM分类与回归MATLAB神经网络43个案例分析 初始SVM分类与回归MATLAB神经网络43个案例...
基于python CNN卷积神经网络模型实现6类别垃圾分类 毕业设计 附完整代码数据 目前垃圾分类已经在许多城市开展起来。这看似微不足道的“小事”,实则关系到13亿多人生活环境的改善,理应通过人工智能技术来大力提倡...
并引入了聚类算法的核心思想,改进误差反向传播神经网络分类算法收敛速度较慢的缺点。实验结果表明,提出的改进算法与传统的BP神经网络分类算法相比,具有较高的运算速度和较强的非线性映射能力,在收敛速度和准确...
Implements of MATAB神经网络案例分析 神经网络-分类.zip
《MATLAB 神经网络43个案例分析》源代码&数据 《MATLAB 神经网络43个案例分析》目录 第1章 BP神经网络的数据分类——语音特征信号分类 第2章 BP神经网络的非线性系统建模——非线性函数拟合 第3章遗传算法优化BP神经...