重庆时时彩优博客户端: 
能量可控的连续HOPFIELD神经网络及优化求解方法.pdf
(10)申请公布号 CN 103646283 A (43)申请公布日 2014.03.19 CN 103646283 A (21)申请号 201310594388.8 (22)申请日 2013.11.21 G06N 3/02(2006.01) G06F 17/11(2006.01) (71)申请人 中国民航大学 地址 300300 天津市东丽区津北公路 2898 号 (72)发明人 费春国 陈维兴 张积洪 (74)专利代理机构 天津才智专利商标代理有限 公司 12108 代理人 庞学欣 (54) 发明名称 能量可控的连续 Hopfield 神经网络及优化 求解方法 (57) 摘要 一种能量可控的连续 Hopfield 神经网络及 优化求解方法。神经网络包括 ： 多个神经元、 连接 权值、 控制器和神经元输出 ； 多个神经元包括神 经元 S1…Sn； 多个连接权值包括连接权值 W11… W1n、 W21…W2n…Wn1…Wnn ； 多个控制器包括控制 器 u1…un ； 多个神经元输出包括多个神经元输出 x1…xn。本发明提供的能量可控的连续 Hopfield 神经网络可以用软件或硬件实现 ； 针对不同特性 的优化问题， 设置不同控制量 ui， 使得网络有针对 性地求解优化问题， 提高求解效率和准确性。 还可 通过设置不同的控制量ui控制网络按照指定的搜 索路径搜索优化问题的解。 (51)Int.Cl. 权利要求书 2 页 说明书 6 页 附图 2 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书6页 附图2页 (10)申请公布号 CN 103646283 A CN 103646283 A 1/2 页 2 1. 一种能量可控的连续 Hopfield 神经网络， 其特征在于 ： 其包括 ： 多个神经元 （1） 、 连 接权值 （2） 、 控制器 （3） 和神经元输出 （4） ； 多个神经元 （1） 包括神经元 S1…Sn； 多个连接权 值 （2） 包括连接权值 W11…W1n、 W21…W2n…Wn1…Wnn ； 多个控制器 （3） 包括控制器 u1…un ； 多个神经元输出 （4） 包括多个神经元输出 x1…xn ； 其中 ： 控制器 u1…un 为神经元的控制输 入， 其分别与神经元 S1…Sn 相连接 ； 神经元输出 x1…xn 为神经元 S1…Sn 的输出信号， 其 分别与神经元S1…Sn相连接 ； 每个神经元具有n个输入端， 神经元S1的n个输入端分别与 连接权值 W11…W1n 相连接， 以此类推， 神经元 Sn 的 n 个输入端分别与连接权值 Wn1…Wnn 相连接 ； 连接权值 W11 的输入端分别与连接权值 W21…Wn1 的输入端相连接、 同时还与神经 元S1的神经元输出x1相连接 ； 以此类推， 连接权值W1n的输入端分别与连接权值W2n…Wnn 的输入端相连接， 同时还与神经元 Sn 的神经元输出 xn 相连接。 2. 根据权利要求 1 所述的能量可控的连续 Hopfield 神经网络， 其特征在于 ： 所述的神 经元 （1） 由累加器∑、 连续且单调递增的神经元激活函数 ψ 以及电阻和电容来实现， 或者 由功能类似的函数或硬件来实现， 神经网络的动态方程为 ： 其中 ： xi， i=1,2,L,n， 是第 i 个神经元的输出 ； yi， i=1,2,L,n， 是 第 i 个神经元内部状 态 ； Wij， i,j=1,2,L,n， 是第 i 个神经元与第 j 个神经元的连接权值 ； ui是外部输入的控制 量 ； k,α,β,ε 为常数 ； 此神经网络的能量函数为 ：其中积分项表示一 种内部状态和输出值关系的能量项。 3. 根据权利要求 1 所述的能量可控的连续 Hopfield 神经网络， 其特征在于 ： 所述的神 经元 （1） 内部状态的起始值为在 [-1,1] 连续范围内的随机数。 4. 根据权利要求 1 所述的能量可控的连续 Hopfield 神经网络， 其特征在于 ： 当所述的 连接权值 （2） 用矩阵表示时， 该矩阵应为对称矩阵 ； 所述连接权值或者是正或者是负。 5.一种如权利要求1所述的能量可控的连续Hopfield神经网络的优化求解方法， 其特 征在于 ： 所述的优化求解方法包括按顺序进行的下列步骤 ： 步骤一、 建立能量函数的 S01 阶段 ： 为所求解的优化问题建立一个能量函数 E ； 步骤二、 设置参数初始值的 S02 阶段 ： 设置 yi的起始值为 [-1,1] 的连续范围内的随机 数 ； 设置 k,α,β,ε 值为任意实数 ； 步骤三、 制定控制定律的 S03 阶段 ： 根据优化问题的特性， 设置 ui的控制规律 ； 步骤四、 设置最大迭代步数的 S04 阶段 ： 根据具体情况设定最大迭代步数 ； 步骤五、 计算所有神经元输出的初始值的 S05 阶段 ： 根据初始的内部状态 yi和 ui， 计算 所有神经网络神经元输出的初始值 xi； 步骤六、 根据串行工作方式， 更新神经元内部状态和输出的 S06 阶段 ： 以串行工作方 式， 根据神经网络的动态方程和当前的 xi和 yi， 更新神经网络的所有神经元内部状态 yi和 权 利 要 求 书 CN 103646283 A 2 2/2 页 3 神经元输出 xi， 完成一次神经网络的迭代 ； 步骤七、 计算优化目标函数结果的 S07 阶段 ： 根据神经网络神经元的输出计算能量函 数的结果 ； 步骤八、 判断是否优于上一次结果的 S08 阶段 ： 检查此计算结果是否比上一次的计算 结果好， 如判断结果为 “是” ， 则进入下一步 S09 阶段， 否则下一步进入 S10 阶段 ； 步骤九、 保留此结果的 S09 阶段 ： 保存此次计算的结果， 然后进入下一步 S11 阶段 ； 步骤十、 放弃此结果的 S10 阶段， 放弃此次计算的结果， 然后进入下一步 S11 阶段 ； 步骤十一、 判断是否达到最大迭代步数的 S11 阶段 ： 判断是否达到设置的最大迭代步 数， 如果判断结果为 “是” ， 则进入下一步 S13 阶段， 否则下一步进入 S12 阶段 ； 步骤十二、 更新控制量的 S12 阶段 ： 根据 ui的变换规则， 更新 ui的值， 然后下一步重新 进入 S06 阶段 ； 步骤十三、 输出最终结果的S13阶段 ： 输出S09阶段所保存的计算结果， 结束迭代， 求得 能量函数的最优值， 也就是要求解的优化问题的最优值 ； 本流程至此结束。 6. 根据权利要求 6 所述的优化求解方法， 其特征在于 ： 在 S01 阶段中， 所述的建立能量 函数的方法为 ： 首先为所求解的优化问题建立一个能量函数 E， 并将此能量函数映射到所 述的能量可控的连 续 Hopfield 神经网络中， 映射后的神经网络动态方程为 ： 。 7.根据权利要求6所述的优化求解方法， 其特征在于 ： 在S03阶段中， 所述的设置ui的 控制规律采用如下的控制量设计方法 ： （1） 先设计控制量控制此神经网络能量上升到最大值， 然后控制此神经网络能量慢慢 下降， 搜索最优解 ； 如果得到的结果满意， 则停止， 否则控制此神经网络能量再次上升到最 大值， 改变控制量的大小并满足网络能量下降的条件， 以不同的下降速度控制此神经网络 能量下降， 重新搜索最优解 ； 重复上述过程 n 次， 从中找到较好的解作为最终的结论 ； （2） 当所设计控制量使此神经网络陷入局部最小或不合理解， 通过设计控制量控制此 神经网络能量增加逃离局部最小或不合理解， 然后重新设定控制量的大小， 并控制此神经 网络保持下降条件， 改变下降的方向和幅度， 从而改变此神经网络搜索的路径， 进行优化求 解。 权 利 要 求 书 CN 103646283 A 3 1/6 页 4 能量可控的连续 Hopfield 神经网络及优化求解方法 技术领域 [0001] 本发明属于神经网络技术领域， 特别是涉及一种能量可控的连续 Hopfield 神经 网络及优化求解方法。 背景技术 [0002] 自从连续 Hopfield 神经网络问世以来， 在求解优化问题、 联想记忆、 模式辨识以 及图像处理等领域已经得到了广泛的应用。特别是在优化领域， 连续 Hopfield 神经网络更 是大显身手。但是， 现有连续 Hopfield 神经网络和其相关的改进神经网络都是根据网络自 身的神经元的运算来进行优化求解的。当网络的参数设定好， 并将问题映射到网络能量函 数后， 网络只能靠自身的迭代搜索能量函数最优解， 即为优化问题的最优解， 但是， 由于网 络参数的设定没有针对性， 所以使搜索比较盲目， 效率较低 ； 因此， 能通过控制其网络的能 量， 改变能量函数值， 从而能根据不同优化问题的特性， 按照预定设计好的搜索方向或路径 进行优化问题求解， 将是对连续 Hopfield 网络的一个突破性的改进， 必将提高其优化求解 能力， 具有十分重要的理论价值和现实意义。 发明内容 [0003] 为了解决上述问题， 本发明的目的在于提供一种能量可控的连续 Hopfield 神经 网络及优化求解方法。 [0004] 为了达到上述目的， 本发明提供的能量可控的连续 Hopfield 神经网络包括 ： 多个 神经元、 连接权值、 控制器和神经元输出 ； 多个神经元包括神经元 S1…Sn； 多个连接权值包 括连接权值 W11…W1n、 W21…W2n…Wn1…Wnn ； 多个控制器包括控制器 u1… un ； 多个神经 元输出包括多个神经元输出 x1…xn ； 其中 ： 控制器 u1…un 为神经元的控制输入， 其分别与 神经元 S1…Sn 相连接 ； 神经元输出 x1…xn 为神经元 S1…Sn 的输出信号， 其分别与神经元 S1…Sn相连接 ； 每个神经元具有n个输入端， 神经元S1的n个输入端分别与连接权值W11… W1n 相连接， 以此类推， 神经元 Sn 的 n 个输入端分别与连接权值 Wn1…Wnn 相连接 ； 连接权 值 W11 的输入端分别与连接权值 W21…Wn1 的输入端相连接、 同时还与神经元 S1 的神经元 输出x1相连接 ； 以此类推， 连接权值W1n的输入端分别与连接权值W2n…Wnn的输入端相连 接， 同时还与神经元 Sn 的神经元输出 xn 相连接。 [0005] 所述的神经元由累加器∑、 连续且单调递增的神经元激活函数 ψ 以及电阻和电 容来实现， 或者由功能类似的函数或硬件来实现， 神经网络的动态方程为 ： [0006] [0007] 其中 ： xi， i=1,2,L,n， 是第 i 个神经元的输出 ； yi， i=1,2,L,n， 是第 i 个神经元内部 状态 ； Wij， i,j=1,2,L,n， 是第 i 个神经元与第 j 个神经元的连接权值 ； ui是外部输入的控制 说 明 书 CN 103646283 A 4 2/6 页 5 量 ； k,α,β,ε 为常数 ； [0008] 此神经网络的能量函数为 ：其中积分项表 示一种内部状态和输出值关系的能量项。 [0009] 所述的神经元内部状态的起始值为在 [-1,1] 连续范围内的随机数。 [0010] 当所述的连接权值用矩阵表示时， 该矩阵应为对称矩阵 ； 所述连接权值或者是正 或者是负。 [0011] 本发明提供的能量可控的连续 Hopfield 神经网络的优化求解方法包括按顺序进 行的下列步骤 ： [0012] 步骤一、 建立能量函数的 S01 阶段 ： 为所求解的优化问题建立一个能量函数 E ； [0013] 步骤二、 设置参数初始值的 S02 阶段 ： 设置 yi的起始值为 [-1,1] 的连续范围内的 随机数 ； 设置 k,α,β,ε 值为任意实数 ； [0014] 步骤三、 制定控制定律的 S03 阶段 ： 根据优化问题的特性， 设置 ui的控制规律 ； [0015] 步骤四、 设置最大迭代步数的 S04 阶段 ： 根据具体情况设定最大迭代步数 ； [0016] 步骤五、 计算所有神经元输出的初始值的 S05 阶段 ： 根据初始的内部状态 yi和 ui， 计算所有神经网络神经元输出的初始值 xi； [0017] 步骤六、 根据串行工作方式， 更新神经元内部状态和输出的 S06 阶段 ： 以串行工作 方式， 根据神经网络的动态方程和当前的 xi和 yi， 更新神经网络的所有神经元内部状态 yi 和神经元输出 xi， 完成一次神经网络的迭代 ； [0018] 步骤七、 计算优化目标函数结果的 S07 阶段 ： 根据神经网络神经元的输出计算能 量函数的结果 ； [0019] 步骤八、 判断是否优于上一次结果的 S08 阶段 ： 检查此计算结果是否比上一次的 计算结果好， 如判断结果为 “是” ， 则进入下一步 S09 阶段， 否则下一步进入 S10 阶段 ； [0020] 步骤九、 保留此结果的 S09 阶段 ： 保存此次计算的结果， 然后 进入下一步 S11 阶 段 ； [0021] 步骤十、 放弃此结果的 S10 阶段， 放弃此次计算的结果， 然后进入下一步 S11 阶 段 ； [0022] 步骤十一、 判断是否达到最大迭代步数的 S11 阶段 ： 判断是否达到设置的最大迭 代步数， 如果判断结果为 “是” ， 则进入下一步 S13 阶段， 否则下一步进入 S12 阶段 ； [0023] 步骤十二、 更新控制量的 S12 阶段 ： 根据 ui的变换规则， 更新 ui的值， 然后下一步 重新进入 S06 阶段 ； [0024] 步骤十三、 输出最终结果的S13阶段 ： 输出S09阶段所保存的计算结果， 结束迭代， 求得能量函数的最优值， 也就是要求解的优化问题的最优值 ； 本流程至此结束。 [0025] 在 S01 阶段中， 所述的建立能量函数的方法为 ： 首先为所求解的优化问题建立一 个能量函数 E， 并将此能量函数映射到所述的能量可控的连续 Hopfield 神经网络中， 映射 后的神经网络动态方程为 ： 说 明 书 CN 103646283 A 5 3/6 页 6 [0026] [0027] 在 S03 阶段中， 所述的设置 ui的控制规律采用如下的控制量设计方法 ： [0028] （1） 先设计控制量控制此神经网络能量上升到最大值， 然后控制此神经网络能量 慢慢下降， 搜索最优解 ； 如果得到的结果满意， 则停止， 否则控制此神经网络能量再次上升 到最大值， 改变控制量的大小并满足网络能量下降的条件， 以不同的下降速度控制此神经 网络能量下降， 重新搜索最优解 ； 重复上述过程n次， 从中找到较 好的解作为最终的结论 ； [0029] （2） 当所设计控制量使此神经网络陷入局部最小或不合理解， 通过设计控制量控 制此神经网络能量增加逃离局部最小或不合理解， 然后重新设定控制量的大小， 并控制此 神经网络保持下降条件， 改变下降的方向和幅度， 从而改变此神经网络搜索的路径， 进行优 化求解。 [0030] 本发明提供的能量可控的连续 Hopfield 神经网络可以用软件或硬件实现 ； 针对 不同特性的优化问题， 设置不同控制量 ui， 使得网络有针对性地求解优化问题， 提高求解效 率和准确性?；箍赏ü柚貌煌目刂屏?ui控制网络按照指定的搜索路径搜索优化问题 的解。 附图说明 [0031] 图 1 为本发明提供的能量可控的连续 Hopfield 神经网络示意图。 [0032] 图2为本发明提供的能量可控的连续Hopfield神经网络的优化求解方法流程图。 具体实施方式 [0033] 下面结合附图和具体实施例对本发明提供的能量可控的连续 Hopfield 神经网络 及优化求解方法进行详细说明。 [0034] 如图 1 所示， 本发明提供的能量可控的连续 Hopfield 神经网络包括 ： 多个神经元 1、 连接权值 2、 控制器 3 和神经元输出 4 ； 多个神经元 1 包括神经元 S1…Sn； 多个连接权值 2 包括连接权值 W11…W1n、 W21…W2n…Wn1…Wnn； 多个控制器 3 包括控制器 u1…un； 多个神经元输 出 4 包括多个神经元输出 x1…xn； 其中 ： 控制器 u1…un为神经元的控制输入， 其分别与神经 元 S1…Sn相连接 ； 神经元输 出 x1…xn为神经元 S1…Sn的输出信号， 其分别与神经元 S1… Sn相连接 ； 每个神经元具有n个输入端， 神经元S1的n个输入端分别与连接权值W11…W1n相 连接， 以此类推， 神经元 Sn的 n 个输入端分别与连接权值 Wn1…Wnn相连接 ； 连接权值 W11的 输入端分别与连接权值 W21…Wn1的输入端相连接、 同时还与神经元 S1的神经元输出 x1相连 接 ； 以此类推， 连接权值W1n的输入端分别与连接权值W2n…Wnn的输入端相连接， 同时还与神 经元 Sn的神经元输出 xn相连接 ； [0035] 所述的神经元1由累加器∑、 连续且单调递增的神经元激活函数ψ以及电阻和电 容来实现， 或者由功能类似的函数或硬件来实现， 神经网络的动态方程为 ： 说 明 书 CN 103646283 A 6 4/6 页 7 [0036] [0037] 其中 ： xi， i=1,2,L,n， 是第 i 个神经元的输出 ； yi， i=1,2,L,n， 是第 i 个神经元内部 状态 ； Wij， i,j=1,2,L,n， 是第 i 个神经元与第 j 个神经元的连接权值 ； ui是外部输入的控制 量 ； k,α,β,ε 为常数 ； [0038] 当设 n=2， k=α=1， ε=1/250， W11=W22=1， W12=W21=1.5 时， 建立的神经网络为 [0039] [0040] 即 [0041] [0042] 此神经网络的能量函数为 ：其中积分项表 示一种内部状态和输出值关系的能量项。 [0043] 所述的神经元 1 内部状态的起始值为在 [-1,1] 连续范围内的随机数。 [0044] 当所述的连接权值 2 用矩阵表示时， 该矩阵应为对称矩阵。 [0045] 所述连接权值或者是正或者是负。 [0046] 能量可控的连续 Hopfield 神经网络使用串行工作方式， 即在某一时刻只有一个 神经元 1 按照神经网络动态方程改变状态， 而其它神经元的输出不变 ； 这一变化的神经元 按照随机的方式， 或者按照预定的顺序来选择 ； 当所有的神经元状态都更新一次称为迭代 一次。 [0047] 能量可控的连续 Hopfield 神经网络控制规律为 ： 对于能量可控的连续 Hopfield 神经网络， 若 ψ-1为单调递增且连续可导， wij=wji， 网络以异步迭代方式运行。则有下面的 结论 ： [0048] （1） 当控制量 ui0 时 [0052] 如果则有控制量控制网络能量下降 ； [0053] 如果则有控制量控制网络能量上升 ； [0054] （3） 当且仅当或时，控制量控制网络能量不变 ； [0055] 所述的外部所加的控制量根据一定的控制规律， 可控制神经网络的能量上升、 下 降或不变。 [0056] 所述的神经网络能够硬件实现， 也能软件实现。 当用软件实现此神经网络时， 所求 解优化问题的优化目标函数变量设置为神经网络的神经元输出 xi， 优化问题有几个变量就 设置几个神经网络神经元的输出 xi， 此优化目标函数就是要映射到神经网络的能量函数 E。 当用硬件实现时， 要根据优化问题设置连接权值和神经元内部硬件参数。 [0057] 如图2所示， 本发明提供的能量可控的连续Hopfield神经网络的优化求解方法包 括按顺序进行的下列步骤 ： [0058] 步骤一、 建立能量函数的 S01 阶段 ： 为所求解的优化问题建立一个能量函数 E ； [0059] 步骤二、 设置参数初始值的 S02 阶段 ： 设置 yi的起始值为 [-1,1] 的连续范围内的 随机数 ； 设置 k,α,β,ε 值为任意实数 ； [0060] 步骤三、 制定控制定律的 S03 阶段 ： 根据优化问题的特性， 设置 ui的控制规律 ； [0061] 步骤四、 设置最大迭代步数的 S04 阶段 ： 根据具体情况设定最大迭代步数 ； [0062] 步骤五、 计算所有神经元输出的初始值的 S05 阶段 ： 根据初始的内部状态 yi和 ui， 计算所有神经网络神经元输出的初始值 xi； [0063] 步骤六、 根据串行工作方式， 更新神经元内部状态和输出的 S06 阶段 ： 以串行工作 方式， 根据神经网络的动态方程和当前的 xi和 yi， 更新神经网络的所有神经元内部状态 yi 和神经元输出 xi， 完成一次神经网络的迭代 ； [0064] 步骤七、 计算优化目标函数结果的 S07 阶段 ： 根据神经网络神经元的输出计算能 量函数的结果 ； [0065] 步骤八、 判断是否优于上一次结果的 S08 阶段 ： 检查此计算结果是否是比上一次 的计算结果好， 如判断结果为 “是” ， 则进入下一步 S09 阶段， 否则下一步进入 S10 阶段 ； [0066] 步骤九、 保留此结果的 S09 阶段 ： 保存此次计算的结果， 然后进入下一步 S11 阶 段 ； [0067] 步骤十、 放弃此结果的 S10 阶段， 放弃此次计算的结果， 然后进入下一步 S11 阶 段 ； [0068] 步骤十一、 判断是否达到最大迭代步数的 S11 阶段 ： 判断是否 达到设置的最大迭 说 明 书 CN 103646283 A 8 6/6 页 9 代步数， 如果判断结果为 “是” ， 则进入下一步 S13 阶段， 否则下一步进入 S12 阶段 ； [0069] 步骤十二、 更新控制量的 S12 阶段 ： 根据 ui的变换规则， 更新 ui的值， 然后下一步 重新进入 S06 阶段 ； [0070] 步骤十三、 输出最终结果的S13阶段 ： 输出S09阶段所保存的计算结果， 结束迭代， 求得能量函数的最优值， 也就是要求解的优化问题的最优值 ； 本流程至此结束。 [0071] 在 S01 阶段中， 所述的建立能量函数的方法为 ： 首先为所求解的优化问题建立一 个能量函数 E， 并将此能量函数映射到所述的能量可控的连续 Hopfield 神经网络中， 映射 后的神经网络动态方程为 ： [0072] [0073] 在 S03 阶段中， 所述的设置 ui的控制规律采用如下的控制量设计方法 ： [0074] （1） 先设计控制量控制此神经网络能量上升到最大值， 然后控制此神经网络能量 慢慢下降， 搜索最优解。如果得到的结果满意， 则停止， 否则控制此神经网络能量再次上升 到最大值， 改变控制量的大小并满足网络能量下降的条件， 以不同的下降速度控制此神经 网络能量下降， 重新搜索最优解。重复上述过程 n 次， 从中找到较好的解作为最终的结论 ； [0075] （2） 当所设计控制量使此神经网络陷入局部最小或不合理解， 可以通过设计控制 量， 控制此神经网络能量增加逃离局部最小或不 合理解。 然后， 重新设定控制量的大小， 并 控制此神经网络保持下降条件， 改变下降的方向和幅度， 从而改变此神经网络搜索的路径， 进行优化求解 ； [0076] （3） 当此神经网络搜索最优解的过程中， 控制量的作用随着搜索过程不断减弱或 撤销 ； [0077] （4） 针对不同的优化问题特性， 设计控制量 ui控制网络按照指定的搜索路径搜索 优化问题的解。 说 明 书 CN 103646283 A 9 1/2 页 10 图 1 说 明 书 附 图 CN 103646283 A 10 2/2 页 11 图 2 说 明 书 附 图 CN 103646283 A 11