• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 29
    • 下载费用:30 金币  

    重庆时时彩5缩水工具: 基于全方位视觉的独居老人安全监护系统.pdf

    关 键 词:
    基于 全方位 视觉 独居 老人 安全 监护 系统
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201110267262.0

    申请日:

    2011.09.09

    公开号:

    CN102387345A

    公开日:

    2012.03.21

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):H04N 7/18申请日:20110909|||公开
    IPC分类号: H04N7/18; G06K9/00 主分类号: H04N7/18
    申请人: 浙江工业大学
    发明人: 汤一平; 马宝庆; 姜军; 严杭晨; 田旭园
    地址: 310014 浙江省杭州市下城区朝晖六区潮王路18号
    优先权:
    专利代理机构: 杭州天正专利事务所有限公司 33201 代理人: 王兵;王利强
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201110267262.0

    授权公告号:

    102387345B||||||

    法律状态公告日:

    2014.08.06|||2012.05.02|||2012.03.21

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    一种基于全方位视觉的独居老人安全监护系统,包括全方位摄像装置和用于对全方位摄像装置所拍摄的全景图像以及相关输入信息对独居老人的活动量、姿态、摔倒以及生活行为习惯进行分析处理判断的微处理器;全方位摄像装置安置在独居老人客厅中间的上方,能捕获到老人的80%以上的日?;疃悠低枷?;通过计算机视觉进行人体的定位、跟踪和识别,对独居老人的活动量、姿态、动作行为和日常生活进行分析和判断、本发明不但能自动检测老人在室内视觉范围内的摔倒等重要事件,还能智能判断老人不在视觉范围内以及外出时的异常行为,提供一种独居老人远程监

    权利要求书

    1.一种基于全方位视觉的独居老人安全监护系统,其特征在于:所述基于全方位
    视觉的独居老人安全监护系统包括全方位摄像装置和用于对全方位摄像装置所拍
    摄的全景图像以及相关输入信息对独居老人的活动量、姿态、摔倒以及生活行为
    习惯进行分析处理判断的微处理器;所述的全方位摄像装置放置在老人房间内客
    厅中间的上方,用于拍摄整个老人家庭内老人日常生活的视频图像;所述的全方
    位摄像装置与所述的微处理器进行连接,所述的微处理器包括:
    视频图像读取单元,用于读取全方位摄像装置所拍摄的全景图像,并将读取
    的全景图像提交给视频图像展开单元和视频图像存储单元;
    视频图像展开单元,用于将全景图像进行柱状展开,展开后的全景柱状图像
    提交给前景对象检测单元;
    空间位置定义单元,用于定义和命名在全景图像中老人室内空间位置;
    家具和电器摆放位置输入单元,用于将所述的空间位置定义单元所定义的空
    间位置与老人家中的家具、电器和出入口建立映射关系;
    前景对象检测单元,用于检测在全景柱状展开图像中存在的前景人体对象,
    具体采用MHI算法来计算前景人体对象,然后在柱状展开图像上用矩形框框住前
    景人体对象,并将矩形框提交给人体对象跟踪单元;
    人体对象跟踪单元,根据前景对象检测单元所提交的矩形框采用Camshift算
    法对人体对象进行跟踪;
    人体姿态分析单元,根据人体对象跟踪单元的结果采用人体模型算法估算出
    老人目前的姿态,并将当前的时刻、空间的位置和姿态的分析结果写入人体姿态
    数据库中;
    摔倒检测单元,根据人体姿态的检测结果以及是否在非静止区域情况来判断
    老人是否摔倒;
    动作行为分析单元,根据人体姿态数据库中前几帧中老人的姿态和当前老人
    的姿态分析得到老人的动作行为;
    日常生活规律分析单元,根据人体姿态数据库、家具和家用电器与空间位置
    关系数据库以及当前老人动作行为判断结果等信息来分析和判断老人当前的活动
    类型,并将分析和判断结果写入日常生活数据库中;
    异常判断单元,根据当前老人的活动类型和日常生活数据库中所提取的老人
    的生活模式等信息通过异常判断算法进行老人行为异常判断,并将异常分为若干
    个等级,针对不同等级的异常的情况分别生成告知、紧急通知和报警信息,通过
    告知和报警单元发送给相关部门和人员。
    2.如权利要求1所述的基于全方位视觉的独居老人安全监护系统,其特征在于:
    所述的前景对象检测单元中,采用基于MHI的背景更新模型,利用YCbCr与亮
    度图像分别分割然后进行综合得到运动前景图像,最后利用后处理实现人体的分
    割与定位;
    所述的基于MHI的背景更新模型,MHI的更新方式如公式(1)所示;
    mhi ( x , y ) = ts , sih ( x , y ) 0 0 , sih ( x , y ) = 0 andmhi ( x , y ) < ts - dur mhi ( x , y ) else - - - ( 1 ) ]]>
    式中,mhi为运动历史图像,ts为当前时间,sih为图像的掩模,人体运
    动发生的地方取非零值,dur为运动跟踪的最大持续时间;
    用公式(2)将图像由RGB颜色空间转换到YCbCr颜色空间,滤除Y分量,
    用Cb、Cr颜色来分割得到前景图像;
    Y = 0.299 R + 0.587 G + 0.114 B Cr = 0.713 ( R - Y ) Cb = 0.564 ( B - Y ) - - - ( 2 ) ]]>
    式中,Y为YCbCr颜色空间的Y分量,Cb为YCbCr颜色空间的Cb分量,Cr
    为YCbCr颜色空间的Cr分量;R为RGB颜色空间的R分量,G为RGB颜色空间
    的G分量,B为RGB颜色空间的B分量;
    阴影去除算法如下:
    Step1:用较大的和较小的亮度阈值分别对背景减除的结果图像进行二值
    化,分别记为ImgL和ImgS;
    Step2:利用背景减除之后的Cr和Cb图像分别进行二值化,分别记为ImgCr
    和ImgCb,得到的前景都去除了阴影,Cr得到的是红色色差分量,Cb得到的是
    蓝色色差分量,将两个色差结果取或得到去阴影的结果图像,记为ImgC=ImgCr?
    OR?ImgCb,得到色差分割结果;
    Step3:由于只靠色差分量得到的目标容易丢失没有颜色信息的目标,需要
    融合其亮度分量;取亮度阈值较大的二值化图像与色差二值化图像作或运算,
    记为Img1=ImgC?OR?ImgL;
    Step4:上述处理得到的结果容易有噪声,将ImgS作膨胀记为ImgS’,然后
    将Img1与ImgS’取与运算得到最终结果图像,Img=Img1?AND?ImgS’,由此
    得到的目标作为最终的运动目标前景;并将运动目标前景对象的中心位置和大
    小自动递交给所述的人体对象跟踪单元中CamShift算法以实现时而静止时而运
    动的人体对象的稳定跟踪。
    3.如权利要求2所述的基于全方位视觉的独居老人安全监护系统,其特征在于:
    所述的人体对象跟踪单元中,根据所述的前景对象检测单元所提交的矩形框采用
    增强的Camshift算法对人体对象进行跟踪;
    所述的增强的Camshifi算法如下:
    步骤1:以所述前景对象检测单元中检测出的人体对象目标为基础,设定目
    标跟踪的ROI;
    步骤2:计算ROI内的目标颜色概率密度分布;
    步骤3:迭代Mean?Shift直到收敛,记录其位置和零阶矩
    步骤4:对下一帧图像,以为搜索窗中心位置,并根据的函数确
    定搜索窗大小,根据人体对象目标外接矩形确定ROI大小,转步骤2;
    在Camshift算法的步骤2中,采用Bayesian概率法则获得目标在图像中的颜
    色概率密度分布,计算方法如公式(3)所示:
    P ( C / O ) = P ( C / O ) P ( O ) P ( C / O ) P ( O ) + P ( C / B ) P ( B ) - - - ( 3 ) ]]>
    式中:C为像素点在HSV空间的颜色值,即像素点的(H,S)值;O为目标,B
    为背景,P(O)+P(B)=1,P(O)为目标对象面积和除目标对象外的背景面积的比
    值;P(C/O)和P(C/B)可分别从目标对象和背景的直方图获得;按公式(3)获得
    目标对象在图像中的颜色概率密度分布,再按公式(4)把概率分布区间从[0,
    max(P(O/C))]归一化到[0,255]区间中,从而获得最终进行Mean?Shift迭代的颜
    色概率密度分布图像P′(O/C);
    P ( O / C ) = min [ 255 max ( P ( O / C ) ) P ( O , C ) , 255 ] - - - ( 4 ) ]]>
    式中,P′(O/C)为归一化的目标对象颜色概率密度分布,P(O/C)为目标对象
    颜色概率密度分布;
    在改进Camshift算法的步骤4中,根据上一帧跟踪结果的零阶矩的函数
    确定新的搜索窗的大小s,以适应目标在视频图像中的尺度变化,如公式(5)所
    示;
    s = 2 × M 00 ( s ) / K - - - ( 5 ) ]]>
    式中,s为搜索窗的大小,K为常数,本发明中选择K∈[230,240];
    根据人体对象目标运动的空间连续性,在所述的人体对象目标实时跟踪中,
    人体对象目标在下一帧的位置位于前一帧中同一人体对象目标位置附近,因此定
    义适当位置和适当大小的ROI,人体对象目标跟踪在ROI内完成;
    CamShift算法过程如下:
    1):在颜色概率分布图中选取范围为R的搜索窗W;
    2):计算x和y的零阶矩、一阶矩、二阶矩,计算方法如公式(6)、(7)、
    (8)所示;
    M 00 = Σ x Σ y I ( x , y ) M 11 = Σ x Σ y xyI ( x , y ) - - - ( 6 ) ]]>
    M 10 = Σ x Σ y xI ( x , y ) M 01 = Σ x Σ y yI ( x , y ) - - - ( 7 ) ]]>
    M 20 = Σ x Σ y x 2 I ( x , y ) M 02 = Σ x Σ y y 2 I ( x , y ) - - - ( 8 ) ]]>
    3):计算搜索窗的质心位置计算方法由公式(9)所示,
    (xc,yc)=(M10/M00,M01/00)(9)
    4):重新设置搜索窗的范围R;
    5):如果不收敛且循环次数小于预设值,则返回2),否则结束;
    算法中的收敛条件为:质心位置偏移量小于预定义阈值;
    另外,被跟踪目标长轴方向角用公式(10)计算,
    θ = 1 2 arctan { 2 [ ( M 11 / M 00 ) - x c y c ] [ ( M 20 / M 00 ) - x c 2 ] - [ ( M 02 / M 00 ) - y c 2 ] } - - - ( 10 ) ]]>
    a = ( M 20 / M 00 ) - x c 2 b = 2 [ ( M 11 / M 00 ) - x c y c ] c = [ ( M 02 / M 00 ) - y c 2 ] ]]>
    则得到被跟踪对象的长轴、短轴的长度用公式(11)、(12)计算,
    l = ( a + c ) + b 2 + ( a - c ) 2 2 - - - ( 11 ) ]]>
    w = ( a + c ) - b 2 + ( a - c ) 2 2 - - - ( 12 ) . ]]>
    4.如权利要求1~3之一所述的基于全方位视觉的独居老人安全监护系统,其特征
    在于:在所述的全方位摄像装置中采用固定单视点全方位摄像装置的设计,进入
    双曲面镜的中心的光,根据双曲面的镜面特性向着其虚焦点折射,实物图像经双
    曲面镜反射到聚光透镜中成像,在该成像平面上的一个点P(x,y)对应着实物在空
    间上的一个点的坐标A(X,Y,Z);
    双曲面镜构成的光学系统可以由下面5个等式表示;
    ((X2+Y2)/a2)-((Z-c)2/b2)=-1??当Z>0时??(18)
    c = a 2 + b 2 - - - ( 19 ) ]]>
    φ=tan-1(Y/X)??????????????????????????(20)
    α=tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ(21)
    γ = tan - 1 [ f / ( x 2 + y 2 ) ] - - - ( 22 ) ]]>
    式中X、Y、Z表示空间坐标,c表示双曲面镜的焦点,2c表示两个焦点之间
    的距离,a,b分别是双曲面镜的实轴和虚轴的长度,Φ表示入射光线在XY平面上
    的夹角,即方位角,α表示入射光线在XZ平面上的夹角,这里将α大于或等于0
    时称为俯角,将α小于0时称为仰角,f表示成像平面到双曲面镜的虚焦点的距离,
    γ表示折入射光线与Z轴的夹角;
    所述的全方位摄像装置包括双曲面镜面、上盖、透明外罩、下固定座、摄像
    单元固定座、摄像单元、连接单元和上罩,所述的双曲面镜面固定在所述的上盖
    上,所述的连接单元将所述的下固定座和透明外罩连接成一体,所述的透明外罩
    与所述的上盖以及所述的上罩固定在一起,所述的摄像单元固定在所述的摄像单
    元固定座上,所述的摄像单元固定座固定在所述的下固定座上。
    5.如权利要求1~3之一所述的基于全方位视觉的独居老人安全监护系统,其特征
    在于:所述的空间位置定义单元中,对独居老人家庭的空间进行网格化处理,从
    获取的全景图像上定义和命名室内空间的网格,作为一种简单的定义和命名方式
    是采用20×20mm大小的网格将可视范围内的空间进行分割,命名采用两位英
    文字母,从房间平面图的左上角开始顺序编排,第一位英文字母表示行,第二位
    英文字母表示列。
    6.如权利要求1~3之一所述的基于全方位视觉的独居老人安全监护系统,其特征
    在于:所述的家具和电器摆放位置输入单元中,表1为空间位置编号与家具电器
    对应表,
    ??空间位置编号
    ??家具、电器、室内门窗
    ??BD
    ??沙发右侧
    ??BE
    ??沙发左侧
    ??AL
    ??出入门口
    ??PI
    ??卧室门口
    ??TK
    ??阳台门口
    ??IO
    ??卫生间门口
    ??JQ
    ??洗衣机
    ??TO
    ??盥洗槽左侧
    ??TP
    ??盥洗槽右侧
    ??...
    ??...
    表1。
    7.如权利要求1~3之一所述的基于全方位视觉的独居老人安全监护系统,其特征
    在于:所述的人体姿态分析单元中,将老人出现的空间位置、时间和姿态信息写
    入到人体姿态数据库中内,人体姿态数据库的表格式如表2所示;


    表2
    表2中的时间是根据微处理器内的时钟以年月日小时分秒14位数据格式来设
    定的,即YYYYMMDDHHMMSS;空间编号是根据所述的人体对象跟踪单元中
    所得到跟踪焦点所处的空间位置来确定的;姿态编码是根据所述的姿态分析单元
    中所得到的人体姿态识别结果来设定的,姿态编码中将1命名为站立姿态、2命
    名为坐姿态、3命名为横躺姿态;考虑到老人家中其他人的来访情况,将是否有
    其他活动对象设置为false,如果只有一个人体对象情况将是否有其他活动对象
    设置为true;为了减少数据的冗余,如果人体跟踪对象消失或者静止的情况不产
    生记录;如果人体跟踪对象有活动情况时每条记录的间隔时间为10秒;
    人体姿态的识别是通过人体跟踪框的高宽比来确定的,对于站立姿态的高宽
    比约为3∶1,坐姿态的高宽比约为1∶1,横躺姿态的高宽比约为1∶7。
    8.如权利要求1~3之一所述的基于全方位视觉的独居老人安全监护系统,其特征
    在于:所述的摔倒检测单元中,如果分析的结果为横躺姿态并且老人不在休息区
    域就判断为老人出现摔倒;系统自动生成报警信息,系统生成的告知和报警信息
    发送给告知和报警单元。
    9.如权利要求1~3之一所述的基于全方位视觉的独居老人安全监护系统,其特征
    在于:所述的动作行为分析单元中,从当前老人相对静止状态开始追溯到上一次
    老人相对静止状态,从两次间隔的相对静止状态的过程来识别老人的动作行为。
    10.如权利要求1~3之一所述的基于全方位视觉的独居老人安全监护系统,其特
    征在于:所述的异常判断单元中,自学习老人日常生活的规律性:学习老人某个
    时段通过某个空间位置离开视觉范围进入其他场所的活动的持续时间的规律
    性,用活动持续时间模型,即单高斯模型P(t|μ,σ)来描述了老人在某个时
    间段进入非视觉范围的活动持续时间为t的概率;用公式(13)、(14)来表述;
    使用低通滤波方法来更新高斯模型:
    σSPNpi2=(1-K)×σSPNoi-12+K×(t-μSPNoi-1)2(13)
    μSPNoi=(1-K)×μSPNoi-1+K×t???????????????(14)
    其中,K是学习速度,σSPNpi是某个空间位置上的高斯模型的标准差,该值
    通过统计人体姿态数据的记录来获得的,μSPNoi是某个空间位置上的高斯模型的
    数学期望值,该值通过统计人体姿态数据的记录来计算得到;
    在非视觉范围情况下的老人的生活异常是根据老人离开某个空间位置的持
    续时间来判断,根据公式(13)、(14)计算得到的活动持续时间模型的本次活
    动持续时间的预测期望值μSPNoi和预测标准差值σSPNpi,然后用公式(15)、(16)
    计算实际活动时间与预测值的差值和实际活动时间的概率,
    PE i SPNo = t - t 1 - μ SPNp i - - - ( 15 ) ]]>
    PC i SPNo = p ( t - t 1 | i , μ SPNo i , σ SPNo i ) - - - ( 16 ) ]]>
    式中,t为当前系统时间,t1为老人离开某个空间位置的时间,σSPNpi为某
    个空间位置上的高斯模型的标准差,μSPNoi为某个空间位置上的高斯模型的数学
    期望值,为实际活动时间与预测值的差值,为实际活动时间属于
    活动持续时间的高斯模型的概率,通过公式(17)来计算老人的生活异常概率,
    P SPNo = K 1 × PE i SPNo + K 2 × ( 1 - PC i SPNo ) - - - ( 17 ) ]]>
    式中,K1、K2为权重值,是老人的生活异常概率,当该值超过某一阈值
    T1时,系统自动生成告知信息;当该值超过某一阈值T2时,系统自动生成紧急
    通知信息;当该值超过某一阈值T3时,系统自动生成报警信息,T3>T2>T1;
    系统生成的告知和报警信息发送给告知和报警单元。

    说明书

    基于全方位视觉的独居老人安全监护系统

    技术领域

    本发明属于全方位视觉、计算机视觉技术和关系数据库等技术在独居老人
    安全监护方面的应用,主要适用于需要得到即时和适当服务的独居老人等弱势人
    群的家庭。

    背景技术

    根据联合国的调查,预计到2030年,中国65岁以上的人口将占人口总数的
    12.7%;其中空巢老人家庭将占老人家庭总数的90%。独居老人人口的增长,需
    要社会提供各种各样的监护。

    本发明作出以前对独居老年等弱势人群的家庭发生异常时主要是通过电话
    或者家庭中的报警按钮以主动形式向援救方报警及请求服务。天有不测风云、
    人有旦夕祸福,谁都不能预料自己在某日某时会生病,尤其是老人摔倒后不能
    自立求救,出现连打电话、一键按钮请求报警救援都困难的时候。

    中国发明专利号为200610051729.7发明了一种基于全方位计算机视觉的独
    居老人家庭安保装置,包括微处理器、用于监护老人安康情况的全方位视觉传感
    器,全方位视觉传感器与微处理器连接,采集老人在主要场所中的空间位置视频
    信息以及该事件所对应的时间信息采用机器视觉的手段来建立独居老人室内外
    活动模型,通过捕捉生活规律的在时间空间上的变化能发现和预测老人生活的
    反常及异常。该发明的不足之处是没有检测独居老人的姿态以及姿态发生变化
    时的事件,老人摔倒是直接对老人生命安全和引起各种伤害的最危险的事件;
    后的及时检测与自动报警。另一方面,为了获得独居老人的活动量等生活数据
    和生活习惯,需要识别独居老人的人体动作。

    发明内容

    为了克服已有检测手段无法对独居老人姿态、摔倒等重要事件进行检测的不
    足,本发明提供一种既能检测独居老人的活动量、分析独居老人的生活规律、发
    现独居老人的各种异常变化,又能识别独居老人的人体动作、姿态和摔倒的基于
    全方位视觉的独居老人安全监护系统。

    本发明解决其技术问题所采用的技术方案是:

    一种基于全方位视觉的独居老人安全监护系统,包括全方位摄像装置和用于
    对全方位摄像装置所拍摄的全景图像以及相关输入信息对独居老人的活动量、姿
    态、摔倒以及生活行为习惯进行分析处理判断的微处理器;所述的全方位摄像装
    置放置在老人房间内客厅中间的上方,用于拍摄整个老人家庭内老人日常生活的
    视频图像;所述的全方位摄像装置与所述的微处理器进行连接,所述的微处理器
    包括:

    视频图像读取单元,用于读取全方位摄像装置所拍摄的全景图像,并将读取
    的全景图像提交给视频图像展开单元和视频图像存储单元;

    视频图像展开单元,用于将全景图像进行柱状展开,展开后的全景柱状图像
    提交给前景对象检测单元;

    空间位置定义单元,用于定义和命名在全景图像中老人室内空间位置;

    家具和电器摆放位置输入单元,用于将所述的空间位置定义单元所定义的空
    间位置与老人家中的家具、电器和出入口建立映射关系;

    前景对象检测单元,用于检测在全景柱状展开图像中存在的前景人体对象,
    具体采用MHI算法来计算前景人体对象,然后在柱状展开图像上用矩形框框住前
    景人体对象,并将矩形框提交给人体对象跟踪单元;

    人体对象跟踪单元,根据前景对象检测单元所提交的矩形框采用Camshift算
    法对人体对象进行跟踪;

    人体姿态分析单元,根据人体对象跟踪单元的结果采用人体模型算法估算出
    老人目前的姿态,并将当前的时刻、空间的位置和姿态的分析结果写入人体姿态
    数据库中;

    摔倒检测单元,根据人体姿态的检测结果以及是否在非静止区域情况来判断
    老人是否摔倒;

    动作行为分析单元,根据人体姿态数据库中前几帧中老人的姿态和当前老人
    的姿态分析得到老人的动作行为;

    日常生活规律分析单元,根据人体姿态数据库、家具和家用电器与空间位置
    关系数据库以及当前老人动作行为判断结果等信息来分析和判断老人当前的活动
    类型,并将分析和判断结果写入日常生活数据库中;

    异常判断单元,根据当前老人的活动类型和日常生活数据库中所提取的老人
    的生活模式等信息通过异常判断算法进行老人行为异常判断,并将异常分为若干
    个等级,针对不同等级的异常的情况分别生成告知、紧急通知和报警信息,通过
    告知和报警单元发送给相关部门和人员。

    进一步,所述的前景对象检测单元中,采用基于MHI的背景更新模型,并利
    用YCbCr与亮度图像分别分割然后进行综合得到运动前景图像,最后利用后处
    理实现人体的分割与定位;

    所述的基于MHI的背景更新模型,MHI的更新方式如公式(1)所示;

    mhi ( x , y ) = ts , sih ( x , y ) 0 0 , sih ( x , y ) = 0 andmhi ( x , y ) < ts - dur mhi ( x , y ) else - - - ( 1 ) ]]>

    式中,mhi为运动历史图像,ts为当前时间,sih为图像的掩模,人体运
    动发生的地方取非零值,dur为运动跟踪的最大持续时间;

    用公式(2)将图像由RGB颜色空间转换到YCbCr颜色空间,滤除Y分量,
    用Cb、Cr颜色来分割得到前景图像;

    Y = 0.299 R + 0.587 G + 0.114 B Cr = 0.713 ( R - Y ) Cb = 0.564 ( B - Y ) - - - ( 2 ) ]]>

    式中,Y为YCbCr颜色空间的Y分量,Cb为YCbCr颜色空间的Cb分量,Cr
    为YCbCr颜色空间的Cr分量;R为RGB颜色空间的R分量,G为RGB颜色空间
    的G分量,B为RGB颜色空间的B分量;

    阴影去除算法如下:

    Step1:用较大的和较小的亮度阈值分别对背景减除的结果图像进行二值
    化,分别记为ImgL和ImgS;

    Step2:利用背景减除之后的Cr和Cb图像分别进行二值化,分别记为ImgCr
    和ImgCb,得到的前景都去除了阴影,Cr得到的是红色色差分量,Cb得到的是
    蓝色色差分量,将两个色差结果取或得到去阴影的结果图像,记为ImgC=ImgCr
    OR?ImgCb,得到色差分割结果;

    Step3:由于只靠色差分量得到的目标容易丢失没有颜色信息的目标,需要
    融合其亮度分量;取亮度阈值较大的二值化图像与色差二值化图像作或运算,
    记为Img1=ImgC?OR?ImgL;

    Step4:上述处理得到的结果容易有噪声,将ImgS作膨胀记为ImgS’,然后
    将Img1与ImgS’取与运算得到最终结果图像,Img=Img1?AND?ImgS’,由此
    得到的目标作为最终的运动目标前景;并将运动目标前景对象的中心位置和大
    小自动递交给所述的人体对象跟踪单元中CamShift算法以实现时而静止时而运
    动的人体对象的稳定跟踪。

    再进一步,所述的人体对象跟踪单元中,根据所述的前景对象检测单元所提
    交的矩形框采用增强的Camshift算法对人体对象进行跟踪;

    所述的增强的Camshifi算法如下:

    步骤1:以所述前景对象检测单元中检测出的人体对象目标为基础,设定目
    标跟踪的ROI;

    步骤2:计算ROI内的目标颜色概率密度分布;

    步骤3:迭代Mean?Shift直到收敛,记录其位置和零阶矩

    步骤4:对下一帧图像,以为搜索窗中心位置,并根据的函数确
    定搜索窗大小,根据人体对象目标外接矩形确定ROI大小,转步骤2;

    在Camshift算法的步骤2中,采用Bayesian概率法则获得目标在图像中的颜
    色概率密度分布,计算方法如公式(3)所示:

    P ( C / O ) = P ( C / O ) P ( O ) P ( C / O ) P ( O ) + P ( C / B ) P ( B ) - - - ( 3 ) ]]>

    式中:C为像素点在HSV空间的颜色值,即像素点的(H,S)值;O为目标,B
    为背景,P(O)+P(B)=1,P(O)为目标对象面积和除目标对象外的背景面积的比
    值;P(C/O)和P(C/B)可分别从目标对象和背景的直方图获得;按公式(3)获得
    目标对象在图像中的颜色概率密度分布,再按公式(4)把概率分布区间从[0,
    max(P(O/C))]归一化到[0,255]区间中,从而获得最终进行Mean?Shift迭代的颜
    色概率密度分布图像P′(O/C);

    P ( O / C ) = min [ 255 max ( P ( O / C ) ) P ( O , C ) , 255 ] - - - ( 4 ) ]]>

    式中,P′(O/C)为归一化的目标对象颜色概率密度分布,P(O/C)为目标对象
    颜色概率密度分布;

    在改进Camshift算法的步骤4中,根据上一帧跟踪结果的零阶矩的函数
    确定新的搜索窗的大小s,以适应目标在视频图像中的尺度变化,如公式(5)所
    示;

    s = 2 × M 00 ( s ) / K - - - ( 5 ) ]]>

    式中,s为搜索窗的大小,K为常数,本发明中选择K∈[230,240];
    根据人体对象目标运动的空间连续性,在所述的人体对象目标实时跟踪中,
    人体对象目标在下一帧的位置位于前一帧中同一人体对象目标位置附近,因此定
    义适当位置和适当大小的ROI,人体对象目标跟踪在ROI内完成;

    CamShift算法过程如下:

    1):在颜色概率分布图中选取范围为R的搜索窗W;

    2):计算x和y的零阶矩、一阶矩、二阶矩,计算方法如公式(6)、(7)、
    (8)所示;

    M 00 = Σ x Σ y I ( x , y ) M 11 = Σ x Σ y xyI ( x , y ) - - - ( 6 ) ]]>

    M 10 = Σ x Σ y xI ( x , y ) M 01 = Σ x Σ y yI ( x , y ) - - - ( 7 ) ]]>

    M 20 = Σ x Σ y x 2 I ( x , y ) M 02 = Σ x Σ y y 2 I ( x , y ) - - - ( 8 ) ]]>

    3):计算搜索窗的质心位置计算方法由公式(9)所示,

    (xc,yc)=(M10/M00,M01/M00??(9)

    4):重新设置搜索窗的范围R;

    5):如果不收敛且循环次数小于预设值,则返回2),否则结束;

    算法中的收敛条件为:质心位置偏移量小于预定义阈值。

    另外,被跟踪目标长轴方向角用公式(10)计算,

    θ = 1 2 arctan { 2 [ ( M 11 / M 00 ) - x c y c ] [ ( M 20 / M 00 ) - x c 2 ] - [ ( M 02 / M 00 ) - y c 2 ] } - - - ( 10 ) ]]>

    a = ( M 20 / M 00 ) - x c 2 b = 2 [ ( M 11 / M 00 ) - x c y c ] c = [ ( M 02 / M 00 ) - y c 2 ] ]]>

    则得到被跟踪对象的长轴、短轴的长度用公式(11)、(12)计算,

    l = ( a + c ) + b 2 + ( a - c ) 2 2 - - - ( 11 ) ]]>

    w = ( a + c ) - b 2 + ( a - c ) 2 2 - - - ( 12 ) . ]]>

    在所述的全方位摄像装置中采用固定单视点全方位摄像装置的设计,进入双
    曲面镜的中心的光,根据双曲面的镜面特性向着其虚焦点折射,实物图像经双曲
    面镜反射到聚光透镜中成像,在该成像平面上的一个点P(x,y)对应着实物在空间
    上的一个点的坐标A(X,Y,Z);

    双曲面镜构成的光学系统可以由下面5个等式表示;

    ((X2+Y2)/a2)-((Z-c)2/b2)=-1??当Z>0时(18)

    c = a 2 + b 2 - - - ( 19 ) ]]>

    φ=tan-1(Y/X)(20)

    α=tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ(21)

    γ = tan - 1 [ f / ( x 2 + y 2 ) ] - - - ( 22 ) ]]>

    式中X、Y、Z表示空间坐标,c表示双曲面镜的焦点,2c表示两个焦点之间
    的距离,a,b分别是双曲面镜的实轴和虚轴的长度,Φ表示入射光线在XY平面上
    的夹角,即方位角,α表示入射光线在XZ平面上的夹角,这里将α大于或等于0
    时称为俯角,将α小于0时称为仰角,f表示成像平面到双曲面镜的虚焦点的距离,
    γ表示折入射光线与Z轴的夹角;

    所述的全方位摄像装置包括双曲面镜面、上盖、透明外罩、下固定座、摄像
    单元固定座、摄像单元、连接单元和上罩,所述的双曲面镜面固定在所述的上盖
    上,所述的连接单元将所述的下固定座和透明外罩连接成一体,所述的透明外罩
    与所述的上盖以及所述的上罩固定在一起,所述的摄像单元固定在所述的摄像单
    元固定座上,所述的摄像单元固定座固定在所述的下固定座上。

    所述的空间位置定义单元中,对独居老人家庭的空间进行网格化处理,从获
    取的全景图像上定义和命名室内空间的网格,作为一种简单的定义和命名方式是
    采用20×20mm大小的网格将可视范围内的空间进行分割,命名采用两位英文字
    母,从房间平面图的左上角开始顺序编排,第一位英文字母表示行,第二位英文
    字母表示列。

    所述的家具和电器摆放位置输入单元中,位置空间编号与家具电器等对应表,
    如表1所示;

    ??空间位置编号
    ??家具、电器、室内门窗
    ??BD
    ??沙发右侧
    ??BE
    ??沙发左侧
    ??AL
    ??出入门口
    ??PI
    ??卧室门口
    ??TK
    ??阳台门口
    ??IO
    ??卫生间门口
    ??JQ
    ??洗衣机
    ??TO
    ??盥洗槽左侧
    ??TP
    ??盥洗槽右侧
    ??...
    ??...

    表1。

    所述的人体姿态分析单元中,将老人出现的空间位置、时间和姿态信息写入
    到人体姿态数据库中内,人体姿态数据库的表格式如表2所示;


    表2

    表2中的时间是根据微处理器内的时钟以年月日小时分秒14位数据格式来设
    定的,即YYYYMMDDHHMMSS;空间编号是根据所述的人体对象跟踪单元中
    所得到跟踪焦点所处的空间位置来确定的;姿态编码是根据所述的姿态分析单元
    中所得到的人体姿态识别结果来设定的,姿态编码中将1命名为站立姿态、2命
    名为坐姿态、3命名为横躺姿态;考虑到老人家中其他人的来访情况,将是否有
    其他活动对象设置为false,如果只有一个人体对象情况将是否有其他活动对象
    设置为true;为了减少数据的冗余,如果人体跟踪对象消失或者静止的情况不产
    生记录;如果人体跟踪对象有活动情况时每条记录的间隔时间为10秒;

    人体姿态的识别是通过人体跟踪框的高宽比来确定的,对于站立姿态的高宽
    比约为3∶1,坐姿态的高宽比约为1∶1,横躺姿态的高宽比约为1∶7。

    所述的摔倒检测单元中,如果分析的结果为横躺姿态并且老人不在休息区域
    就判断为老人出现摔倒;系统自动生成报警信息,系统生成的告知和报警信息发
    送给告知和报警单元。

    所述的动作行为分析单元中,从当前老人相对静止状态开始追溯到上一次老
    人相对静止状态,从两次间隔的相对静止状态的过程来识别老人的动作行为。

    所述的异常判断单元中,自学习老人日常生活的规律性:学习老人某个时段
    通过某个空间位置离开视觉范围进入其他场所的活动的持续时间的规律性,用
    活动持续时间模型,即单高斯模型P(t|μ,σ)来描述了老人在某个时间段进
    入非视觉范围的活动持续时间为t的概率;用公式(13)、(14)来表述;

    使用低通滤波方法来更新高斯模型:

    σSPNpi2=(1-K)×σSPNoi-12+K×(t-μSPNoi-1)2(13)

    μSPNoi=(1-K)×μSPNoi-1+K×t???????????????(14)

    其中,K是学习速度,σSPNpi是某个空间位置上的高斯模型的标准差,该值
    通过统计人体姿态数据的记录来获得的,μSPNoi是某个空间位置上的高斯模型的
    数学期望值,该值通过统计人体姿态数据的记录来计算得到;

    在非视觉范围情况下的老人的生活异常是根据老人离开某个空间位置的持
    续时间来判断,根据公式(13)、(14)计算得到的活动持续时间模型的本次活
    动持续时间的预测期望值μSPNoi和预测标准差值σSPNpi,然后用公式(15)、(16)
    计算实际活动时间与预测值的差值和实际活动时间的概率,

    PE i SPNo = t - t 1 - μ SPNp i - - - ( 15 ) ]]>

    PC i SPNo = p ( t - t 1 | i , μ SPNo i , σ SPNo i ) - - - ( 16 ) ]]>

    式中,t为当前系统时间,t1为老人离开某个空间位置的时间,σSPNpi为某
    个空间位置上的高斯模型的标准差,μSPNoi为某个空间位置上的高斯模型的数学
    期望值,为实际活动时间与预测值的差值,为实际活动时间属于
    活动持续时间的高斯模型的概率,通过公式(17)来计算老人的生活异常概率,

    P SPNo = K 1 × PE i SPNo + K 2 × ( 1 - PC i SPNo ) - - - ( 17 ) ]]>

    式中,K1、K2为权重值,是老人的生活异常概率,当该值超过某一阈值
    T1时,系统自动生成告知信息;当该值超过某一阈值T2时,系统自动生成紧急
    通知信息;当该值超过某一阈值T3时,系统自动生成报警信息,T3>T2>T1;
    系统生成的告知和报警信息发送给告知和报警单元。

    ODVS的工作原理是:进入双曲面镜的中心的光,根据双曲面的镜面特性向
    着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像,在该成像平面上
    的一个点P(x,y)对应着实物在空间上的一个点的坐标A(X,Y,Z);

    图4中的2-双曲线面镜,12-入射光线,13-双曲面镜的实焦点Om(0,0,c),
    14-双曲面镜的虚焦点即摄像单元6的中心Oc(0,0,-c),15-反射光线,16-成像
    平面,17-实物图像的空间坐标A(X,Y,Z),18-入射到双曲面镜面上的图像的空
    间坐标,19-反射在成像平面上的点P(x,y);

    图4中所示的双曲面镜构成的光学系统可以由下面5个等式表示;

    ((X2+Y2)/a2)-((Z-c)2/b2)=-1??当Z>0时??(18)

    c = a 2 + b 3 - - - ( 19 ) ]]>

    φ=tan-1(Y/X)??????????????????????????(20)

    α=tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ(21)

    γ = tan - 1 [ f / ( x 2 + y 2 ) ] - - - ( 22 ) ]]>

    式中X、Y、Z表示空间坐标,c表示双曲面镜的焦点,2c表示两个焦点之间
    的距离,a,b分别是双曲面镜的实轴和虚轴的长度,Φ表示入射光线在XY平面上
    的夹角,即方位角,α表示入射光线在XZ平面上的夹角,这里将α大于或等于0
    时称为俯角,将α小于0时称为仰角,f表示成像平面到双曲面镜的虚焦点的距离,
    γ表示折入射光线与Z轴的夹角;

    图2是ODVS的结构图,ODVS包括双曲面镜面2、上盖1、透明外罩3、下
    固定座4、摄像单元固定座5、摄像单元6、连接单元7、上罩8,所述的双曲面
    镜面2固定在所述的上盖1上,所述的连接单元7将所述的下固定座4和透明外
    罩3连接成一体,所述的透明外罩3与所述的上盖1以及所述的上罩8通过螺钉
    固定在一起,所述的摄像单元6用螺钉固定在所述的摄像单元固定座5上,所述
    的摄像单元6固定座5用螺钉固定在所述的下固定座4上,所述的摄像单元6的
    输出端口是USB接口。

    本发明的有益效果主要表现在:1、获取实时老人房间内的全景视频图像,可
    提供一种远程监护的手段;2、结合全方位视觉、计算机视觉和数据库等技术用
    于独居老人的活动量、姿态、动作行为和日常生活分析,提高了老人监护的自
    动化和智能化水平;3、不但能自动检测老人在室内视觉范围内的摔倒等重要事
    件,还能智能判断老人不在视觉范围内以及外出时的异常行为;4、相关分析结果
    可以用于帮助客观了解老人的日常生活方式,为老人提供及时的医疗和其他服
    务。

    附图说明

    图1为独居老人家庭平面示意图;

    图2为一种ODVS的结构图;

    图3为一种全景视频图像和空间位置定制方法说明图;

    图4为一种ODVS成像原理图;

    图5为一种基于全方位视觉的独居老人安全监护系统的软件构成框图;

    图6为几种人体姿态的视图,其中,(a)为走,(b)为坐,(c)为躺,(d)
    为蹲;

    图7为一种基于全方位视觉的独居老人安全监护系统的检测方法的说明图。

    具体实施方式

    下面结合附图对本发明作进一步描述。

    参照图1~7,一种基于全方位视觉的独居老人安全监护系统,包括全方位摄
    像装置和用于对全方位摄像装置所拍摄的全景图像以及相关输入信息对独居老人
    的活动量、姿态、摔倒以及生活行为习惯进行分析处理判断的微处理器;所述全
    方位摄像装置,如图2所示,以下用ODVS表示,放置在老人家庭客厅中间的上
    方,如图1所示,使得ODVS能捕获到整个老人家庭内老人日常生活80%以上的
    视频图像,所拍摄的图像如图3所示;所述的全方位摄像装置通过USB接口与所
    述的微处理器进行连接,所述的微处理器通过网络与老人安全监护中心进行连接;
    所述的微处理器包括硬件和软件两个部分,硬件部分采用一般市售的PC机;软
    件部分如图5所示,包括:视频图像读取单元,用于通过USB接口读取ODVS
    所拍摄的全景图像,并将读取的全景图像提交给视频图像展开单元和视频图像存
    储单元;视频图像展开单元用于将全景图像进行柱状展开,展开后的全景柱状图
    像提交给前景对象检测单元;空间位置定义单元,用于定义和命名在全景图像中
    老人室内空间位置;家具和电器摆放位置输入单元,用于将所述的空间位置定义
    单元所定义的空间位置与老人家中的家具、电器和出入口建立映射关系;前景对
    象检测单元用于检测在全景柱状展开图像中存在的前景人体对象,具体采用MHI
    算法来计算前景人体对象,然后在柱状展开图像上用矩形框框住前景人体对象,
    并将矩形框提交给人体对象跟踪单元;人体对象跟踪单元,根据前景对象检测单
    元所提交的矩形框采用增强的Camshift算法对人体对象进行跟踪;人体姿态分析
    单元,根据人体对象跟踪单元的结果采用人体模型算法估算出老人目前的姿态,
    并将当前的时刻、空间的位置和姿态的分析结果写入人体姿态数据库中;所述的
    摔倒检测单元,根据人体姿态的检测结果以及是否在非静止区域情况来判断老人
    是否摔倒;动作行为分析单元,根据人体姿态数据库中前几帧中老人的姿态和当
    前老人的姿态分析得到老人的动作行为;日常生活规律分析单元,根据人体姿态
    数据库、家具和家用电器与空间位置关系数据库以及当前老人动作行为判断结果
    等信息来分析和判断老人当前的活动类型,并将分析和判断结果写入日常生活数
    据库中;异常判断单元,根据当前老人的活动类型和日常生活数据库中所提取的
    老人的生活模式等信息通过异常判断算法进行老人行为异常判断,并将异常分为
    若干个等级,针对不同等级的异常的情况分别生成告知、紧急通知、报警等信息,
    通过告知和报警单元发送给相关部门和人员,以实现独居老人的安全监护;

    安装在独居老人家中的全方位视觉传感器,通常是安装在能全方位获取独居
    老人活动比较频繁的地方,比如客厅中间的上方,如图1所示,这样使用一个
    全方位视觉传感器就能获取独居老人的80%以上日?;疃氖悠敌畔?,因此全方
    位视觉传感器主要承担实时采集老人起居生活的视频图像数据,为独居老人的
    安全监护,如运动检测、跟踪、姿态识别和活动分析提供数据支撑;

    面向独居老人家庭中的人体动作识别方法,其主要包括三个部分:一是人体
    的定位,二是人体运动的跟踪,三是人体动作的识别。独居老人的监护应用要
    求对进入全景视频场景的人体目标进行持续跟踪,即使在人体目标静止时仍然
    保持焦点。现有的基于MHI算法能较好地跟踪人体运动目标,但是当被跟踪人
    体目标停止运动时,算法会失去跟踪焦点,而当其再次运动时,算法会误当作
    新的人体目标;现有的CamShift算法具有可以锁定静止目标的优势,但跟踪运
    动目标时易受附近颜色干扰,且不含对各目标的图像分割,属于半自动化的跟踪
    技术;鉴于独居老人的家庭环境下背景杂乱,衣着多样,针对室内环境变化缓
    慢的特点,本发明结合MHI算法和CamShift算法的各自优势实现了一种适合于
    独居老人家庭的人体动作识别算法,具体做法是:采用基于运动历史图像
    (Motion?History?Image,MHI)的算法来实现人体对象的分割与定位;将
    CamShift算法用于多静止目标的定位,由于目标区域已被基于MHI的跟踪算法所
    分割确定,故人体目标中心位置相对固定,并将人体目标中心位置和大小自动递
    交给CamShift算法以实现时而静止时而运动的人体对象的稳定跟踪;

    针对现有的CamShift算法易受跟踪对象附近颜色干扰问题,本发明提出了
    一种增强的CamShift算法,具体做法是采用颜色概率密度分布方法来抑制同时
    在目标和背景中出现的颜色;实现思路是:Bayesian概率法则的颜色概率密度
    分布获取方法既考虑了目标颜色模型,也考虑了背景颜色模型,赋予在目标中
    出现但在背景中没出现的颜色以较高的比重,而抑制了同时在目标和背景中出
    现的颜色,从而有效避免了背景的干扰;

    基于运动历史图像(Motion?History?Image,MHI)方法的自适应背景模型,
    用于定位出活动人体对象,同时为了有效克服阴影,利用YCbCr空间图像与亮
    度图像的综合得到稳定的运动目标检测结果,并结合目标的大小和颜色特征进
    行目标分类,从而定位出人体;基于MHI方法的缺陷在于只能跟踪运动目标,被
    跟踪目标停止运动时,算法会失去跟踪焦点,而当其再次运动时,算法会误当
    作新目标;CamShift具有可以锁定静止目标的优势,但跟踪运动目标时易受附
    近颜色干扰,且不含对各目标的图像分割,也难于获知目标的运动趋势等信息;

    考虑到室内环境属于静止环境,本发明提出了一种基于MHI的自适应背景模
    型来进行背景建模,为了有效克服阴影,利用YCbCr与亮度图像分别分割然后
    进行综合得到运动前景图像,最后利用后处理实现人体的分割与定位。

    本发明提出了一种基于MHI的背景更新模型,MHI的更新方式如公式(1)
    所示;


    式中,mhi为运动历史图像,ts为当前时间,sih为图像的掩模,人体运
    动发生的地方取非零值,dur为运动跟踪的最大持续时间;

    得到MHI运动历史图像后,为了消除噪声的影响,对MHI进行中值滤波处
    理,然后将滤波后的结果图像进行金字塔膨胀,最后得到一个尽可能放大的运
    动历史图像掩模,以该掩模为基础,逐渐刷出背景;刷出背景的原理是:对于最
    近发生过运动的区域,这些区域有一定的可能性存在前景,因此,这些地方的
    背景不更新,而没有前景部分的区域进行自适应背景更新;

    由于RGB空间容易受光照的影响,将图像由RGB空间转换到YCbCr空间,
    滤除Y(亮度)分量,用Cb、Cr颜色来分割得到前景图像;

    Y = 0.299 R + 0.587 G + 0.114 B Cr = 0.713 ( R - Y ) Cb = 0.564 ( B - Y ) - - - ( 2 ) ]]>

    阴影区域基本上没有颜色信息,因此,采用Cr和Cb分量进行图像分割时,
    阴影在前景中不会检测出来,但同时前景本身颜色信息不强的地方也会检测不
    全,详细的阴影去除过程如下:

    Step1:用较大的和较小的亮度阈值分别对背景减除的结果图像进行二值
    化,分别记为ImgL和ImgS;

    Step2:利用背景减除之后的Cr和Cb图像分别进行二值化,分别记为ImgCr
    和ImgCb,得到的前景都去除了阴影,Cr得到的是红色色差分量,Cb得到的是
    蓝色色差分量,将两个色差结果取或得到去阴影的结果图像,记为ImgC=ImgCr?
    OR?ImgCb,得到色差分割结果;

    Step3:由于只靠色差分量得到的目标容易丢失没有颜色信息的目标(如黑
    色、白色、灰色等着装容易造成人体检测不全),需要融合其亮度分量;为了
    保证尽可能的得到真目标,取亮度阈值较大的二值化图像与色差二值化图像作
    或运算,记为Img1=ImgC?OR?ImgL;

    Step4:上述处理得到的结果容易有噪声,为了进行噪声去除,先将ImgS作
    膨胀记为ImgS’,然后将Img1与ImgS’取与运算得到最终结果图像,Img=Img1
    AND?ImgS’,由此得到的目标作为最终的运动目标前景;

    由于采用了基于MHI的背景自适应建?;?,一定程度上可以消弱阴影的
    影响,为了得到更好的前景结果,利用阴影区域的颜色信息较弱这一特点进行
    阴影抑制;

    由于Camshiff跟踪算法是一种搜索局部峰值的基于颜色概率密度的跟踪算
    法,因此无需在整幅全景图像上作全局搜索,这里引入感兴趣区域,简单表示为
    ROI,目标人体对象跟踪在目标可能出现的区域-ROI内完成,这样既可以减少
    计算量,又可以消除ROI外部的干扰;

    改进的Camshifi算法如下:

    步骤1:以所述前景对象检测单元中检测出的人体对象目标为基础,设定目标
    跟踪的ROI;

    步骤2:计算ROI内的目标颜色概率密度分布;

    步骤3:迭代Mean?Shift直到收敛,记录其位置和零阶矩

    步骤4:对下一帧图像,以为搜索窗中心位置,并根据的函数确
    定搜索窗大小,根据人体对象目标外接矩形确定ROI大小,转步骤2;

    在Camshiff算法的步骤2中,本发明采用Bayesian概率法则获得目标在图像
    中的颜色概率密度分布,计算方法如公式(3)所示:

    P ( C / O ) = P ( C / O ) P ( O ) P ( C / O ) P ( O ) + P ( C / B ) P ( B ) - - - ( 3 ) ]]>

    式中:C为像素点在HSV空间的颜色值,即像素点的(H,S)值;O为目标,B
    为背景,P(O)+P(B)=1,P(O)为目标对象面积和除目标对象外的背景面积的比
    值;P(C/O)和P(C/B)可分别从目标对象和背景的直方图获得;按公式(3)获得
    目标对象在图像中的颜色概率密度分布,再按公式(4)把概率分布区间从[0,
    max(P(O/C))]归一化到[0,255]区间中,从而获得最终进行Mean?Shift迭代的颜
    色概率密度分布图像P′(O/C);

    P ( O / C ) = min [ 255 max ( P ( O / C ) ) P ( O , C ) , 255 ] - - - ( 4 ) ]]>

    式中,P′(O/C)为归一化的目标对象颜色概率密度分布,P(O/C)为目标对象
    颜色概率密度分布;

    在改进Camshift算法的步骤4中,本发明根据上一帧跟踪结果的零阶矩
    的函数确定新的搜索窗的大小s,以适应目标在视频图像中的尺度变化,如公式
    (5)所示;

    s = 2 × M 00 ( s ) / K - - - ( 5 ) ]]>

    式中,s为搜索窗的大小,K为常数,本发明中选择K∈[230,240];

    根据人体对象目标运动的空间连续性,在人体对象目标实时跟踪中,人体对
    象目标在下一帧的位置位于前一帧中同一人体对象目标位置附近,因此定义适当
    位置和适当大小的ROI,人体对象目标跟踪在ROI内完成;该ROI必须包含完整
    的人体对象目标,以避免人体对象目标的不完整甚至丢失;同时避免ROI过大,
    以避免ROI内包含过多背景形成干扰;同时降低计算量,包括计算颜色概率密度
    分布的计算量和Mean?Shift迭代次数;

    CamShift算法是将MeanShift算法这种最优的寻找概率密度极大值的梯度
    上升法扩展到视频图像序列的结果,其原理是将每帧视频图像转换到HSV色彩
    空间得到其颜色概率分布图,并作MeanShift运算以搜索匹配被跟踪目标的颜
    色概率模型,且当获得新图像帧时,CamShift自动调节搜索窗的范围和位置,并
    将上一帧运算结果作为其输入,如此持续迭代运算实现视频目标跟踪;设图像
    坐标(x,y)处像素点的概率值为I(x,y),且(x,y)∈R,CamShift算法过程如下;

    1):在颜色概率分布图中选取范围为R的搜索窗W;

    2):计算x和y的零阶矩、一阶矩、二阶矩,计算方法如公式(6)、(7)、
    (8)所示;

    M 00 = Σ x Σ y I ( x , y ) M 11 = Σ x Σ y xyI ( x , y ) - - - ( 6 ) ]]>

    M 10 = Σ x Σ y xI ( x , y ) M 01 = Σ x Σ y yI ( x , y ) - - - ( 7 ) ]]>

    M 20 = Σ x Σ y x 2 I ( x , y ) M 02 = Σ x Σ y y 2 I ( x , y ) - - - ( 8 ) ]]>

    3):计算搜索窗的质心位置计算方法由公式(9)所示,

    (xc,yc)=(M10/M00,M01/M00)(9)

    4):重新设置搜索窗的范围R;

    5):如果不收敛且循环次数小于预设值,则返回2),否则结束;

    算法中的收敛条件为:质心位置偏移量小于预定义阈值。

    另外,被跟踪目标长轴方向角用公式(10)计算,

    θ = 1 2 arctan { 2 [ ( M 11 / M 00 ) - x c y c ] [ ( M 20 / M 00 ) - x c 2 ] - [ ( M 02 / M 00 ) - y c 2 ] } - - - ( 10 ) ]]>

    a = ( M 20 / M 00 ) - x c 2 b = 2 [ ( M 11 / M 00 ) - x c y c ] c = [ ( M 02 / M 00 ) - y c 2 ] ]]>

    则得到被跟踪对象的长轴、短轴的长度用公式(11)、(12)计算,

    l = ( a + c ) + b 2 + ( a - c ) 2 2 - - - ( 11 ) ]]>

    w = ( a + c ) - b 2 + ( a - c ) 2 2 ]]>(12)

    当跟踪的人体目标在场景中出现停止不动的情况,比如老人长时
    间坐在沙发上看电视,或者行走到视频场景之外时,比如老人进入卧室、出门、
    进入卫生间等,基于MHI的算法会丢失掉人体目标的跟踪焦点,此时基于
    CamShift算法对基于MHI的算法丢失焦点前的跟踪信息进行分析处理,若
    CamShift在限定范围内发现目标,则对该静止的人体目标继续跟踪;若
    CamShift在限定范围内无法获取目标,则视为已经运动到视频场景之外;

    本发明对独居老人家庭的空间进行网格化处理,从获取的全景图像上定义和
    命名室内空间的网格,网格的分割如附图7所示,作为一种简单的定义和命名
    方式是采用20×20mm大小的网格将可视范围内的空间进行分割,命名采用两位
    英文字母,从房间平面图的左上角开始顺序编排,第一位英文字母表示行,第
    二位英文字母表示列,比如房间的出入口的编号为AL、卫生间的出入口的编号
    为IO、阳台的出入口的编号为TK、卧室的出入口的编号为PI、客厅沙发的编号
    分别为BD和BE,这样比如人体的跟踪焦点在空间位置编号BD或者BE上,判断
    为老人座在沙发上;如果跟踪焦点在空间位置编号AL上消失,推断为老人外出;
    如果跟踪焦点在空间位置编号IO上消失,推断为老人进入卫生间;同样跟踪焦
    点在空间位置编号IO上出现,推断为老人从卫生间出来;

    为了得到老人的生活模式等信息,需要将老人家庭中的电器和家具等与空间
    位置进行关联,比如跟踪焦点较长时间站在水槽附近推断老人在洗东西,跟踪
    焦点较长时间在沙发上推断老人在休息或者看电视,跟踪焦点在餐桌附近推断
    老人在就餐,等等;本发明中采用位置空间编号与家具电器等对应表,如表1
    所示;

    ??空间位置编号
    ??家具、电器、室内门窗
    ??BD
    ??沙发右侧
    ??BE
    ??沙发左侧
    ??AL
    ??出入门口
    ??PI
    ??卧室门口
    ??TK
    ??阳台门口
    ??IO
    ??卫生间门口
    ??JQ
    ??洗衣机
    ??TO
    ??盥洗槽左侧
    ??TP
    ??盥洗槽右侧
    ??...
    ??...

    表1。

    在跟踪过程中,只要老人在全景视觉的范围内每一帧图像中都会存在跟踪焦
    点,本发明中将老人出现的空间位置、时间和姿态信息写入到人体姿态数据库
    中内,人体姿态数据库的表格式如表2所示;


    表2

    表2中的时间是根据微处理器内的时钟以年月日小时分秒14位数据格式来设
    定的,即YYYYMMDDHHMMSS;空间编号是根据所述的人体对象跟踪单元中所得到跟
    踪焦点所处的空间位置来确定的;姿态编码是根据所述的姿态分析单元中所得
    到的人体姿态识别结果来设定的,姿态编码中将1命名为站立姿态、2命名为坐
    姿态、3命名为横躺姿态;考虑到老人家中其他人的来访情况,将是否有其他活
    动对象设置为false,如果只有一个人体对象情况将是否有其他活动对象设置为
    true;为了减少数据的冗余,如果人体跟踪对象消失或者静止的情况不产生记
    录;如果人体跟踪对象有活动情况时每条记录的间隔时间为10秒;

    人体姿态的识别是通过人体跟踪框的高宽比来确定的,对于站立姿态的高宽
    比约为3∶1,坐姿态的高宽比约为1∶1,横躺姿态的高宽比约为1∶7;

    所述的摔倒检测单元,根据人体姿态的检测结果以及是否在非静止区域情况
    来判断老人是否摔倒;如果分析的结果为横躺姿态并且老人不在沙发等休息区域
    就判断为老人出现摔倒;系统自动生成报警信息,系统生成的告知和报警信息发
    送给告知和报警单元;

    动作行为分析单元,根据人体姿态数据库中前几帧中老人的姿态和当前老人
    的姿态分析得到老人的动作行为;本发明中主要考虑了老人从一个相对静止状态
    到下一个相对静止状态的动作行为,比如从坐在沙发上起身然后走到洗衣机旁开
    始洗衣服,操作完后离开洗衣机,…;在这个过程中老人坐在沙发上属于坐姿态
    并处于相对静止状态,起身后变成站姿态,走到洗衣机旁老人所处的空间位置发
    生了变化,并又从运动状态转化为相对静止状态;比如老人在行走过程中的跌倒,
    是从一个站的姿态转化为横躺的姿态,并处于相对静止状态;因此在分析老人行
    为时,从当前老人相对静止状态开始追溯到上一次老人相对静止状态,从两次间
    隔的相对静止状态的过程来识别老人的动作行为;

    异常判断单元,根据当前老人的活动类型和日常生活数据库中所提取的老人
    的生活模式等信息通过异常判断算法进行老人行为异常判断,并将异常分为若干
    个等级,针对不同等级的异常的情况分别生成告知、紧急通知、报警等信息,通
    过告知和报警单元发送给相关部门和人员,以实现独居老人的安全监护

    利用老人的日常生活规律来识别和判断老人的生活异??梢杂行植估先?br />不在视觉范围内的安全监护的不足,比如老人外出时间明显超过了平时外出归
    来的时间,老人进入了卫生间后的时间大大超过了平时在卫生间的时间,平时
    老人6点左右起床进入视觉监护范围等等,需要建立一种老人室内活动模型,
    该模型能够自学习老人的日常生活规律,从而预测老人在某一时段进入某一非
    视觉范围需要的活动时间,通过与实际活动时间的比较计算摔倒等异常发生的
    概率,如果异常概率超过安全域值则通知远程监护者;

    要得到老人的日常生活规律,首先装置要自学习老人日常生活的规律性:学
    习老人某个时段通过某个空间位置离开视觉范围进入其他场所的活动的持续时
    间的规律性,例如老人在卧室里睡觉的持续时间的规律性、外出的持续时间的
    规律性和上卫生间的持续时间的规律性;

    本发明提出的活动持续时间模型是一个单高斯模型P(t|μ,σ),描述了
    老人在某个时间段进入非视觉范围的活动持续时间为t的概率;用公式(13)、
    (14)来表述;

    使用低通滤波方法来更新高斯模型:

    σSPNpi2=(1-K)×σSPNoi-12+K×(t-μSPNoi-1)2(13)

    μSPNoi=(1-K)×μSPNoi-1+K×t???????????????(14)

    其中,K是学习速度,系统初始化的时候,为了尽快学习到活动持续时间的
    规律性,K的取值一般比较大,在0.1~0.3之间;当系统经过一段时间的学习,
    活动高斯模型趋于稳定之后,可以把K的值调到一个较小值,如0.01,这样当
    前最新的活动持续时间对高斯模型的影响只有1%,从而可以很好的保持高斯模
    型的稳定性;σSPNpi是某个空间位置上的高斯模型的标准差,该值通过统计人体
    姿态数据的记录来获得的,μSPNoi是某个空间位置上的高斯模型的数学期望值,
    该值通过统计人体姿态数据的记录来计算得到的;

    在非视觉范围情况下的老人的生活异常是根据老人离开某个空间位置的持
    续时间来判断,具体做法是根据公式(13)、(14)计算得到的活动持续时间模
    型的本次活动持续时间的预测期望值μSPNoi和预测标准差值σSPNpi,然后用公式
    (15)、(16)计算实际活动时间与预测值的差值和实际活动时间的概率,

    PE i SPNo = t - t 1 - μ SPNp i - - - ( 15 ) ]]>

    PC i SPNo = p ( t - t 1 | i , μ SPNo i , σ SPNo i ) - - - ( 16 ) ]]>

    式中,t为当前系统时间,t1为老人离开某个空间位置的时间,σSPNpi为某
    个空间位置上的高斯模型的标准差,μSPNoi为某个空间位置上的高斯模型的数学
    期望值,为实际活动时间与预测值的差值,为实际活动时间属于
    活动持续时间的高斯模型的概率,通过公式(17)来计算老人的生活异常概率,

    P SPNo = K 1 × PE i SPNo + K 2 × ( 1 - PC i SPNo ) - - - ( 17 ) ]]>

    式中,K1、K2为权重值,是老人的生活异常概率,当该值超过某一
    阈值T1时,系统自动生成告知信息;当该值超过某一阈值T2时,系统自动生成
    紧急通知信息;当该值超过某一阈值T3时,系统自动生成报警信息,
    T3>T2>T1;系统生成的告知和报警信息发送给告知和报警单元;

    所述的告知和报警单元是将所述的异常判断单元或者所述的摔倒检测单元
    所生成的告知和报警信息通过各种网络发送给老人的远程监护者或者相关部门;

    考虑到?;だ先说母鋈艘揭约巴绱渫枷?、视频数据的一些问题,因此
    系统发给远程监护者的告知和报警信息首选为文本方式;为了减少系统误报、
    误判断所产生的不利影响,系统允许远程监护者通过各种网络进行远程确认;
    远程监护者可以通过手机或者各种网络设备请求当时的所拍摄抓拍人体图像来
    确认老人是否处于危险状态;

    ODVS的工作原理是:进入双曲面镜的中心的光,根据双曲面的镜面特性向
    着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像,在该成像平面上
    的一个点P(x,y)对应着实物在空间上的一个点的坐标A(X,Y,Z);

    图4中的2-双曲线面镜,12-入射光线,13-双曲面镜的实焦点Om(0,0,c),
    14-双曲面镜的虚焦点即摄像单元6的中心Oc(0,0,-c),15-反射光线,16-成像
    平面,17-实物图像的空间坐标A(X,Y,Z),18-入射到双曲面镜面上的图像的空
    间坐标,19-反射在成像平面上的点P(x,y);

    图4中所示的双曲面镜构成的光学系统可以由下面5个等式表示;

    ((X2+Y2)/a2)-((Z-c)2/b2)=-1??当Z>0时??(18)

    c = a 2 + b 3 - - - ( 19 ) ]]>

    φ=tan-1(Y/X)??????????????????????????(20)

    α=tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ(21)

    γ = tan - 1 [ f / ( x 2 + y 2 ) ] - - - ( 22 ) ]]>

    式中X、Y、Z表示空间坐标,c表示双曲面镜的焦点,2c表示两个焦点之间
    的距离,a,b分别是双曲面镜的实轴和虚轴的长度,Φ表示入射光线在XY平面上
    的夹角,即方位角,α表示入射光线在XZ平面上的夹角,这里将α大于或等于0
    时称为俯角,将α小于0时称为仰角,f表示成像平面到双曲面镜的虚焦点的距离,
    γ表示折入射光线与Z轴的夹角;

    图2是ODVS的结构图,ODVS包括双曲面镜面2、上盖1、透明外罩3、下
    固定座4、摄像单元固定座5、摄像单元6、连接单元7、上罩8,所述的双曲面
    镜面2固定在所述的上盖1上,所述的连接单元7将所述的下固定座4和透明外
    罩3连接成一体,所述的透明外罩3与所述的上盖1以及所述的上罩8通过螺钉
    固定在一起,所述的摄像单元6用螺钉固定在所述的摄像单元固定座5上,所述
    的摄像单元6固定座5用螺钉固定在所述的下固定座4上,所述的摄像单元6的
    输出端口是USB接口。

    关于本文
    本文标题:基于全方位视觉的独居老人安全监护系统.pdf
    链接地址://www.4mum.com.cn/p-5817425.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 河北11选5走势图号码 下载辽宁十一选五走势图表 大乐透复式如何兑奖 17137福彩开奖号码 湖南幸运赛车app 江西多乐彩十一选五开奖结果 中国体彩江苏十一选五 山西十一选五最新遗漏数据 安徽11选5遗漏查询 山东新11选5技巧 大连娱网棋牌游戏下载 pk10牛牛怎么稳赢 pk10牛牛网站 重庆幸运农场玩法说明 北京pk10彩票漏洞 白山棋牌麻将下载