《一种便携式助行导盲装置及方法.pdf》由会员分享，可在线阅读，更多相关《一种便携式助行导盲装置及方法.pdf（12页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104173174A43申请公布日20141203CN104173174A21申请号201410419797922申请日20140822A61H3/0620060171申请人河海大学常州校区地址213022江苏省常州市晋陵北路200号72发明人刘小峰王程程蒋爱民周旭周小芹刘策74专利代理机构南京纵横知识产权代理有限公司32224代理人董建林54发明名称一种便携式助行导盲装置及方法57摘要本发明公开了一种基于盲道线条特征视觉感知的便携式助行导盲装置及方法，包括如下步骤S01采集图像，并将采集的数据记录在一个二维数组IMAGEBUFFERAB中，其中A、B均为正整数；S02取二维。
2、数组IMAGEBUFFERAB中的若干个行判断采集的图像是否为盲道；S03若当前是盲道，则判断盲道是否异常，包括盲道是否是弯道以及盲道上是否有障碍或坑洼；S04若盲道没有异常，则计算当前盲道中心线相对于图像中心线的偏移量，并转换为盲人需要向靠近盲道转向的角度；S05根据步骤S02、S03、S04的检测结果进行相对应的语音提示。根据盲道的线条特征,采用主动视觉,快速准确捕捉盲道的特征,识别盲道的道路状况，引导盲人高效安全行进。该装置经过微型化之后，可做成便于佩戴的导盲眼镜。51INTCL权利要求书2页说明书5页附图4页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书5页附图4。
3、页10申请公布号CN104173174ACN104173174A1/2页21一种便携式助行导盲装置，其特征在于，包括微型摄影头用于采集图像；路况检测模块具体包括盲道识别模块和异常检测模块，其中，盲道识别模块根据微型摄影头采集的图像判断当前是否为盲道；若当前图像是盲道，则异常检测模块检测盲道是否异常；主控模块根据路况检测模块反馈的检测信息控制语音提示模块进行相应的语音提示；电源模块为系统供电；控制开关控制系统工作的开启或关闭。2根据权利要求1所述的一种便携式助行导盲装置，其特征在于，还包括程序更新与USB接口。3一种助行导盲方法，其特征在于，包括如下步骤S01采集图像，并将采集的数据记录在一个二。
4、维数组IMAGEBUFFERAB中，其中A、B均为正整数；S02取二维数组IMAGEBUFFERAB中的若干个行判断采集的图像是否为盲道；S03若当前是盲道，则判断盲道是否异常，包括盲道是否是弯道以及盲道上是否有障碍或坑洼；S04若盲道没有异常，则计算当前盲道中心线相对于图像中心线的偏移量，并转换为盲人需要向靠近盲道转向的角度；S05根据步骤S02、S03、S04的检测结果进行相对应的语音提示。4根据权利要求3所述的一种助行导盲方法，其特征在于，步骤S02具体为A1取二维数组IMAGEBUFFERAB中的H行的各自中央点；A2对于每个点都采取同样的处理方式从该点开始，分别向两边找，找出每一行的。
5、图像跳变的点，并记录在一个二维数组CHANGE_DOTSXY里面，其中，X取值0，1，2，3，H,分别为图像所处理的H行；Y为每行图像列值从小到大所检测到的第Y个跳点，对应元素为第X行第Y个跳点所在的列；A3对每行的跳点采取同样的处理方式从小到大依次取每行相邻的两个跳点且他们中所在列较小的一个认为是线条左边界跳点，较大的一个认为是线条右边界跳点，计算他们间的列差，若是列差小于一定值，则认为这两个相邻跳点间为盲道的线条，此时将定义好的用来存每行线条数的数组TIAODIANCOUNTX加1；A4分别判断第X行TIAODIANCOUNTX值的大小，当超过一定值时，则认为此处是盲道，否则不是。5根据权。
6、利要求4所述的一种助行导盲方法，其特征在于，将H行所检测到的最小跳点和最大跳点分别取出，通过线性计算补出中间缺失部分行的边缘跳点，则得到的左右边缘跳点即为盲道的边沿，再求得左右边沿的中间点所在的列，得到盲道相对于盲人的偏移。6根据权利要求4所述的一种助行导盲方法，其特征在于，步骤A4之后，在盲道范围内找到所有的跳点，从图像底部到顶部，首先找出第一个无跳点的行和下一个无跳点的行，若是这些行中从右往左第N个跳点均满足在一条直线上，则认为此处是盲道，依次类推。权利要求书CN104173174A2/2页37根据权利要求6所述的一种助行导盲方法，其特征在于，步骤S03中盲道是否是弯道的具体判断步骤为检测。
7、出凸起部分并计算宽度和长度，若两者相等，则此处为弯道。8根据权利要求7所述的一种助行导盲方法，其特征在于，若是弯道，检测弯道图像的起始跳点和终止跳点，若该两个跳点和前一个非弯道处的一行的起始跳点和终止跳点相比较，若是左端两个跳点列差超过一定值，右边正常，则此处为左拐，反之，若是右端两个跳点列差超过一定值，左边正常，则此处为右拐。9根据权利要求6所述的一种助行导盲方法，其特征在于，步骤S03中盲道上是否有障碍或坑洼的具体判断步骤为当盲道范围内跳点失去了连续性以及共线性，且不连续行的宽度超过一定值，则判断盲道上有障碍或坑洼。权利要求书CN104173174A1/5页4一种便携式助行导盲装置及方法技。
8、术领域0001本发明涉及一种便携式助行导盲装置及方法。背景技术0002据世界卫生组织统计，目前全球约有285亿人遭受视觉障碍，其中有三千九百万盲人，而且，全球90的视觉障碍患者生活在发展中国家。发展导盲装置与配套的市政道路建设对于提高盲人的生活质量具有重要意义，然而，由于社会发展水平的局限，盲道常常存在破损或被临时占用，而且，目前的导盲犬饲养和成本非常高，导盲杖无法准确探测盲道的坑洼不平、破损以及道路的转折与交叉路口，导盲车不宜携带、成本高，均还无法成为多数盲人的经济易用行动辅助装置。0003专利CN201010141247公开了一种基于红外传感几何特征识别的导盲系统，该发明以小车作为移动载体。
9、，应用红外传感器检测小车底部与地面间距，并根据红外检测信息分辨行进盲道和提示盲道，根据识别结果，调整小车的运动，相应状况以语音形式提示使用者。专利CN201310711816公开了一种基于图像识别的智能导盲杖，在导盲杖内嵌入人机交互子系统、路况识别子系统、导航子系统和滚轮制动系统。采用图像识别处理的方法识别盲道与公交信息。专利CN201110413910公开了一种基于多传感器融合的助行机器人三维环境识别系统，采用ARM与工控机作为控制与信息处理单元；利用重建的三维场景信息与GPS信息，为机器人提供导航。专利CN201120056475公开了一种基于图像识别技术的全自动可载人导盲车，该导盲车采用。
10、图像识别技术探测盲道，并利用GPRS与GPS技术，进行导航与控制。但上述专利均需移动载体，不便于携带。发明内容0004针对上述问题，本发明提供一种便携式助行导盲装置及方法，根据盲道的线条特征,采用主动视觉,快速准确捕捉盲道的特征,识别盲道的道路状况，引导盲人高效安全行进。该装置经过微型化之后，可做成便于佩戴的导盲眼镜。0005为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现0006一种便携式助行导盲装置，其特征在于，包括0007微型摄影头用于采集图像；0008路况检测模块具体包括盲道识别模块和异常检测模块，其中，盲道识别模块根据微型摄影头采集的图像判断当前是否为盲道；若当前图像。
11、是盲道，则异常检测模块检测盲道是否异常；0009主控模块根据路况检测模块反馈的检测信息控制语音提示模块进行相应的语音提示；0010电源模块为系统供电；0011控制开关控制系统工作的开启或关闭。0012一种助行导盲方法，其特征在于，包括如下步骤说明书CN104173174A2/5页50013S01采集图像，并将采集的数据记录在一个二维数组IMAGEBUFFERAB中，其中A、B均为正整数；0014S02取二维数组IMAGEBUFFERAB中的若干个行判断采集的图像是否为盲道；0015S03若当前是盲道，则判断盲道是否异常，包括盲道是否是弯道以及盲道上是否有障碍或坑洼；0016S04若盲道没有异常。
12、，则计算当前盲道中心线相对于图像中心线的偏移量，并转换为盲人需要向靠近盲道转向的角度；0017S05根据步骤S02、S03、S04的检测结果进行相对应的语音提示。0018本发明的有益效果是根据盲道的线条特征,采用主动视觉,快速准确捕捉盲道的特征,识别盲道的道路状况，引导盲人高效安全行进。该装置可以佩戴于脚踝与膝关节之间的小腿正前方,也可微型化成可佩戴的导盲眼镜，简便易用且低成本，适用于各种盲道，为盲人的行走提供方便。附图说明0019图1是本发明一种便携式助行导盲装置及方法的结构示意图；0020图2是本方法的流程图；0021图3是本发明快速捕捉盲道的示意图；0022图4是本发明盲道的弯道检测示意。
13、图；0023图5是本发明三种盲道异常检测示意图。具体实施方式0024下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。0025如图1所示，一种便携式助行导盲装置，包括0026微型摄影头用于采集图像；0027路况检测模块具体包括盲道识别模块和异常检测模块，其中，盲道识别模块根据微型摄影头采集的图像判断当前是否为盲道；若当前图像是盲道，则异常检测模块检测盲道是否异常。路况检测模块将处理后得到的路况信息传送给主控模块；0028主控模块根据路况检测模块反馈的检测信息控制语音提示模块进行相应的语音提示，语。
14、音提示模块让盲人到获得相应的语音提示，提示盲人前面的盲道路况并且该怎么走。其中包括00291若盲人偏离盲道的方向，则提示盲人需要进行相应的转向，以保证行进方向在盲道上；00302若是前方盲道有严重损坏如塌陷或有坑洼或有障碍物，则提示盲人绕道，并且在绕出盲道时及时提示回到盲道的方向上去；00313若是检测到盲道有转弯，则提示转弯方向，并及时给出相应的盲道前进方向。0032收到语音提示后，盲人则作出相应的动作，来调整自己以便更好地在盲道上行走。0033电源模块为系统供电；说明书CN104173174A3/5页60034控制开关控制系统工作的开启或关闭；0035优选，还包括程序更新与USB接口，用于。
15、程序更新并提供USB接口。0036该装置可佩戴于盲人的头部类似矿工安全帽的矿灯，也可微型化制成眼镜式佩戴装置，微型摄像头与行进方向一致并略向地面倾斜。使用时，通过控制开关打开电源模块，由主控模块启动微型摄像头获取行进前方路面图像，所获取的图像，经路况检测模块处理，通过语音提示，引导盲人在盲道上行走，并避开障碍和盲道的坎坷不平之处。本发明是一种简便易用的低成本佩戴式装置，且适用于各种盲道，为盲人的行走提供方便。0037一种助行导盲方法，如图2所示，包括如下步骤0038S01采集图像，并将采集的数据记录在一个二维数组IMAGEBUFFERAB中，其中A、B均为正整数；0039如图3所示，显示的是一。
16、条正常的盲道，无塌陷、无障碍。由于各城市各地方的盲道颜色可能不同，所以不能通过检测盲道的颜色来检测，而绝大多数的盲道均为突出的椭圆状线条即盲道突起部分，所以本方法是通过检测出这些线条来检测出盲道的。0040微型摄像头等采集装置采集当前盲道的图像信息，并且将其存至芯片内部定义好的一个二维数组IMAGEBUFFERAB由于摄像头返回的每一个像素点为一个0到255的灰度值，所以该二维数组定义为UNSIGNEDCHAR类型，A、B值可根据实际情况而定，如可取A80,B240,即采集的图像为80240，二维数组IMAGEBUFFERAB与图像是一一对应关系，后续可通过该二维数组对该图像进行处理。0041。
17、S02取二维数组IMAGEBUFFERAB中的若干个行判断采集的图像是否为盲道；0042为了快速捕捉到盲道信息，所以不能从每行的开始逐步对图像进行分析。这里主要是通过对存有图像信息的二维数组IMAGEBUFFERAB进行数据分析，找出盲道线条边缘的点即跳点，从而根据这些跳点，判断出当前是否处于盲道，还可以根据由这些跳点算出来的线条的长和宽来判断当前是否是弯道，如果长宽相等，则可认为是弯道相等说明盲道线条非线条而是圆点。0043步骤S02具体为0044A1取二维数组IMAGEBUFFERAB中的若干行中的各自中央点即每行中的中心点，这些行最好是不相邻的，这里的若干行是根据获得图像的参数而定，关键。
18、是要能体现图像中整个盲道的大致特征，为了方便后续处理方法的阐述，这里取9行，等分成3组，分别对应为图像底部部分的中央点A1，A2，A3，中间部分的中央点B1，B2，B3，顶部部分的中央点C1，C2，C3，需说明的是，图像底部部分为靠近盲人的部分，顶部部分为远离盲人的部分。0045A2对于每个点都采取同样的处理方式从该点开始，分别向两边找，找出每一行的图像跳变的点突出线条与周围连接处，若该行没有，则取其前一行或者后一行，直至找到该点，并通过其左右两边的图像的暗亮程度记下它对应可能为线条的一边，并记录在一个二维数组CHANGE_DOTSXY里面，其中，X取值0，1，2，3,4,5，6,7,8,分别。
19、为图像底部，中间，顶部所处理的9行；Y为每行图像列值从小到大所检测到的第Y个跳点，对应元素为第X行第Y个跳点所在的列。0046A3对每行的跳点采取同样的处理方式0047判断这9行的跳点，从小到大依次取每行相邻的两个跳点且他们中所在列较小的一个认为是线条左边界跳点，较大的一个认为是线条右边界跳点，计算他们间的列差，若是说明书CN104173174A4/5页7列差小于一定值该值由实际盲道线条宽度来确定，则认为这两个相邻跳点间为盲道的线条即盲道突起部分，此时将定义好的用来存每行线条数的数组TIAODIANCOUNTX加1X为所处理的行；0048之后采取相同的操作找完所有的点。0049A4分别判断第X。
20、行TIAODIANCOUNTX值的大小，当超过一定值时，则认为此处是盲道，否则不是。由于实际中盲道每行的线条数一般为5个以上，所以可以设置当TIAODIANCOUNTX值大于5时，则认为此处为盲道，否则不是。0050若再将该9行所检测到的最小跳点和最大跳点即列值从小到大所检测到的所有跳点中列值最小和最大的跳点，也是边界跳点分别取出，通过线性计算补出中间缺失部分行的边缘跳点，则可认为最终得到的左右边缘跳点即为盲道的边沿，其围成的部分即为盲道，再求得左右边沿的中间点所在的列，即可得到盲道相对于盲人的偏移。0051上述是一种快速捕捉盲道的步骤，其是对盲道的大致检测，即找到盲道所在的可能范围，但是精确。
21、度不高。因此，步骤A4之后，在盲道范围内找到所有的跳点，从图像底部到顶部，首先找出第一个无跳点的行和下一个无跳点的行，若是这些行中从右往左第N个跳点均满足在一条直线上，则认为此处是盲道，依次类推。即，步骤A4之后，则从首行对应图像的底部部分开始在该盲道范围内找到所有的跳点，当整幅图像的跳点均找完时，则开始处理存有跳点的二维数组CHANGE_DOTSXY。从近到远，首先找出第一个无跳点的行，将其认为是前后两排突出线条间的缝隙，从该行开始，直到找到下一个无跳点的行，此时，通过分析这两个无跳点行间的图像，若是这些行中从右往左或从左往右第N个跳点均满足在一条直线上，则认为此处是盲道，再从该无跳点的行往。
22、后续的行找，同样的方式，若连续寻得两排被认为是盲道的突出线条，则认为此处是盲道。被判断出是盲道的部分，则分别再次确定其所对应的N行的起始跳点和终止跳点，再对这两个跳点所在列求平均值，再拿平均值与图像中点所在列求差，即可获得盲人行进方向与盲道间的偏离成度，对相邻跳点所在列求差，则可获得盲道线条的宽度，对相邻无跳点行求差，则可获得盲道线条的长度。0052S03若当前是盲道，则判断盲道是否异常，包括盲道是否是弯道以及盲道上是否有障碍或坑洼。0053如图4所示是一条带有弯道的盲道，当盲人行走至盲道中的弯道时，由于盲道的弯道处会改变突起的形状，一般为圆形，所以检测凸起部分的变化即可以检测到弯道。这里我们。
23、需对盲道识别中得到的边缘跳点进行处理，首先我们分别求出快速识别中所取的9行中的最大跳点和最小跳点边缘跳点两者之间的列差即盲道宽度，根据图像，我们知道弯道部分盲道宽度要比直道部分的盲道宽度大的多，所以判断若是这9行中有不少于3行该行数根据实际而定其盲道宽度大于对应行直盲道宽度取变量ZHIMANGDAOWIDE9分别存取所取9行的盲道宽度，其值由盲人走于直盲道时去实时测量并存于其中一定的值该值由实际而定，则认为当前可能为弯道，再从盲道较宽的几行中取出三行，分别取其中间且列差满足盲道突起的两个跳点，该跳点间即为盲道突起部分，列差记录于WANDAOLIECHA3数组中，再对其中每一组跳点进行处理，以该。
24、组跳点为中心，分别对其前后两行进行跳点检测，若该两行中任意一个满足盲道，则再取其前一个或后一个未检测的行进行盲道检测，直至出现检测的两行均无跳点，记录下此两行的行差于说明书CN104173174A5/5页8WANDAOHANGCHA3数组中，最后判断检测弯道的三行是否均满足WANDAOHANGCHAXWANDAOLIECHAXZX取0,1,2，Z根据实际而定，若是满足，则可认为当前为弯盲道。0054若是弯道，取上述检测弯道的三行进行判断，若是该三行左边界跳点与直盲道对应行及边界跳点列差较大判断基准值据实际测量而定，而右边界的列差很小，则判定为左转，反之，若是该三行右边界跳点与直盲道对应行及边界。
25、跳点列差较大判断基准值据实际测量而定，而左边界的列差很小，则判定为右转。0055盲道上是否有障碍或坑洼的具体判断步骤为当盲道范围内跳点失去了连续性以及共线性，且不连续行的宽度超过一定值，则判断盲道上有障碍或坑洼。0056如图5所示是三种盲道异常情况的示意图，在这里，由于盲道上坑洼或者障碍在图像上显示出的特征类似，均为使得盲道失去了连续性以及共线性，如图5，黑色区域即为坑洼或障碍，由图可以看出，盲道在该处前后无法衔接，出现了突起在该部分丢失，即盲道在该部分失去了连续性；又由于正常盲道非弯道的每一列突起均在一条直线上即共线，而由于坑洼或障碍的出现，其所在部分盲道丢失，在该区域盲道突起也就不存在共线。
26、性了。由于盲道遇到坑洼或者障碍，做出的反应均为绕道而行，所以这里将他们放在一起处理。首先通过图像按照上述判断盲道的方法，找出图像中正常的盲道部分即跳点数目大于一定值，该值由实际情况而定，跳点数目连续N行小于该值则认为该处可能为异常，N由实际而定，再判定可能为异常的部分位于整幅图像的哪一部分，这里区别为以下三部分异常可能位于正常盲道靠近盲人的一方如图5C，也可能位于其远离盲人的一方如图5A，也可能位于其中间如图5B这里取异常在盲人前方18米以内才进行异常判断。0057若是异常位于靠近盲人的一方，则从正常的盲道开始，按照靠近盲人的方向，对图像进行处理，取正常盲道前一行，进行跳点检测，若是该行跳点小。
27、于一定值该值同上判断正常盲道所用的值，则异常宽度计数变量YICHANGCOUNT加1，检测完再对更前一行进行相同处理，直至检测到最开始的一行；若是位于远离盲人的一方，则从正常盲道开始，按照远离盲人的方向，对图像进行处理，取正常盲道后一行，进行跳点检测，若是该行跳点小于一定值，则异常宽度计数变量YICHANGCOUNT加1，检测完再对更后一行进行相同处理，直至检测到距盲人18米处的一行；若是位于正常盲道之间，取近处正常盲道后一行，进行跳点检测，若是该行跳点小于一定值，则异常宽度计数变量YICHANGCOUNT加1，检测完再对更后一行进行相同处理，直至检测到正常盲道。三种情况，最终均得到盲人前方1。
28、8米以内异常的宽度，若是该宽度小于一定值该值由实际情况而定，该值需小到可以忽略该障碍，则忽略该异常，认为此处仍为正常盲道，可继续前行；否则，则提示盲人绕道而行。0058S04若盲道没有异常，则计算当前盲道中心线相对于图像中心线的偏移量，并转换为盲人需要向靠近盲道转向的角度。0059S05根据步骤S02、S03、S04的检测结果进行相对应的语音提示。0060根据盲道的线条特征,采用主动视觉,快速准确捕捉盲道的特征,识别盲道的道路状况，引导盲人高效安全行进。该装置可以佩戴于脚踝与膝关节之间的小腿正前方,也可微型化成可佩戴的导盲眼镜。0061以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或者等效流程变换，或者直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。说明书CN104173174A1/4页9图1说明书附图CN104173174A2/4页10图2说明书附图CN104173174A103/4页11图3图4说明书附图CN104173174A114/4页12图5说明书附图CN104173174A12。