一种辅助盲人感知外界环境的智能SOC终端.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112101178A(43)申请公布日2020.12.18(21)申请号202010944871.4(22)申请日2020.09.10(71)申请人电子科技大学地址611731四川省成都市高新区（西区）西源大道2006号(72)发明人阎波牧士宁许宏达魏然柴进(74)专利代理机构北京正华智诚专利代理事务所(普通合伙)11870代理人何凡(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书1页说明书5页附图1页(54)发明名称一种辅助盲人感知外界环境的智能SOC终端(57)摘要本发明公开了一种辅助盲人感知外界环境的智能SOC终端，其包括环境图像采集模块、环境图像识别模块和识别结果输出模块；环境图像采集模块用于采集盲人在行走过程中所处环境的环境图像，环境图像识别模块用于利用ARM将环境图像数据分批搬运至FPGA，再利用基于FPGA的可配置复用的卷积神经网络加速器对分批搬入的环境图像数据计算特征图，并利用ARM将FPGA输出的特征图和对应的网络权重分配搬出后进行目标识别，识别结果输入模块用于向盲人输出识别结果。本发明利用基于FPGA的可配置复用的神经网络加速器，在保证物体识别精度的同时并进行语音播报，大幅提升了终端目标检测速度，且使用较少的资源以及功耗，确保了基于SoC的导盲智能穿戴系统的低成本特性及实时性。CN112101178ACN112101178A权利要求书1/1页1.一种辅助盲人感知外界环境的智能SOC终端，其特征在于，包括环境图像采集模块、环境图像识别模块和识别结果输出模块；所述环境图像采集模块用于采集盲人在行走过程中所处环境的环境图像；所述环境图像识别模块用于构建基于ARM和FPGA的异构体系，利用ARM将存储的环境图像数据分批搬运至FPGA中，再利用基于FPGA的可配置复用的卷积神经网络加速器对分批搬入的环境图像数据计算特征图，并利用ARM将FPGA输出的特征图和对应的网络权重分配搬出后进行目标识别；所述识别结果输入模块用于向盲人输出识别结果。2.根据权利要求1所述的辅助盲人感知外界环境的智能SOC终端，其特征在于，所述环境图像识别模块具体包括ARM、FPGA和DDR；所述DDR用于存储所述环境图像采集模块采集的环境图像数据，并且存储ARM从FPGA搬出的特征图和对应的网络权重数据；所述ARM用于采用DMA控制器将DDR存储的环境图像数据分批搬运至FPGA中，同时在每批搬运过程中对FPGA中的卷积神经网络权重进行配置；并且采用DMA控制器将FPGA每批输出的特征图和对应的网络权重分配搬出至DDR，根据DDR中存储的所有特征图和对应的网络权重采用目标检测算法进行目标识别；所述FPGA用于采用深层次卷积神经网络对ARM分批搬入的环境图像数据加速计算特征图。3.根据权利要求2所述的辅助盲人感知外界环境的智能SOC终端，其特征在于，所述FPGA包括卷积模块、累加模块、池化模块和填充模块，以对分批搬入的环境图像数据分别进行卷积、累加、池化及填充操作。4.根据权利要求3所述的辅助盲人感知外界环境的智能SOC终端，其特征在于，所述FPGA在每次特征图搬运过程中将特征图的行列信息配置到FPGA的卷积模块、累加模块和池化模块。5.根据权利要求4所述的辅助盲人感知外界环境的智能SOC终端，其特征在于，所述FPGA中的卷积模块具体采用深层次卷积神经网络将分批搬入的环境图像数据进行分类，得到特征图。6.根据权利要求4所述的辅助盲人感知外界环境的智能SOC终端，其特征在于，所述FPGA采用的深层次卷积神经网络包括多层卷积层，每层卷积层对环境图像数据进行卷积计算后，再通过激活函数，然后进行最大池化处理，得到相应的特征图。7.根据权利要求4所述的辅助盲人感知外界环境的智能SOC终端，其特征在于，所述环境图像识别模块输出的目标识别结果包括目前物体种类、目标物体概率和目标物体在盲人周围所处环境中的位置。2CN112101178A说明书1/5页一种辅助盲人感知外界环境的智能SOC终端技术领域[0001]本发明涉及智能终端技术领域，具体涉及一种辅助盲人感知外界环境的智能SOC终端。背景技术[0002]盲人作为弱势群体，在生活中受到的身体和精神上的压力非常大。对于盲人来说，想要对外界的事物进行了解，只能通过听觉且无法确定外界到底有什么，这让盲人的生活变得非常枯燥。由于目前神经网络的发展迅速，AI识别技术已经广泛的应用于生活中，对于盲人来说，辅助盲人感知外界的核心在于物体识别的精确性和实时性，以便于准确的播报。[0003]但是由于神经网络的特性，虽然网络越大识别越准确，但是巨大的网络带来的巨大运算量，但