一种基于书写笔的交互系统及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106648171A(43)申请公布日2017.05.10(21)申请号201611123452.4(22)申请日2016.12.08(71)申请人南京仁光电子科技有限公司地址210028江苏省南京市栖霞区迈皋桥创业园科技研发基地寅春路18号-A307(72)发明人谭登峰康三顺(51)Int.Cl.G06F3/0354(2013.01)G06F3/0487(2013.01)G06K9/22(2006.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于书写笔的交互系统及方法(57)摘要本发明提供了一种基于书写笔的交互系统及方法，所述的交互系统包括多个书写笔、屏幕、摄像头和处理器，其中多个书写笔，为带特殊标志的书写笔，用于供给多个使用者同时对屏幕进行操作；摄像头设置在屏幕的上方，用于采集屏幕上的信息；处理器接收来自摄像头的信息，用于检测跟踪是来自哪个书写笔书写的信息。所述的交互方法包括：对摄像头进行标定，将所拍摄图像映射到屏幕对应的位置上；采用OCR字符识别技术对上面标定好的图像进行检测；将检测出的一帧图像中书写笔的位置连线组成为连续的运动轨迹，并根据获取的运动轨迹来实现人机交互的目的。本发明提供的交互系统及分法，解决了多个书写笔同时在屏幕上操作被检测为一个的问题。CN106648171ACN106648171A权利要求书1/2页1.一种基于书写笔的交互系统，其特征在于，包括多个书写笔、屏幕、摄像头和处理器，其中：多个书写笔，为带特殊标志的书写笔，用于供给多个使用者同时对屏幕进行操作；摄像头设置在屏幕的上方，用于采集屏幕上的信息；处理器接收来自摄像头的信息，用于检测跟踪是来自哪个书写笔书写的信息。2.根据权利要求1所述的交互系统，其特征在于，所述的多个书写笔为带数字标号的书写笔。3.一种基于书写笔的交互方法，其特征在于，包括如下步骤：S1、对摄像头进行标定，将所拍摄图像映射到屏幕对应的位置上；S2、采用OCR字符识别技术对上面标定好的图像进行检测；S3、将检测出的一帧图像中书写笔的位置连线组成为连续的运动轨迹，并根据获取的运动轨迹来判断是否有书写笔在屏幕上操作，进而实现人机交互。4.根据权利要求3所述的交互方法，其特征在于，所述的对摄像头进行标定的步骤具体包括如下步骤：S11、制作黑白格子图并全屏显示在屏幕上；S12、通过摄像头获取到上面制作出的黑白格子图，并获取到背景图；S13、将黑白格子图分别灰度化后和背景图的灰度图相减，再对获得的两个图进行差异化比较，获取新的图像；S14、对获取的新的图像进行二值化并进行轮廓提取，获取到轮廓的角点信息；S15、对各个角点的信息进行排序，并分别对应到屏幕中的位置，其结果作为标定的结果。5.根据权利要求4所述的交互方法，其特征在于，所述的对各个角点的信息进行排序的步骤具体包括如下步骤：S151、设屏幕的左上角为坐标原点，每个像素点的位置坐标为(x，y)，如果该像素点的横坐标x与纵坐标y之和越小，则该像素点越靠近于屏幕左上角；假设屏幕图像长度为imagelength，如果imagelength-x与y之和越小，则该像素点越靠近于屏幕右上角；S152：通过上述步骤检测出屏幕第一排最左边的点和第一排最右边的点，设两点坐标分别为(x1，y1)和(x2，y2)，通过θ＝arctan((y2-y1)/(x2-x1))得出这两点形成的斜率角度；采用上述方法对所有的像素点进行粗略的排序；S153：获取上述粗略排序后的坐标排序结果，通过每个点的横坐标x，纵坐标y，及步骤S83计算出的θ用公式y*cosθ-x*sinθ按从小到大对所有点进行排序，则前rows个点为第一排所拥有的点，并对所述第一排的像素点按照其横坐标从小到大进行排序，得到第一排的排序对应；S154：对剩下的(rows*cols-rows)个点逐个进行步骤S81到步骤S84，获得第二排最左边的点和第二排最右边的点，以及第二排的rows个点；同理，依此获得所有其他排的坐标信息的排序对应；S155:将上述排序对应的结果中的前rows个点(第一排的总数)按照横坐标从小到大进行排序，即获得第一排的正确排序对应，同理依此获得第2至第cols排的正确排序对应。6.根据权利要求3所述的交互方法，其特征在于，所述的采用OCR字符识别技术对上面2CN106648171A权利要求书2/2页标定好的图像进行检测的步骤具体包括如下步骤：S21、获取背景图，并对背景图进行灰度化处理；S22、获取当前帧的实时图像，并对该实时图像进行灰度处理；S23、用实时图像得到的灰度图减去背景图得到的灰度图并取绝对值，获取一副新的图像。S24、对获取的新的图像进行二值化处理，获取二值图；S25、对获取的二