一种剔除校正集异常样本的方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106706558A(43)申请公布日2017.05.24(21)申请号201710017074.X(22)申请日2017.01.10(71)申请人南京富岛信息工程有限公司地址210061江苏省南京市浦口高新开发区桐雨路6号南京软件园(72)发明人陈夕松姜胜男王杰杜眯费树岷胡云云宋玲政(74)专利代理机构南京天华专利代理有限责任公司32218代理人刘畅夏平(51)Int.Cl.G01N21/359(2014.01)G01N21/3577(2014.01)G06T7/00(2017.01)权利要求书1页说明书5页附图2页(54)发明名称一种剔除校正集异常样本的方法(57)摘要本发明提出了一种剔除校正集异常样本的方法，利用局部建模的方法，对校正集中的样本逐一进行留一交叉验证预测，将预测值超出再现性的样本列为可疑异常样本，然后利用主成分分析坐标图以及性质间的相关性分析，最终确定异常样本。该方法较好地剔除了校正集中的异常样本，消除了异常样本对其他正常样本的不良影响，且有利于校正集的不断丰富和完善，对提高模型预测精度具有重要影响。CN106706558ACN106706558A权利要求书1/1页1.一种剔除校正集异常样本的方法，其特征在于该方法首先利用局部建模的方法，对校正集中的样本逐一进行留一交叉验证预测，将预测值超出再现性的样本列为可疑异常样本，然后利用主成分分析坐标图以及性质间的相关性分析，最终确定异常样本；其中：主成分分析坐标图用于判断可疑异常样本是否是由于建模样本不足造成：若可疑异常样本分布在坐标图的边缘，则认为是建模样本不足造成，将其暂列为正常样本；若可疑异常样本分布在坐标图密集区，则利用性质间的相关性分析确定其是否为异常样本。2.根据权利要求1所述的一种剔除校正集异常样本的方法，其特征在于该方法具有以下步骤：(1)获取汽油初始校正集样本的近红外光谱和性质化验值；(2)对校正集样本的光谱进行常规预处理；(3)采用留一交叉验证法对校正集中样本逐一进行PLS建模预测，分别得到预测值，以及预测值与化验值之间的偏差；(4)筛选出预测偏差超出再现性指标的校正样本，将其列为可疑异常样本；(5)从校正集中筛选出可疑异常样本，剩下的样本继续作为下一轮建模的校正集；(6)继续重复步骤(3)～(5)，直至预测偏差全部在相应的再现性指标范围内；(7)将可疑异常样本逐一和剩余校正集样本进行主成分分析，绘制主成分分析坐标图；(8)疑异常样本视为正常样本；如果可疑异常样本分布在坐标图密集区，则利用性质之间的相关性分析确定其是否为异常样本。3.根据权利要求2所述的一种剔除校正集异常样本的方法，其特征在于步骤(2)所述的常规预处理方法采用基线校正和矢量归一。4.根据权利要求2所述的一种剔除校正集异常样本的方法，其特征在于步骤(3)所述的PLS模型是采用局部建模的方法，特征光谱谱段选为4000～4800cm-1，选择50±5个校正样本作为相似样本建立模型。5.根据权利要求2所述的一种剔除校正集异常样本的方法，其特征在于步骤(3)所述的局部建模方法是在三维主成分分析坐标图中，利用长宽高比为3:2:1的长方体选择相似样本。2CN106706558A说明书1/5页一种剔除校正集异常样本的方法技术领域[0001]本发明主要用于油品性质快速检测领域，具体为一种基于近红外光谱的油品性质检测前剔除校正集异常样本的方法。背景技术[0002]在汽油性质快速检测过程中，业界广泛采用基于近红外光谱的建模预测技术。目前，存在两类最常用的建模方法，一是全局建模，二是局部建模。全局建模方法虽具有较好的通用性，但其对校正集样本分布均匀性要求严格，且模型的预测精度普遍不高；局部建模方法选择校正集中相似样本建模，预测更准。特别是在计算机速度日益提升的情况下，局部建模近年来发展很快。[0003]然而，在校正集中可能会出现两类异常样本，一类是化验值与预测值存在显著性差异的校正样本，这可能是由化验值测定误差较大、光谱测量误差较大或化验值录入错误等原因导致的，这类样本不管是全局建模还是局部建模在建模前必须剔除；另一类是高杠杆值样本，与校正集中其他样本相比，含有极端组成，远离模型整体样本的平均值，这类样本显然对全局建模无益，因为破坏了样本分布的均匀性，但对局部建模不但无害，反而有利于丰富校正集，提升后续类似待测样本的预测精度。因此，准确识别并剔除异常样本对提高模型预测精度具有重要的意义。发明内容[0004]为了准确识别并剔除校正集中的异常样本，提高油品性质的模型检测精度，本发明提出了一种剔除校正集异常样本的方法。该方法首先利用局部建模的方法将留一交叉验证预测值超出再现性指标的样本列为可疑异常样本，然后利用主成分分析(PCA)