多源性数据SVM集成算法研究(1).docx

多源性数据SVM集成算法研究(1)论文２０１０年２月第３７卷第１期ＪＯＵＲＮＡＬ西安电子科技大学学报（自然科学版）０ＦＸＩＤＩＡＮＵＮＩＶＥＲＳＩＴＹＦｅｂ．２０１０Ｖ０１．３７Ｎｏ．１ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１—２４００．２０１０．０１．０２４多源性数据ＳＶＭ集成算法研究常甜甜１，刘红卫１，冯２．西北大学信息技术学院。陕西西安筠２７１００６９）（１．西安电子科技大学理学院，陕西西安７１００７１Ｉ摘要：针对数据特征的多源性特点，提出基于分组特征支持向量机集成算法．该方法将特征分组，对不同组特征采用不同的核函数映射到高维空间后用支持向量机分类，最后采用投票的方法得出决策标记，所得到的成员分类器具有较高的差异性．与传统的集成方法相比，该方法具有较好的检测性能．关键词：集成学习；支持向量机；多源性；医学图像中圈分类号：ＴＰｌ８文献标识码：Ａ文章编号：１００１—２４００（２０１０）０１一０１３６一０６ＳｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｅｎｓｅｍｂｌｅｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｒｅｓｅａｒｃｈｂａｓｅｄｏｎｈｅｔｅｒｏｇｅｎｅｏｕｓｄａｔａＣＨＡＮＧＴｉａｎ－ｔｉａｎｌ，ＬＪＵＨｏｎｇ—ｗｅｉｌ，ＦＥＮＧＪｕｎ２（１．ｓｃｈｏｏｌｏｆＳｃｉｅｎｃｅ，ＸｉｄｉａｎＵｎｉｖ．，Ｘｉ’ａｎ２．Ｓｃｈｏｏｌｏｆ７１００７１，Ｃｈｉｎａ；ＩｎｆｏｒｍａｔｉｏｎＳｃｉ．ａｎｄＴｅｃｈ．，ＮｏｒｔｈｗｅｓｔＵｎｉｖ．，Ｘｉ’ａｎｂａｓｅｄ７１００６９，Ｃｈｉｎａ）ｆｅａｔｕｒｅｓｉｓｆｏｒＡｂｓｔｒａｃｔ：ＡｎＳＶＭｅｎｓｅｍｂｌｅｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｏｎｇｒｏｕｐｅｄｐｒｏｐｏｓｅｄｈｅｔｅｒｏｇｅｎｅｏｕｓｄａｔａ．ＴｈｅｆｅａｔｕｒｅｉｓｇｒｏｕｐｅｄａｎｄｔｒａｉｎｅｄｗｉｔｈｄｉｆｆｅｒｅｎｔＳＶＭｃｌａｓｓｉｆｉｅｒｓ。ａｎｄｔｈｅｎｔｈｅｆｉｎａｌｐｒｅｄｉｃｔｌａｂｅｌｓｃｌａｓｓｉｆｉｃａｔｉｏｎａｒｅｏｂｔａｉｎｅｄｂｙｔｈｅｖｏｔｉｎｇｍｅｔｈｏｄ．Ｔｈｅｄｉｖｅｒｓｉｔｙｃｏｍｐｏｎｅｎｔｃｌａｓｓｉｆｉｅｒｓｗｉｔｈｒｅｓｕｌｔｓｓｈｏｗｔｈａｔ，ｃｏｍｐａｒｅｄｗｉｔｈｈｉｇｈｅｒｐｅｒｆｏｒｍａｎｃｅａｒｅｏｂｔａｉｎｅｄ．Ｅｘｐｅｒｉｍｅｎｔａｌｔｒａｄｉｔｉｏｎａｌｅｎｓｅｍｂｌｅｌｅａｒｎｉｎｇ。ｔｈｉｓｍｅｔｈｏｄｈａｓｔｈｅｂｅｓｔｐｅｒｆｏｒｍａｎｃｅ．ＫｅｙＷｏｒｄｓ：ｅｎｓｅｍｂｌｅｌｅａｒｎｉｎｇ；ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ；ｈｅｔｅｒｏｇｅｎｅｏｕｓ；ｍｅｄｉｃａｌｉｍａｇｅ多源性数据在实际生活中是普遍存在的．通常数据的收集是出于不同的时期或者是不同的来源，也就是说在不同的策略下采用相同的度量，因此就采用了不同的特征描述．通常数据收集并不是以实验过程为目的，或者说不是以知识发现为目的．例如，在一个公司里面，数据分散在很多不同的部门，它们的目标以及收集数据的标准都是不同的．当数据分析需要将这些来自于不同部门的数据通过一个电子表格整合起来的时候，这个工作就变得很复杂．事实上，先前并不知道数据是多源的．即使做过一定的考查分析，这类数据用传统的方法学习的时候仍存在一定的困难．特征空间的多源性的一种特殊情形就是类别多源性，即决策规则可以在组内部将一类明显的数据区分开来．一般来讲，在特征空间的不同区域，区分类别的相关特征可能是不同的，即不同的特征子空间对应的决策规则也可能是不同的．然而，类别多源性在很多情况下可以通过类别分解集成技术解决，即区分每一对类别的决策规则是通过相应的成员分类器来具体构建的．特征空间多源性对于大部分的学习模型是至关重要的．集成学习或者多个分类器学习系统通常比一个单个的分类器可以产生更高的精度．集成学习是一种机器学习模式，使得多个学习器可以用于解决相同的问题．与传统的机器学习方式对比，传统的方法是从样本收稿日期：２００９—０４—１３．基金项目：国家自然科学基金资助项目（６０６０３０９８）Ｉ陕西省教育厅科学研究计划项目资助项目（０７ＪＫ３８１）作者简介：常甜甜（１９８１一），女，西安电子科技大学博士研究生，Ｅ－ｍａｉｌ：[e-mail]．论文第１期常甜甜等：多源性数据ＳＶＭ集成算法研究１３７中得到一个假设，而集成学习是构建一个假设的集合，并把它们结合起来的方法．不同的集成方法的结合可能对于数据多源性的情况有作用，特别是特征空间多源性的情形［１］．为了将支持向量机（ＳＶＭ）应用于多源数据集，必须对每个数据类型采用不同的核函数，并且核矩阵必须采用代数方法整合．近年来，很多研究组提出多核学习（ＭＫＬ）方法，将多核整合在ＳＶＭ框架下ｏ］．Ｌａｎｃｋｒｉｅｔ等［３３将该问题构架到一个半定规划问题下．这