基于大数据的用户画像系统概述.docx

基于大数据的用户画像系统概述摘要：随着信息技术的快速发展，人们对于网络的应用也是越来越多，与此同时用户所产生的数据也越来越多，用户所产生的数据之中包含着许多的信息。如今的时代是一个大数据的时代，要求我们能够从海量的数据之中来了解用户、分析用户，这对计算机技术有着一定的要求，用户画像技术的出现正是为了解决这一问题而出现的，通过用户画像技术对人体建立一个数学模型，可以通过这个模型来对用户进行行为方面内的预测，有着很高的真实性与准确性，可以帮助人们更加直观的了解用户。关键词：大数据；用户画像技术；数据分析随着互联网技术的不断发展，人们对于网络的应用也越来越多，在生活之中也越来越离不开网络，人们在进行各种网络活动时会留下痕迹，也会产生大量的数据，应用用户画像技术就可以对这些数据进行整理分析，通过这些数据可以建立一个模型，来模拟用户的消费习惯以及生活习惯等各方面的情况，这对于了解消费者有着极大的帮助。根据用户画像系统可以了解消费者的特征，包括行为特征，社交特征等多方面的特征。用户画像系统有着很大的发展前景，在学术界和产业界都有着很大的热度，而且通过对大数据的应用可以更加准确真实的建立起消费者的消费模型。用户画像的建立主要是通过预处理、模型形成、系统评测和实际应用这几个过程来建立的。通过大数据的应用为网络管理，舆论控制、群体细分等方面提供支持，这对产业的发展有着非常重要的意义。一、用户画像概述用户画像就是对用户信息的一种描述，对用户信息的整理、聚集形成一个标签，通过许多的标签来对用户进行定义、刻画出用户的特点。用户画像的工作目的就是描述客户，方便人们理解和利用计算机处理。用户画像是通过建立一个与用户相关的数学模型，然后通过这个模型来解释描述预测用户的行为特征和生活习惯。用户画像系统可以将用户的需求与相关的产品进行联系，这就达到了产品定位的功能，指导顾客心中所想，不仅是提高了服务质量还对于产业的发展有着极大的促进作用。用户画像系统可以通过用户在进行网络活动时所产生的大量的数据来进行用户需求的预测，然后相关的公司可以通过这些需求来生产产品，满足不同的用户的个性化需求。通过对用户信息的发掘可以建立起每个用户的特征从而来达到商业目的。用户画像的核心工作是建立标签，通过这些标签来描述用户的个性化特征，发掘出用户的兴趣爱好、习惯特点等多方面的信息。相关的企业通过应用用户画像系统能够有效的对顾客需求进行定位，这对于服务行业的发展有着非常重要的意义。二、基于大数据的用户画像方法2.1样本标注由于样本有着数量巨大的特点，所以在进行样本标注的工作时，一般的是采用半自动半人工的方法来进行的，也就是人工标注与自动标注相结合。自动标注的方式也有着不同，其中一种自动标注的方法是根据样本中的一些特征或者是关键词来进行标注。而另一种标注方法则是利用半监督的方式首先对少量的样本进行标注，然后对没有进行标注的样本进行分类，主要是通过self-training（自训练算法），generativemodels生成模型，SVMs半监督支持向量机，graph-basedmethods图论方法，multiviewlearing多视角算法等，来进行分类。2.2数据整理人们在进行网络活动时会留下很多的痕迹，会产生大量的数据，我们需要对这些数据进行收集、整理、分类，这样才能够对这些数据进行利用，之后根据用户画像系统技术来建立相关的模型，数据的收集与整理也需要用到其他的软件技术，例如通过Sqoop导入HDFS或者是也可以用代码来实现，比如Spark的JDBC连接传统数据库进行数据的Cache还可以通过将数据写入本地文件，然后通过SparkSQL的load或者Hive的export等方式导入HDFS，之后方便于用户画像系统的应用。2.3面向应用通过数据整理以及相关的数据平台的计算，可以生成一个有关于用户信息标签的表格。那么有关的前台就可以通过对表表格进行相关的操作来进行用户信息的收集与改变，这对于前台的操作业务有着极大的便利性，例如前台操作可以在一定的范围内对相关的客户进行筛选工作，然后与后台的数据库相连接这样就可以简单方便的得到筛选范围内的用户信息。这里就是通过JDBC的方式连接Spark的ThriftServer，通过集群进行HDFS上的大宽表的运算求COUNT。需要注意的是，很多SQL聚合函数以及多表关联相当于Hadoop的MapReduce的Shuffle，很容易造成内存溢出，这样便可以定位相应的客户数量，从而进行客户群、标签的分析，产品的策略匹配从而精准营销。三、大数据用户画像的应用随着互联技术的快速发展出现了很多的网上应用，这些应用软件不仅仅有着娱乐的功能还给人们的生活带来了极大的便利性，例如微博的出现，微博上有着大量的活跃用户，而这些用户的在微博上进行活动就会产生大量的数据信息，