关联规则挖掘的并行算法研究的中期报告.docx

关联规则挖掘的并行算法研究的中期报告
中期报告
一、研究工作回顾
本研究的目标是开发一种高效的并行算法来进行关联规则挖掘。在前期的工作中，我们主要进行了以下研究：
1.对关联规则挖掘的算法进行了研究和分析，了解了Apriori算法的原理和实现方式，并深入分析了其串行算法的瓶颈问题。
2.综合比较了关联规则挖掘的并行算法，对存在的并行算法进行了分类、分析和总结。
3.设计了一种带有数据分割、多阶段的并行Apriori算法，并进行了实现，能够在多核处理器上运行。
4.通过对模拟数据和真实数据的实验，对我们设计的并行算法进行了测试和评估，验证了它的正确性和高效性。
5.我们进一步通过对这个算法的实现，分析了该算法在各个环节的时间复杂度，为进一步的优化提供了依据。
二、当前工作进展
在研究的过程中，我们已取得了如下进展：
1.设计并实现了一种基于MAP-Reduce的Apriori算法。我们利用了Hadoop集群的Map-Reduce框架，设计了一种并行的Apriori算法，能够在大规模数据集上进行高效挖掘。
2.通过对多种数据集的测试，我们发现我们所设计的算法不仅实现了数据的并行处理，还加入了了各种技术手段，使得我们的算法在实际运行效果甚至优于单机的Apriori算法。
3.我们还对算法进行了优化以进一步提高效率，首先利用哈希一致性技术对映射阶段进行优化，采用了局部拓扑敏感哈希技术来提高映射效率。另外，对于搜索阶段，我们也采用了基于规则的分区策略，来减少搜索时间。
三、下一阶段工作计划
在当前工作的基础上，我们将继续进行以下研究：
1.通过对算法进行分析，我们希望深入探究现有算法中存在的问题，特别是对于一些复杂的数据集，如何选择合适的参数以获得最优结果。
2.在实际的大规模数据集上，我们会进一步对我们的算法进行性能测试，并进行效率的比较，分析我们算法的运行时间、内存占用和精度等指标，目的是进一步探究算法的优化潜力。
3.我们也将对数据集进行进一步的处理，以了解当数据规模增加时，我们算法的效率会如何变化，并探究如何通过更合理的数据结构以及算法设计来解决这一挑战。
四、预期贡献
我们预期通过这个研究，能够发现一种更高效的算法来处理大量的数据集，为关联规则挖掘领域的相关研究带来积极的影响。我们的算法还可以在广泛的应用场景中得到应用，如产品推荐、集成电路设计等。