日志分析平台建设方案样本.doc

日记分析平台建设方案目录TOC\o"1-3"\h\z\uHYPERLINK\l"_Toc522711076"一、现状和需求PAGEREF_Toc522711076\h1HYPERLINK\l"_Toc522711077"(一)现状与问题PAGEREF_Toc522711077\h1HYPERLINK\l"_Toc522711078"(二)需求说明与分析PAGEREF_Toc522711078\h1HYPERLINK\l"_Toc522711079"二、建设目标PAGEREF_Toc522711079\h1HYPERLINK\l"_Toc522711080"三、系统设计PAGEREF_Toc522711080\h1HYPERLINK\l"_Toc522711081"(一)技术选型PAGEREF_Toc522711081\h1HYPERLINK\l"_Toc522711082"(二)系统架构PAGEREF_Toc522711082\h2HYPERLINK\l"_Toc522711083"1.架构图PAGEREF_Toc522711083\h2HYPERLINK\l"_Toc522711084"2.架构分析PAGEREF_Toc522711084\h2HYPERLINK\l"_Toc522711085"(三)系统介绍PAGEREF_Toc522711085\h2HYPERLINK\l"_Toc522711086"四、实施方案PAGEREF_Toc522711086\h3HYPERLINK\l"_Toc522711087"(一)系统配置PAGEREF_Toc522711087\h3HYPERLINK\l"_Toc522711088"1.软件PAGEREF_Toc522711088\h3HYPERLINK\l"_Toc522711089"2.硬件PAGEREF_Toc522711089\h3HYPERLINK\l"_Toc522711090"(二)系统搭建PAGEREF_Toc522711090\h4现状和需求现状与问题日记文献分散在各个应用服务器，开发人员必要远程登录才干查看日记，不利于服务器安全管控，加大生产服务器风险；服务器上各项目日记配备很随意，文献分布杂乱，没有统一规范和管理；日记文献占用服务器大量硬盘空间，如不及时清理睬发生硬盘占满，影响系统正常运营；对于超过百兆日记文献主线没法打开和核心字搜索，不利于问题迅速定位和排查；集群和分布式系统需要查看各种服务器日记日记保存时间不统一，不能长时间保存日记需求阐明与分析不需要开发人员登录生产服务器就能查看日记；统一规范日记配备和输出格式；实时将日记文献从服务器中迁出；提供日记检索和记录分析平台；建设目的搭建支持高并发高可靠日记分析平台，以便开发人员迅速检索日记，排查问题，同步提供和谐分析和记录界面。系统设计技术选型针对这些问题，为了提供分布式实时日记收集和分析监控系统，咱们采用了业界通用日记数据管理解决方案-它重要涉及Elasticsearch、Logstash和Kibana三个系统。普通，业界把这套方案简称为ELK，取三个系统首字母。调研了ELK技术栈，发现新一代logstash-forward即Filebeat，使用了golang，性能超logstash，布置简朴，占用资源少，可以很以便和logstash和ES对接，作为日记文献采集组件。因此决定使用ELK+Filebeat架构进行平台搭建。为了支持日记高并发和高可靠需要进了消息队列（MQ），这里选取了kafka，相对其她消息中间件，kafka有支持大并发，迅速持久化等长处，并且ELK+Filebeat对kafka兼容性也较好。最后，咱们采用Elasticsearch+Logstash+Kibana+Filebeat+Kafka+Zookeeper架构搭建日记分析平台。系统架构架构图架构分析第一层、数据采集层最左边是业务服务器集群，上面安装了filebeat做日记采集，同步把采集日记分别发送给两个logstash服务。第二层、数据解决层，数据缓存层logstash服务把接受到日记通过格式解决，转存到本地kafkabroker+zookeeper集群中。第三层、数据转发层这个单独Logstash节点会实时去kafkabroker集群拉数据，转发至ESDataNode。第四层、数据持久化存储ESDataNode会把收到数据，写磁盘，建索引库。第五层、数据检索，数据展示ESMaster+Kibana重要协调ES集群，解决数据检索祈求，数据展示。系统简介E