大数据

背景介绍

网上交易日志中不仅包含系统的运行状态信息，并且包含海量的客户行为信息。建设一套网上交易日志分析平台，对网上交易日志在盘中/盘后实现实时的采集、解析，不仅能够及时反映网上交易系统的健康状况，并且可以根据客户的交易行为对业务风险、异常交易等进行实时预警，提高网上交易系统的事前预警能力和事后故障的排查和恢复速度，实现多维度立体化的监控。

方案功能

日志统一管理
       将分散在各个服务器日志统一收集到数据中心做集中管控。
指标监控
       针对异常交易行为和服务器状况进行实时监控，并及时发现问题作出预警行为。
海量日志数据分析
       对海量日志数据提供OLAP多维度检索分析功能。
可视化及应用服务
       提供日志数据的图表及报表展示，并为用户提供定制的应用服务。

帮助企业客户快速构建大数据平台，满足企业的海量数据存储和分析需求，具有高可靠、高安全、高性能的特点。

数据采集

- Kettle、Sqoop等ETL工具，用于将关系型数据库同步到平台
- Flume、Logstash用于处理日志等文本类数据到平台中

数据存储

- HDFS文件存储系统，高可扩展性、可动态扩容，高可靠性存储。健全的安全及权限分配功能，支持Kerberos进行身份认证和访问权限控制。
- 支持常见的Oracle、Mysql、SQLServer、PostgreSQL等关系数据库
- HBase数据库，具有高可扩展性、高性能等特性，满足企业高负载读写、实时查询等需求。

数据计算

- 基于内存的分布式迭代计算引擎，比Hadoop Map/Reduce快10倍以上，满足离线计算和实时计算的需求。
- OLAP多维分析，PB级数据秒级响应
- 实时监控指标数据，及时预警

集群管理

- 基于Web图形化界面的向导式安装、一站式的集成监控及管理工具，大大降低大数据平台的搭建及运维难度和成本。