在业务成长的过程中，每个企业都在不知不觉中积累了一些数据。无论数据有多少，企业都希望让“数据说话”，通过数据的采集、存储、分析、计算，最终为企业提供有价值的信息。于是，大数据平台、数据平台等新鲜概念真正应运而生。其实数据类的概念都是一样的：报表、BI、数据仓库……缺一不可，只有各自发挥到极致，才能提升企业的数据价值。先说说背景吧。构建大数据平台离不开BI。在大数据之前，BI已经存在了很长时间。简单地将大数据与BI等同起来显然是不合适的。但两者又密切相关，相辅相成。BI是实现业务管理的应用工具。没有BI，大数据就没有价值转换工具，无法将数据的价值呈现给用户，无法有效支撑企业管理决策；大数据是基础。没有大数据，BI就失去了存在的基础，就没有办法快速、实时、高效地处理数据来支撑应用。因此，要实现数据的价值，大数据平台的建设必须包括大数据处理和BI应用分析的建设。从淘宝的大数据平台滴滴的大数据平台可以看到，这些知名厂商的大数据平台真的很相似。根据各自的场景和技术栈，虽然在大数据产品选型和架构细节上有细微的调整，但整体思路基本一致。再来说说数据中台，厚平台，大中台，小前台。没有坚实、厚重的大数据平台，就无法构建具有强大数据能力和功能的数据中台。在没有大数据中台的情况下，快速搭建一个小型快捷智能前台才是理想。你可以把数据平台看成一个数据集，数据平台就是数据集API，所以它们的区别就是API的三个字母。API我觉得没有太多的解释，大家。我知道，比如说你学JAVA，你只知道怎么用JAVAAPI。那么数据中台就相当于在数据平台的基础上告诉你如何使用数据。在数据中心之前，我们根本不知道表的来源和链接，尤其是一些复杂报表的结果表。源头非常复杂，可能涉及多个系统，涉及十几个源头表。当需要更改上游业务表时，不知道会影响到哪些报表。数千份报告已在线运行！找出这些真的很麻烦！有了数据中心，这个问题可以在10秒内解决。如果企业需要进行大数据分析，那么应该研究以下问题：为什么要搭建大数据分析平台？解决什么业务问题？需要什么样的分析？有多少数据？是否需要实时分析？对BI报告有需求吗？举个典型的场景：公司以前用Oracle或者MySQL搭建业务数据库，有简单的数据分析，或者可能已经购买了BI系统，由业务系统数据库直接支撑。如果很大，那么就需要借助大数据技术进行扩容。明确需求后，按照以下步骤进行：1.总体方案设计有多少数据：数百GB？几十TB？数据存储在哪里：在MySQL中？甲骨文？分析的主题是什么：只是几个简单的指标？还是统计指标很多，需要专门的人员？是否有必要建立一个整体的数据仓库？是否需要BI报表：业务人员是否具备操作BI的能力，或者团队构成比较简单，不需要前后端人员投入，使用BI更方便；您需要实时计算吗？2.组件选择架构设计完成后，需要进行组件选择。这个时候最好有经验比较丰富的建筑师参与设计。选型包括：离线计算引擎：Hadoop、Spark实时计算引擎：Storm、FlinkBI软件：FineBI3、安装部署选型完成后即可进行安装部署。这部分其实是最简单的，根据各个组件的部署需求直接安装即可。以下是数据仓库、大数据平台、数据中心的一些总结架构资料，以及自己这些年的一些总结和思考。反复。1.数据仓库硬件架构2.数据仓库功能架构3.数据仓库技术架构4.第一个Hadoop平台硬件架构主要是解决海量离线数据的计算和存储，实现明细数据和汇总数据在Hadoop集群中的存储，实现报表数据存储在mysql中。5、第一个流处理平台的硬件架构，主要是解决海量实时数据的流式采集和计算，在Hadoop集群中实现明细数据和汇总数据存储，在mysql中实现报表数据存储；并通过实时事件处理集群实现流式事件的匹配。6.大数据平台系统规划大数据平台各软硬件组件规划7.大数据平台系统定位8.大数据平台逻辑部署架构9.大数据平台功能视图10.大数据平台数据流向11,大数据平台整体硬件架构12,数据中心整体架构
