一、前言 这个学期大数据项目是实训要求搭建一个电商数仓,我看老师发的资料好像是直接把尚硅谷的教程直接拿来用了🤔。 记录一下搭建过程吧🐔。 简介 数据仓库( Data Warehouse ),是为企业制定决策,提供数据支持的。可以帮助企业改进业务流程、提高产品质量等。 数据仓库的输入数据通常包括:
一、Kafka Producer Kafka Producer 是一个向 Kafka 集群发送消息的客户端程序。它负责以消息的形式将数据流发布到指定的主题中。 1、Working Principle of Kafka Producer(Kafka Producer 的工作原理) Producer 以
一、Kafka Core Concepts(Kafka 核心概念) Apache Kafka 的核心是一个基于 **分区(Partition)**和 **多副本(Replication)**的分布式消息引擎,由 Zookeeper 协调管理。 在 Kafka 中,每条消息也被称为一条 记录(Reco
一、Log collection and data transmission in big data ecology(大数据生态中的日志采集与数据传输) 随着大数据技术的快速发展,一个完整而多样化的大数据生态系统已经形成。这个生态系统通常可描述为由数据采集层、数据计算层和数据应用层组成的三层架构。每