一、Log collection and data transmission in big data ecology（大数据生态中的日志采集与数据传输） 随着大数据技术的快速发展，一个完整而多样化的大数据生态系统已经形成。这个生态系统通常可描述为由数据采集层、数据计算层和数据应用层组成的三层架构。每
发布于 2025-11-07
Spark Chapter 3：Scala Foundation（Scala 基础） 一、Basic Scala Concept（Scala 基本概念） Scala 结合了面向对象和函数式编程，是一种简洁的高级语言。 Scala 的静态类型系统有助于在复杂应用中避免错误，它既能运行在 JVM 上，也
发布于 2025-10-16
一、Introduction of Spark Running Mode（Spark 运行模式介绍） Spark 可以在多种模式下运行，可以在单机上以本地模式或伪分布式模式运行。当在集群中以分布式模式运行时，底层的资源调度可以使用 Mesos、YARN，或者 Spark 自带的 Standalone
发布于 2025-09-18
一、Spark Introduction（Spark 简介） Apache Hive 是一个开源的数据仓库软件，用于读取、写入和管理存储在 Apache Hadoop 分布式文件系统（HDFS）或其他数据存储系统（如 Apache HBase）中的大型数据集文件。Hive 允许 SQL 开发人员编写
发布于 2025-09-17
一、Spark Introduction（Spark 简介） 设想一个场景：每个人都用过 QQ，它会不定期地给你推荐一些你可能认识的人。那么，这些数据是从哪里来的呢？实际上，它是通过分析每个人的好友列表数据得出的。一个人的好友列表数据量非常庞大，光是存储就是一个问题，更不用说数据处理了。这时，我们就
发布于 2025-09-13
一、Understanding Aggregation, Transaction and replication（理解聚合框架、事务和复制） 理解聚合框架、事务和复制 Ezekielx 在电商公司 SwiftCart 工作，使用 MongoDB 开发了一个强大的电商平台。该平台需要处理大量交易、用户
发布于 2025-06-19
LocalBites 是一家初创公司，他的目标是提供关于附近餐厅的实时信息、优化配送路线，并生成有关用户偏好和餐厅人气的有价值分析。关键内容包括索引的实现、地理空间索引以及聚合管道的使用。 LocalBites 所处的是一个竞争激烈的市场，在这里，快速的响应时间和准确的基于位置的数据对于用户满意度至
发布于 2025-06-19
NoSQL Chapter 2：Working with MongoDB（使用 MongoDB） 一、Need for Schemas（模式需求） **模式（Schema）**在数据库管理系统中起着至关重要的作用，它为数据的组织和存储提供了蓝图。 虽然 MongoDB 是一个无模式（schema-l
发布于 2025-06-19
一、Introduction to NoSQL（NoSQL 简介） 数据库是一个用于存储数据的平台，其设计目标是确保数据的安全性、可靠性和易于访问性。通常，数据库分为两种类型：关系型数据库和非关系型数据库。非关系型数据库通常被称为 NoSQL 数据库。 NoSQL数据库用于存储大量复杂且多样化的数据
发布于 2025-06-19
Hadoop Chapter 6：Hadoop Serialization and Compression（Hadoop 的序列化与压缩） 一、Serialization Overview（序列化概述） 计算机以 0 和 1 的比特形式读取、存储和处理数据。序列化是指将任何对象的状态或数据转换为一系
发布于 2025-06-17
