1. 读文笔记:Kafka 官方设计文档

    2019-10-13 Sun
    By xiayf

    原文:http://kafka.apache.org/documentation/#design

    数据持久化

    不用惧怕文件系统

    磁盘的读写速度,取决于如何读写。对于线性读写方式,操作系统做了充分的优化:提前读 - 预取若干数据块,滞后写 - 将小的逻辑写操作合并成一个大的物理写操作。

    研究表明:顺序读写磁盘(sequential disk access)的速度有些时候比随机访问内存还要快

    现代操作系统激进地尽可能将空闲内存用作磁盘缓存。所有磁盘读写都经过操作系统提供的统一缓存。这个特性没法轻易关闭,除非直接 I/O (direct I/O),因此,如果程序在用户进程中进行数据缓存,缓存的数据通常也是和操作系统页缓存重复的,缓存两遍,没啥意义,也浪费内存。

    而且,Kafka 是构建在 JVM 之上的,了解 Java 内存使用方式的人应该都知道:

    1. 对象的内存开销非常高,通常是实际数据大小的2倍(甚至更多 …

Page 1 / 1