数据与智能

原文：http://kafka.apache.org/documentation/#design

数据持久化

不用惧怕文件系统

磁盘的读写速度，取决于如何读写。对于线性读写方式，操作系统做了充 …

原文：Photon: Fault-tolerant and Scalable Joining of Continuous Data Streams

Photon 是谷歌广告系统中用于 join 广告曝光日志流和点击日志流的一套系统。

数据流 join 为什么没用 …

原文：The Log: What every software engineer should know about real-time data's unifying abstraction

一句话概括，这篇文章细说了 Kafka 的本质原理、解决的问题、适用性等。

Kafka 本质上是提供日 …

问题

之前涉及的一项工作要求对某些数据做全文索引，并以API向其他内部系统提供搜索查询服务。

由于需要建全文索引的数据量并不大，且已有的数据都以 …

前段时间在参与实现一个新业务系统的Demo。该系统集成了多个已有系统的数据，涉及的数据量较大，但由于人力少，时间短 …

工作中涉及一些对外开放的无需特殊权限的API，用户会因为某些需求而通过程序来频繁访问这些API，导致系统的负载陡 …

小时候，不知为何喜欢读书，而又没钱买，所以在家都是翻两个哥哥的课本 - 语文、历史、地理等，都翻个遍。更有甚者，竟然还从邻 …

2015年，我们在青云平台上实现了“百度云观测”应用。青云应用本质上是一个iframe，在向iframe服务方发送的请求中会携带一些数据，青云平台会使用Base64 URL对这些数据进行编 …