对象存储文件系统分布式日志设计与实现

背景

为MDS和OSD缓存构建日志系统以加强系统可用性与一致性。当MDS与OSD使用缓存时,为防止突然的故障导致的内存数据丢失,需要使用日志技术以进行数据恢复

任务

日志系统支持文件系统配置日志和文件系统操作更新日志(Redo日志),并在MDS端支持分布式事务

设计

深入研究EXT3文件系统(JBD)及Innodb(MySQL存储引擎)日志系统源码及设计 。

更新日志功能(Redo日志)结合缓存以满足WAL协议,在写缓存前先写日志,日志一直进行顺序写,检查点操作保证空间进行循环使用。

配置日志功能加强客户端请求缓存的重新连接发送

分布式事务主要是MDS端的两阶段提交
关键点:日志系统与缓存结合,异步增量检查点,分布式两阶段提交

本站总访问量