存储知识记录

文章目录

1. 1. 块存储、文件存储、对象存储
   1. 1.1. 介绍：
   2. 1.2. 优缺点：
2. 2. ceph、hadoop、elasticsearch
   1. 2.1. 最后：

平时工作是做云计算相关的，最近在学习hadoop的知识看到hadoop的文件存储方式结合用过的ceph，elasticsearch做下存储相关知识的记录。

块存储、文件存储、对象存储

介绍：

块存储：是以扇区为基础的，一个或连续的扇区组成一个块，概念来自于物理存储。

文件储存：是多个物理块组成逻辑块后形成文件存储，根据不同的概念及驱动形成入nfs，ext4等文件系统。

对象存储：结合上面两个优点，增加了元数据(metadata)服务器。

这里有个知乎上不错的回答：http://www.zhihu.com/question/21536660

优缺点：

推荐生产环境ceph使用块存储、对象存储

文件级备份：

文件级备份是指在指定某些文件进行备份时，首先会查找每个文件逻辑块，其次物理块，由于逻辑块是分散在物理块上，而物理块也是分散在不同扇区上。需要一层一 层往下查找，最后才完成整个文件复制。文件级备份时比较费时间，效率不高，实时性不强，备份时间长，且增量备份时，单文件某一小部份修改，不会只备份修改 部份，而整个文件都备份。

块级备份：

块级备份是指物理块复制，效率高，实时性强，备份时间短，且增量备份时，只备份修改过的物理块。

ceph、hadoop、elasticsearch

hadoop：分布式存储主要适用于一次写入多次读取的场合（后续可能会增加其他数据处理方式），有数据块的概念(64M为一块，可配置)，将大文件分割为多个块进行存储；namenode内存中存放datanode数据索引，存储大小瓶颈来自namenode内存大小。

ceph：支持块存储、文件存储、对象存储；与hadoop相似的是块存储，不过更接近于物理块的概念；ceph的块驱动基于RBD（介绍http://www.sebastien-han.fr/blog/2016/03/28/ceph-jewel-preview-ceph-rbd-mirroring）

hadoop的存储也可以换成ceph的块存储不过性能可能会下降。

elasticsearch：更接近于nosql的数据库，不过分布式存储也是切片保存数据（介绍https://kibana.logstash.es/content/elasticsearch/principle/）；查询的时候还有hadoop-elasticsearch插件感觉上是将logstash替换为了hadoop（理解的不知道对不对）。

最后：

以上是工作中接触过的一些分布式存储的系统，要是想更深层次的理解一些知识还是要看一些理论行的东西如CAP，数据一致性存储等。

以上有什么说的不对的请指正，大家共同学习。