Planet Ceph

Aggregated news from external sources

  • November 1, 2017
    openATTIC 3.6.0 has been released

    We’re happy to announce version 3.6.0 of openATTIC. Given the fact that openATTIC 3.5.3 was only a bug fix release this 3.6.0 release includes all the improvements and changes since 3.5.2. We cleaned up and removed a lot of unnecessary things and also made some usability improvements to the UI. The most visible change in …Read more

  • October 30, 2017
    openATTIC 3.5.3 has been released

    We are happy to announce version 3.5.3 of openATTIC. 3.5.3 is a small bugfix release mainly containing fixes for upgrade bugs from openATTIC 2.0. This release also features fixes regarding deletion of RGW users with existing buckets and the health widget in the classic dashboard widget. Read more… (1 min remaining to read) Source: SUSE …Read more

  • October 23, 2017
    Using Erasure Coding with RadosGW

    This is going to be a quick write up of Erasure Coding and how to use it with our RadosGW. First lets look at our default profile for erasure coding on Ceph, understand it, and go and create our own. 123456 root> ceph osd erasure-code-profile get defaultk=2m=1plugin=jerasurecrush-failure-domain=hosttechnique=reed_sol_van Erasure coding profiles break down using the following …Read more

  • October 17, 2017
    Making RBD images persistent

    Making RBD images persistent Here’s a quick tutorial on how to make RBD’s, disable their features, and make them persistent at startup. Creating the RBD image Note – You really should go into your cepf.conf file and set rbd_default_features = 1 under the [global] section before going any further. Failure to do so will result …Read more

  • October 10, 2017
    openATTIC 3.5.2 has been released

    We are proud to announce Version 3.5.2 of openATTIC. Today, we broke our regular release cycle, with a good reason. After we published version 3.5.1, we found a hand full of bugs that, from our point of view, could frustrate the user while managing their cluster with openATTIC. For example, in this version we prevent …Read more

  • October 6, 2017
    openATTIC 3.5.1 has been released

    We are happy to announce Version 3.5.1 of openATTIC. As you can see from the length of the fixed bug section in the changelog, we’ve been focused on refining existing functionality and features. More significant changes include the addition of: Graphical RBD striping preview Display OSDs list for each Ceph node Scrub option to Ceph …Read more

  • September 28, 2017
    推荐一本书《Ceph设计原理与实现》

    前言 本篇不是一篇技术文,而是推荐的一本书,对于写书来说,在多年以前觉得是一件可望而不可及的事情,而看到几本经典书籍的作者在讲述自己写书的过程的时候,都是自己注入了大量的精力的,所以我自己目前也只能是一个个知识点的以博客的方式进行记录 对于买书来说,很多人会觉得很贵,其实一本书几百面,只要里面的书有两面是能够帮助到你的,书的价值其实已经回来了,所以对于技术书籍来说,基本不评价书的好坏,而是去看多少能提取的东西,多少未知的东西 ceph的书籍最初的起步也是国外的一个作者写的,社区进行翻译,社区自己也出了一本书,还有zstack的研发常也出了一本《Ceph源码分析》,这些都是很好的书籍,之前也都有推荐,这些书籍都是一线的研发在繁忙之中抽出空余的时间写下来的 本篇推荐的一篇是来自中兴的书籍,中兴也是国内ceph开发里面代码提交量很高的公司 目前没能拿到书籍,所以只能从目录来讲下本书会提供哪些相关的知识了 书籍简介 straw及straw2相关内容 这个是ceph里面的crush算法的内容,straw2算法优化了再平衡的时候的数据迁移量,以及能提供更好的分布,让数据更平均,相关内容里面还讲了数据分布的相关知识,整个能解决的应该是数据平均分布相关的知识,让你的数据更加平衡 BlueStore 相关内容 BlueStore 是Ceph Luminous版本作为默认存储的新型的底层存储,这个是用来替换掉linux下的底层的文件系统的,而实现的一个新型的文件系统,这个是为了带来一个更好的性能的提升的,目前是测试可用,生产慎用的情况,应该会越来越稳定的 纠删码原理与overwrites支持 纠删码是为了解决副本的空间占用的问题,用更少的空间损失来获取更大的安全性,相当于计算换空间,纠删这个在很久以前就接触过一个另外一套文件系统,使用场景个人觉得是冷数据比较合适,而如果性能足够好,计算能力足够强,也能支撑比较大的带宽的 在之前的版本当中,ec的启用必须启动缓冲池,需要副本缓冲池的缓冲池做一层转发,这个转发实际上意味着写放大,并且还会出现缓冲池下刷数据的时候性能急剧下降的问题 在新版本中加入了overwrites支持,这个现在新版的bluestore的已经支持数据直接写到ec存储池了,也就是无需缓冲了 PG 读写流程与状态迁移详解 PG在恢复过程中会有各种状态,什么情况下会出现什么状态,什么状态进行什么处理,什么情况下不能乱动,这些都是需要好好的了解PG状态再进行操作的,否则把PG状态弄坏了,意味着数据也就无法读取了 存储服务质量QoS ceph里面一直没有qos这个,也就是对读写相关的限流,kernel rbd的场景下是可以用cgroup进行qos相关的控制的,其他场景就没有什么好的方法了,所以在比较新的版本里面引入了dmclock来进行限流的相关的控制,这个以后可以在恢复以及写入当中做更精准的控制了,qos也是商用存储里面必要的功能,所以说ceph在功能完善方面更进了一步,需求推动研发 存储RBD 这个讲了rbd相关的一些知识,结构和功能方面的 对象存储网关RGW 这个讲了对象存储方面的一些功能特性和相关的操作 分布式文件系统 CephFS 这个讲了cephfs相关的一些知识,讲了负载均衡和故障恢复的相关内容,负载均衡是相对于多active mds的场景的,可以对目录进行mds的负载划分,把负载分摊到多个mds上面,这个在新版本已经可以使用了,并且目前已经是生产可用 定时scrub scrub这个不要让默认触发,自己做相关的策略,指定时间一个个PG的去scrub就可以了,书中应该会提及相关的具体做法 Full的紧急处理 这个是集群出现Full以后的紧急处理,对于full以后的情况,一般不要乱动,因为full以后,其他osd也会是快full的状态,并且还有backfill full的控制,所以需要比较精准的控制,相当于游戏里面的微操了,书中应该会系统的讲解 快照在增量备份中的应用 通过快照的方式可以进行增量的备份,从而减少备份的需要获取的数据量,这个之前也有介绍过 异常watcher的处理 这个应该是通过黑名单的方式进行watcher的相关的处理,这个建议是先处理能处理的,最后无法处理的异常情况用黑名单处理,这个等书出来以后可以看到更详细的内容 作者简介 谢型果中兴通讯资深软件工程师,5年存储开发经验,精通本地文件系统ZFS和分布式存储系统Ceph。2014 年开始研究 Ceph,2015 年加入 Ceph 开源社区,目前是 Ceph 开源社区的 Ceph Member。 任焕文中兴通讯高级软件工程师,有10余年研发经验,曾就职于浪潮和华为,擅长数据库、网络和存储相关技术。Ceph Member成员,现主要负责Ceph文件系统、NAS存储和分布式一致性方面的研发工作。 严 军中兴通讯高级软件工程师,从事存储系统开发工作多年,熟悉DPDK开发框架;2015年加入Ceph开源项目,对分布式存储系统QoS有深入研究,目前是Ceph开源社区的积极贡献者。 …Read more

  • September 27, 2017
    掉电后osdmap丢失无法启动osd的解决方案

    前言 本篇讲述的是一个比较极端的故障的恢复场景,在整个集群全部服务器突然掉电的时候,osd里面的osdmap可能会出现没刷到磁盘上的情况,这个时候osdmap的最新版本为空或者为没有这个文件 还有一种情况就是机器宕机了,没有马上处理,等了一段时间以后,服务器机器启动了起来,而这个时候osdmap已经更新了,全局找不到需要的旧版本的osdmap和incmap,osd无法启动 一般情况下能找到的就直接从其他osd上面拷贝过来,然后就可以启动了,本篇讲述的是无法启动的情况 解决方案 获取运行的ceph集群当前版本 [root@lab8107 ~]# ceph -vceph version 10.2.9 (2ee413f77150c0f375ff6f10edd6c8f9c7d060d0) 获取最新的osdmap [root@lab8107 ~]# ceph osd getmap -o /tmp/productosdmapgot osdmap epoch 142 通过osdmap可以得到crushmap,fsid,osd,存储池,pg等信息 提取crushmap [root@lab8107 tmp]# osdmaptool /tmp/productosdmap –export-crush /tmp/productcrushmaposdmaptool: osdmap file ‘/tmp/productosdmap’osdmaptool: exported crush map to /tmp/productcrushmap 拷贝到开发环境的机器上面 通过osdmap获取集群的fsid [root@lab8107 tmp]# osdmaptool –print productosdmap |grep fsidosdmaptool: osdmap file ‘productosdmap’fsid d153844c-16f5-4f48-829d-87fb49120bbe 获取存储池相关的信息 [root@lab8107 …Read more

  • September 19, 2017
    Meet the openATTIC team at SUSECON 2017 in Prague (CZ)

    Conference season is heating up again – next week Kai Wagner (co-founder of the openATTIC project) and myself will be at SUSECON in Prague, to talk about how to manage a Ceph cluster with SUSE’s Salt-based DeepSea project and openATTIC 3.x. SUSECON marks an important milestone in our project’s history – it was at last …Read more

  • September 15, 2017
    openATTIC 3.5.0 has been released

    We are happy to announce version 3.5.0 of openATTIC. With this release we continued integrating Ceph Luminous features. One of those features is the possibility to edit Ceph pools – the size of PGs can be changed and pool applications can be enabled or disabled. Furthermore we integrated the functionality to manage OSD properties (for …Read more

  • September 13, 2017
    Luminous监控界面中文语言包

    前言 之前有各种ceph的管理平台,在部署方面大部分都比较麻烦,现在在luminous版本当中有一个原生的dashboard,虽然目前这个只能看,但是从界面上面,从接口方面都是非常不错的一个版本 原生版本目前没有语言的选择,虽然IT方面都是推荐用英语去做,但是在数据展示方面因为毕竟是要人来看,所以这里做了一个中文的语言包,方便转换成中文的界面,这个语言包是跟着ceph版本走的,因为界面可能会调整,所以只能一一匹配,同时提供了原版语言包,可以方便的回退回去,如果版本有更新以最后一个链接为准 如果有翻译的建议,欢迎在下面留言,或者其他方式告知我 语言包 ceph版本(ceph version 12.2.0 (32ce2a3ae5239ee33d6150705cdb24d43bab910c) luminous (rc) 中文包: http://7xweck.com1.z0.glb.clouddn.com/dashboard/luminous-dashboard-chinese-12.2.0-1.0-1.x86_64.rpm 英文原版包:http://7xweck.com1.z0.glb.clouddn.com/dashboard/luminous-dashboard-english-12.2.0-1.0-1.x86_64.rpm 安装方法 rpm -Uvh http://xxxxx.rpm –force 在线预览 为了方便看到效果,专门在本篇博客内放了一个预览,可以看看效果,数据是离线的,但是可以点击 <embed src="http://ow7obg32z.bkt.clouddn.com" 总结 一直有这个想法,花了点时间去实现,慢慢优化 变更记录 Why Who When 创建 武汉-运维-磨渣 2017-09-13 Source: zphj1987@gmail (Luminous监控界面中文语言包)

  • September 13, 2017
    Speaking about openATTIC 3.x at the Ceph Days in Ede (NL) on 2017-09-20

    After having been heads down with the development of openATTIC 3.x in the past few months, it’s time to get back to the surface and start talking about our latest achievements! In addition to speaking about openATTIC 3.x at SUSECON in Prague later this month, I’ll be traveling to the Netherlands next week, to attend …Read more

Careers