flashcache-4-修改与测试

• flashcache
• 存储
• 块存储

系统安装

由于flashcache在最新版本的ubuntu上会有兼容性问题（新版本ubuntu的linux内核版本高于4，ioctl被删除了，因此新版本ubuntu安装flashcache需要打补丁，比较麻烦），这里选用旧版本的ubuntu 14.10(utopic)

安装ubuntu14.10 utopic

这个版本的ubuntu官网之前的源失效了，可以修改源文件（具体参见求助 13.04 更新及升级）

sudo gedit /etc/apt/sources.list

然后修改为下面的源

deb http://old-releases.ubuntu.com/ubuntu/ utopic main restricted universe multiverse

flashcache安装

这里有篇博文推荐一下Flashcache基本使用及注意事项

• 在官网下载文件解压github-flashcache

• 进入文件夹并输入

SSD:/dev/sdc

SAS:/dev/sdb2

创建设备名为cachedev的flashcache

##安装git
sudo apt-get install git


##编译安装
make
make install

##加载flashcache模块
modprobe flashcache
lsmod | grep flashcache

##创建缓存设备
flashcache_create -p back -b 4k cachedev /dev/sdc /dev/sdb2

##格式化分区
mkfs.ext4 /dev/mapper/cachedev

##挂载分区
mount /dev/mapper/cachedev /data

flashcache_create相关参数说明：

-p:缓存模式

writeback(数据先写到SSD，随后写到普通硬盘)，writethrough(数据同时写到SSD和普通硬盘)，
writearound（数据绕过SSD，直接写到普通硬盘）三种，三种模式的所有读都会被缓存到flashcache可以通过dev.flashcache..cache_all参数调整

-s：缓存大小，可选项，如果未指定则整个SSD设备被用于缓存，默认的计数单位是扇区（sectors）,但是可以接受k/m/g单位。

-b：指定块大小，可选项，默认为4KB，必须为2的指数。默认单位为扇区。也可以用K作为单位，一般选4KB。

-f：强制创建，不进行检查

-m：设备元数据块大小，只有writeback需要存储metadata块，默认4K

销毁Flashcache

flashcache_destroy /dev/sdc  ##这种方式删除writeback模式的flashcache时会将SSD上的所有数据删除包括脏数据,建议使用dmsetup命令（device-mapper软件包）删除，会自动将脏数据写入磁盘
dmsetup remove cachedev

##卸载模块
rmmod flashcache

其他命令

flashcache_create ##查看帮助
flashcache_load /dev/sdc  cachedev ##(系统重启时使用来加载已经创建过的缓存设备cachedev)
mount /dev/mapper/cachedev /data ##创建好的flashcache设备是块设备，可格式文件系统后挂在使用,也可以继续对其分区等

Flashcache参数优化

输入下面命令进行查看

sysctl dev.flashcache

默认参数设置

dev.flashcache.sdc+sdb2.io_latency_hist = 0
dev.flashcache.sdc+sdb2.do_sync = 0
dev.flashcache.sdc+sdb2.stop_sync = 0
dev.flashcache.sdc+sdb2.dirty_thresh_pct = 20
dev.flashcache.sdc+sdb2.max_clean_ios_total = 4
dev.flashcache.sdc+sdb2.max_clean_ios_set = 2
dev.flashcache.sdc+sdb2.do_pid_expiry = 0
dev.flashcache.sdc+sdb2.max_pids = 100
dev.flashcache.sdc+sdb2.pid_expiry_secs = 60
dev.flashcache.sdc+sdb2.reclaim_policy = 0
dev.flashcache.sdc+sdb2.zero_stats = 0
dev.flashcache.sdc+sdb2.fast_remove = 0
dev.flashcache.sdc+sdb2.cache_all = 1
dev.flashcache.sdc+sdb2.fallow_clean_speed = 2
dev.flashcache.sdc+sdb2.fallow_delay = 900
dev.flashcache.sdc+sdb2.skip_seq_thresh_kb = 0
dev.flashcache.sdc+sdb2.clean_on_read_miss = 0
dev.flashcache.sdc+sdb2.clean_on_write_miss = 0
dev.flashcache.sdc+sdb2.lru_promote_thresh = 2
dev.flashcache.sdc+sdb2.lru_hot_pct = 75
dev.flashcache.sdc+sdb2.new_style_write_merge = 0

修改参数的方法

sysctl -w dev.flashcache.sdc+sdb2.reclaim_policy=1  ###缓存回收策略，0：FIFO，1：LRU，可动态调整

Flashcache状态监控

dmsetup status cachedev
dmsetup table  cachedev
 
错误日志报告 
/proc/flashcache/sdc+sdb2/flashcache_errors
 
状态报告
/proc/flashcache/sdc+sdb2/flashcache_stats
 
亦可使用flashstat命令实时查看

推荐IO测试工具

fio、iozone 更多参考https://github.com/geekwolf/sa-scripts/blob/master/devops.md

fio安装

sudo apt-get install fio

FIO的用法

FIO分顺序读，随机读，顺序写，随机写，混合随机读写模式。

这是一个顺序读的模式：
fio -filename=/dev/sda -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

说明：

filename=/dev/sdb1                    测试文件名称，通常选择需要测试的盘的data目录。
direct=1                                     测试过程绕过机器自带的buffer。使测试结果更真实。
rw=randwrite                             测试随机写的I/O
rw=randrw                                 测试随机写和读的I/O
bs=16k                                       单次io的块文件大小为16k
bsrange=512-2048                      同上，提定数据块的大小范围
size=5G                                       本次的测试文件大小为5g，以每次4k的io进行测试。
numjobs=30                               本次的测试线程为30个.
runtime=1000                             测试时间为1000秒，如果不写则一直将5g文件分4k每次写完为止。
ioengine=psync                            io引擎使用pync方式
rwmixwrite=30                            在混合读写的模式下，写占30%
group_reporting                           关于显示结果的，汇总每个进程的信息。


lockmem=1G                                只使用1g内存进行测试。
zero_buffers                                 用0初始化系统buffer。
nrfiles=8                                      每个进程生成文件的数量。

一个完整的例子

新建一个虚拟的ssd设备（用内存建立）

mkssd.sh

#!/bin/bash

ssd_size=$1

# 限制tmpfs最大不超过10G，避免耗尽内存(测试机器有24G物理内存)
$sudo mount tmpfs /dev/shm -t tmpfs -o size=10240m

# 创建ssd_size大小的文件，用来模拟flash设备
$dd if=/dev/zero of=/dev/shm/ssd.img bs=1024k count=$ssd_size
# 将文件模拟成块设备
$sudo losetup /dev/loop0 /dev/shm/ssd.img

建立flashcache设备

mkcache.sh

#!/bin/bash

##缓存名
cache_name=$1
##替换策略
cache_policy=$2

##安装git
sudo apt-get install git
##编译安装
make
make install

##加载flash模块
modprobe flashcache
lsmod | grep flashcache

##创建缓存设备
flashcache_create -p back -b 4k $cache_name /dev/loop0 /dev/sdb
##格式化分区
mkfs.ext4 /dev/mapper/$cache_name
##挂载分区
mount /dev/mapper/$cache_name /data

##设置缓存替换算法
sysctl -w dev.flashcache.loop0+sdb.reclaim_policy=$cache_policy

##查看缓存统计信息
cat /proc/flashcache/loop0+sdb/flashcache_stats

##销毁缓存
dmsetup remove $cache_name

##卸载flashcache模块
rmmod flashcache


##安装fio
sudo apt-get install fio
##测试
fio -filename=/dev/mapper/$cache_name -direct=1 -iodepth 1 -thread -rw=randrw -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=100 -group_reporting -name=mytest

运行结果截图

fio测试结果

fio -filename=/dev/sdb -direct=1 -iodepth 1 -thread -rw=randrw -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=100 -group_reporting -name=mytest

flashcache统计结果

cat /proc/flashcache/loop0+sdb/flashcache_stats

赏

嘘寒问暖不如来笔巨款

支付宝

微信

本文总阅读量 次

本文由 Yu Zhang 发表于 Yu Zhang's Blog ,采用署名-非商业性使用-禁止演绎 3.0进行许可。
非商业转载请注明作者及出处。商业转载请联系作者本人。