博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
分布式文件系统之FastDFS文件服务器原理及搭建
阅读量:4288 次
发布时间:2019-05-27

本文共 3892 字,大约阅读时间需要 12 分钟。

针对分布式开发,一个分布式文件系统就显得至关重要。今天主要讲讲FastDFS的搭建与实现。那么,什么是FastDFS呢?

FastDFS 是一款开源的轻量级分布式文件系统。它对文件进行管理,功能包括:文件存储、文件同步、文件访问(上传、下载)等,解决了大容量存储和负载均衡的问题。它也是为互联网量身定制的,它充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker server 进行文 件上传、下载,通过 Tracker server 的调度最终由 Storage server 完成文件上传和下载。

Tracker server作用是负载均衡和调度,通过 Tracker server 在文件上传时可根据一些 策略找到 Storage server 提供文件上传服务。可以将 tracker 称为追踪服务器或调度服务器。

Storage server作用是文件存储,客户端上传的文件最终存储在 Storage 服务上, Storage server没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。可以将storage 称为存储服务器。

Tracker主要角色是实现 集群管理,并收集Storage的集群状态。 Storage在实际保存文件是分多个Storage组(如:group1,group2,group3.....),每个组保存的文件是不同的。

那么,文件是如何上传和下载的呢?先看看上传的原理图解

客户端发起上传文件请求后,先通过Tracker获取可用的Storage 存储组,并告诉客户端,借着客户端直接请求对应的Storage上传文件,文件在Storage server中成file_id并写入磁盘,然后返回文件存储路径信息给客户端,客户端再根据具体的需求,将文件路劲存入数据库或直接显示在UI上。

下载图解:

FastDFS单点文件服务搭建(Linux系统)

需要准备的安装包文件 (当然你也可以通过wget实时下载)

创建文件目录并上传libfastcommon-master.zip、FastDFS_v5.05.tar.gz、fastdfs-nginx-module_v1.16.tar.gz包到创建的fastDfs目录下。

 

mkdir -p /usr/local/fastDfs

解压压缩包: unzip libfastcommon-master.zip;
tar -zxvf  FastDFS_v5.05.tar.gz
tar -zxvf fastdfs-nginx-module_v1.16.tar.gz
为方便目录查看,可修改libfastcommon-master目录名为 libfastcommon
mv libfastcommon-master libfastcommon
执行ls,当前fastDfs目录下如图所示:

1)安装libfastcommon

依次执行命令:

cd /usr/local/fastDfs/libfastcommon/ ./make.sh
./make.sh install 此时libfastcommon就已经安装成功了,但是libfastcommon.so 默认安装到了 /usr/lib64/ libfastcommon.so, 但是FastDFS主程序设置的lib目录是/usr/local/lib,所以此处需要重新设置软链接,执行以下命令
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so 
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

2)安装fastdfs

依次执行命令:cd /usr/local/fastDfs/FastDFS./make.sh./make.sh install3)创建存储目录

依次执行命令: mkdir -p /data/fdfs/tracker

mkdir -p /data/fdfs/storage
mkdir -p /data/fdfs/client

4)配置tracker

依次执行:

cd /etc/fdfs
cp  tracker.conf.sample tracker.conf
编辑tracker配置
vim tracker.conf 编辑内容:
base_path=/data/fdfs/tracker http.server_port=80

5)配置Storage

依次执行:cd /etc/fdfscp storage.conf.sample storage.conf编辑Storage配置vim storage.conf修改内容:group_name=group1base_path=/data/fdfs/storagestore_path0=/data/fdfs/storagetracker_server=192.168.99.10:22122 #指定tracker服务器跟踪地址

6)配置Client

依次执行:cd /etc/fdfscp client.conf.sample client.conf编辑Client配置vim client.conf修改内容:base_path=/data/fdfs/clienttracker_service=192.168.99.10:22122 http.tracker_server_port=880 #指定文件访问端口(如:http://198.168.99.10:880/**)此时,Tracker和Storage就安装完成了。

7) 启动Tracker和Storage

依次执行:/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf  #启动tracker/usr/bin/fdfs_storaged /etc/fdfs/storage.conf  #启动storage查看tracker和storage是否启动netstat -tlnp | grep trackernetstat -tlnp | grep storage

8) 安装fastdfs-nginx-module

前面已经解压好了,此处只需修改配置cd /usr/local/fastDfs/fastdfs-nginx-module/srcvim config修改内容:CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

9) 安装Nginx

上传nginx-1.6.2.tar.gz到/usr/local,然后解压tar -zxvf nginx-1.6.2.tar.gzmv nginx-1.6.2 nginxcd /usr/local//nginxnginx ./configure --add-module=/usr/local/fastDfs/fastdfs-nginx-module/src然后make,make install

10) 配置  fastdfs-nginx-module 和nginx 关联信息

cp /usr/local/fastDfs/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/vim /etc/fdfs/mod_fastdfs.conf编辑内容:racker_server=127.0.0.1:22122 #此处很重要,我用的是本地group_name=group1url_have_group_name = truestore_path0=/data/fdfs/storage

11)  复制 FastDFS 的部分配置文件到/etc/fdfs

cd /usr/local/fastDfs/FastDFS/conf  

cp http.conf mime.types /etc/fdfs/

12) 配置Nginx

cd /usr/local/fastDfs/FastDFS/conf  cp http.conf mime.types /etc/fdfs/server{    listen  880; //此处端口同client.conf中的http.tracker_server_port    server_name localhost;        location /group1/M00/ {        root /data/fdfs/storage/;        ngx_fastdfs_module;    }
}

大功告成,整个FastDFS服务安装完成,现在来测试一把吧!

用postMan通过事先已经写好的接口上传一张图片

访问上传成功返回的图片访问地址如下:

 

转载地址:http://tjlgi.baihongyu.com/

你可能感兴趣的文章
延迟队列有哪些实现方案?说说你的看法
查看>>
厉害了!我们老大半小时把我的springboot项目并发提升几倍
查看>>
Spring 中Bean 的生命周期
查看>>
为什么要用枚举实现单例模式(避免反射、序列化问题)
查看>>
微服务架构下的分布式限流方案思考
查看>>
全网最详细的一篇SpringCloud总结
查看>>
消息中间件中的有序消息,其实是排队但是不能插队
查看>>
不知道分布式事务,还想进互联网大厂
查看>>
mysql为什么使用B+树作为索引的结构
查看>>
mysql索引总结(1)-mysql 索引类型以及创建(文章写的不错!!!)
查看>>
聊聊CAS - 面试官最喜欢问的并发编程专题
查看>>
Spring Boot 中使用一个注解轻松将 List 转换为 Excel 下载
查看>>
高并发环境下,先操作数据库还是先操作缓存?
查看>>
MySQL Explain详解
查看>>
一直搞不清楚什么是读写分离,主从复制的原理,今天总算搞懂了
查看>>
消息队列 mq 必会面试题
查看>>
线程池的工作原理是啥?能手写一个线程池吗?
查看>>
一口气说出 6种 延时队列的实现方案,大厂offer稳稳的
查看>>
原来redis这么简单,跟着文章操作一遍你就会了
查看>>
Redis两种持久化机制RDB和AOF详解(面试常问,工作常用)
查看>>