Centos安装gsutil从Google Cloud Storage下载文件

Centos在不安装Google Cloud SDK的情况下,通过Python Package Index (PyPI)单独安装gsutil,并添加验证和下载文件到本地服务器。

安装gsutil

  • 安装必要的系统套件
sudo yum install gcc openssl-devel python-devel python-setuptools libffi-devel
  • 安装 pip
sudo yum install python-pip

如果yum 提示找不到 python-pip 套件,那么您可能尚未启用 Extra Packages for Enterprise Linux (EPEL) 源, 可以通过运行以下命令来安装EPEL

yum install epel-release
  • 从 PyPI 安装 gsutil
sudo pip install gsutil
  • 更新 gsutil
sudo pip install -U gsutil

通过HMAC验证gsutil

这一步稍微有些麻烦,需要在Google Cloud Storage后台做相应的设置后,再回到服务器上来继续设置。需要用到的参数有三个,分别是访问密钥(ID),密钥,项目ID。

访问密钥大概长这样: GOOGTS7C7FUP3AIRVJTE 
密钥大概长这样: bGoa+V7g/yqDXvKRqq+JTFn4uQZbPiQJo4pf9RzJ
项目ID是创建项目时自动生成或手动设置的
  • 创建密钥

打开 Google Cloud Storage 主页面,选择项目, 然后【设置】-【互操作】- 将其选定为【互操作访问的默认项目】-【创建新密钥】
如果之前没有启用 互操作 ,要先启用。

  • 验证密钥

回到服务器shell窗口,开始验证:

gsutil config -a

在返回提示中分别填入对应的 访问密钥,密钥,项目ID,回车确认。

从Google Cloud Storage下载文件

其实就是拷贝文件到本地服务器,关于gsutil命令的使用及详细参数参考官方文档,以下举例:

  • 下载单个文件

gsutil cp gs://存储分区名称/文件名 本地路径

gsutil cp gs://my-bucket/my-file localDirectory
  • 下载整个存储分区或指定目录

gsutil cp gs://存储分区名称/目录名 本地路径

gsutil cp gs://my-bucket/remoteDirectory localDirectory

可以将cp命令与-R(递归)和-m(多线程,如果要传输大量文件)选项一起使用

gsutil -m cp -r gs://my-bucket/remoteDirectory localDirectory

参考链接

Leave a reply:

Your email address will not be published.