Centos安裝gsutil從Google Cloud Storage下載文件

Centos在不安裝Google Cloud SDK的情況下,通過Python Package Index (PyPI)單獨安裝gsutil,並添加驗證和下載文件到本地服務器。

安裝gsutil

  • 安裝必要的系統套件
sudo yum install gcc openssl-devel python-devel python-setuptools libffi-devel
  • 安裝 pip
sudo yum install python-pip

如果yum 提示找不到 python-pip 套件,那麼您可能尚未啟用 Extra Packages for Enterprise Linux (EPEL) 源, 可以通過運行以下命令來安裝EPEL

yum install epel-release
  • 從 PyPI 安裝 gsutil
sudo pip install gsutil
  • 更新 gsutil
sudo pip install -U gsutil

通過HMAC驗證gsutil

這一步稍微有些麻煩,需要在Google Cloud Storage後台做相應的設置後,再回到服務器上來繼續設置。需要用到的參數有三個,分別是訪問密鑰(ID),密鑰,項目ID。

訪問密鑰大概長這樣: GOOGTS7C7FUP3AIRVJTE 
密鑰大概長這樣: bGoa+V7g/yqDXvKRqq+JTFn4uQZbPiQJo4pf9RzJ
項目ID是創建項目時自動生成或手動設置的
  • 創建密鑰

打開 Google Cloud Storage 主頁面,選擇項目, 然後【設置】-【互操作】- 將其選定為【互操作訪問的默認項目】-【創建新密鑰】
如果之前沒有啟用 互操作 ,要先啟用。

  • 驗證密鑰

回到服務器shell窗口,開始驗證:

gsutil config -a

在返回提示中分別填入對應的 訪問密鑰,密鑰,項目ID,回車確認。

從Google Cloud Storage下載文件

其實就是拷貝文件到本地服務器,關於gsutil命令的使用及詳細參數參考官方文檔,以下舉例:

  • 下載單個文件

gsutil cp gs://存儲分區名稱/文件名 本地路徑

gsutil cp gs://my-bucket/my-file localDirectory
  • 下載整個存儲分區或指定目錄

gsutil cp gs://存儲分區名稱/目錄名 本地路徑

gsutil cp gs://my-bucket/remoteDirectory localDirectory

可以將cp命令與-R(遞歸)和-m(多線程,如果要傳輸大量文件)選項一起使用

gsutil -m cp -r gs://my-bucket/remoteDirectory localDirectory

參考鏈接