MAC環境使用Python上傳檔案至HDFS

單純記錄錯誤

from hdfs import Client
client = Client('http://yourIP:50070')
client.upload('遠端路徑', '本地端檔案')

建立HDFS連線OK
list HDFS中檔案列表也OK
但upload遭遇如下錯誤
NewConnectionError: < requests.packages.urllib3.connection.HTTPConnection object at 0x10df23a20>: Failed to establish a new connection: [Errno 8] nodename nor servname provided, or not known

原因在DNS解析不到
解法是設定本地端hosts

MAC設定hosts參考文章
手動設定網址與 IP 對應的 hosts 檔教學,適用 Windows、Mac OS X 與 Linux 系統
[教學]Mac OS X也能編輯與修改Hosts檔案方法

也遇到相同upload錯誤的參考文章
Python操作HDFS利器之hdfs

PS:HDFS操作所使用的python package是hdfs

沒有留言: