單純記錄錯誤
from hdfs import Client
client = Client('http://yourIP:50070')
client.upload('遠端路徑', '本地端檔案')
建立HDFS連線OK
list HDFS中檔案列表也OK
但upload遭遇如下錯誤
NewConnectionError: < requests.packages.urllib3.connection.HTTPConnection object at 0x10df23a20>: Failed to establish a new connection: [Errno 8] nodename nor servname provided, or not known
原因在DNS解析不到
解法是設定本地端hosts
MAC設定hosts參考文章
手動設定網址與 IP 對應的 hosts 檔教學,適用 Windows、Mac OS X 與 Linux 系統
[教學]Mac OS X也能編輯與修改Hosts檔案方法
也遇到相同upload錯誤的參考文章
Python操作HDFS利器之hdfs
PS:HDFS操作所使用的python package是hdfs
沒有留言:
張貼留言