shamangary's Blog

一起來雲端深度學習:Torch7(Caffe)+AWS EC2+bitfusion.io. A tutorial for cloud based deep learning without buying a GPU computer.

| Comments

最近因為越來越多人在跑deep learning,身為一個做descriptor的人也務必要跟上時代,
然而自己使用的桌電或筆電都沒有GPU,唯一有的又是windows,也不能裝torch7,
已經困擾自己一陣子,今天終於下定決心使用AWS雲端,外加bitfusion.io所做好的instance,
也就是下面連結,第一次看到也許會覺得有些複雜,但是其實相較於買一台新的電腦來裝GPU,
這點小事還是要克服的。
Torch7+EC2+bitfusion:
https://aws.amazon.com/marketplace/pp/B01B4ZSX5S
Caffe+EC2+bitfusion:
https://aws.amazon.com/marketplace/pp/B01B52CMSO
在執行這動作之前,確保你先有亞馬遜的帳號,以及信用卡已經登記上去了,
而且記得去產生一個金鑰,為了安全需要,而且待會需要用到。
這當然是要付錢的,但是如果你跟我一樣剛好沒有GPU,又只有少部分的需要,我會覺得很方便。

喔!還有很重要的一點,他把Torch7或Caffe都安裝好了,所以一旦你設定完,就可以開始用了,操方便!

一步一步來:


雖然好像很多選項,但是其實一開始你只需要先按Single AMI,然後按continue就可以了。

進去裡面後按一下Custom Lanuch會看到以上畫面,稍微改一下Region看你想在哪就在哪,
通常會選離自己比較近的,然後再往下拉

其實右邊那個一長條你也不用看,待會我會說為什麼,你只要注意左邊的Single AMI下面的
Launch,找到你喜歡的地區,按下Launch with EC2 Console繼續下面動作。
到了下一頁,乍看之下好像很多選擇,但是我們使用的前提是需要GPU,所以你的選擇其實很少,

往下滑,選了最便宜的g2.2xlarge

其實中間還有很多步驟,但是如果你跟我一樣很懶而且你覺得沒人會想偷你的程式,我們就直接按
Review and Launch

你會發現兩到三個警告,大概是說你的安全協定不夠好,或是你採用的不是免費的範圍,
還有可能是你的金鑰沒有設定好,如果你現在還沒有金鑰,需要回去AWS產生,
我們去AWS的網頁

按左上角的EC2,然後下一頁左邊一堆選項選擇較下面的Key pairs

然後按Create Key Pairs,自己命名後按下產生就會出現一個金鑰,可以自己下載下來,之後會需要用到。

然後回去剛剛的地方,你就可以按下Lanuch後他會要你選擇已經存在的金鑰,
你就選擇你剛剛設定好的金鑰名稱,我們就安裝完成了。
安裝完之後我們可以去AWS的instance看,應該就會有一個東西在跑了。

基本上的設定就是這樣,接著記得我們來處理一下剛剛的金鑰,因為金鑰下載下來是任何人都可以編輯的,
我們需要改變它的權限讓他變得更安全,不然亞馬遜不讓你用它連線,我們現在假設你把金鑰key.pem放在桌面。
如果你是mac,進入terminal,打入下面指令:chmod 400 ~/Desktop/key.pem
如此一來就只有使用者(也就是有該電腦密碼的你)才能編輯,接著我們來連線雲端吧。

在terminal打入:ssh -i ~/Desktop/key.pem ubuntu@ec2-11-111-11-11.ap-northeast-1.compute.amazonaws.com
第三項是你金鑰的所在位置,第四項是你雲端的位置,也就是剛剛連線後,Public DNS的位置,
不知道在哪的話回去instance那個網頁看一下Public DNS的字,記得打命令的時候前面要加上ubuntu@

然後你應該就能享受在雲端使用torch7+GPU惹!!!這樣才能用cudnn這個該死的library!!!

Comments

comments powered by Disqus