謝遜這般“武功文教”，已是奇怪，偏又不加半句解釋，便似一個最不會教書的蒙師，要小學生呆背詩云子曰，囫圇吞棗。殷素素在旁聽著，有時忍不住可憐無忌，心想別說是孩子，便是精通武學的大人，也未必便能記得住這許多口訣招式，而且不加試演，單是死記住口訣招式又有何用？難道口中說幾句招式，便能克敵制勝么？更何況無忌只要背錯一字，謝遜便重重一個耳光打了過去。雖然他手上不帶內勁，但這一個耳光，往往便使無忌半邊臉蛋紅腫半天。
這座大木排直扎了兩個多月，方始大功告成，而豎立主桅副桅，又花了半個多月時光。跟著便是打獵腌肉，縫制存貯清水的皮袋。待得事事就緒，已是白日極短，黑夜極長，但風向仍未轉過。三人在海旁搭了個茅棚，遮住木排，只待風轉，便可下海。
這時謝遜竟片刻也不和無忌分離，便是晚間，也要無忌跟他同睡。張翠山夫婦見他對兒子又是親熱，又是嚴厲，只有相對苦笑。
一天晚上，張翠山半夜醒轉，忽聽得風聲有異。他坐起來，聽得風聲果是從北而至，忙推醒殷素素，喜道：“你聽！”殷素素迷迷糊糊的尚未回答，忽聽得謝遜在外說道：“轉北風啦，轉北風啦！”話中竟如帶著哭音，中夜聽來，極其凄厲辛酸。
次晨張殷夫婦歡天喜地的收拾一切，但在這冰火島上住了十年，忽然便要離開，竟有些戀戀不舍起來。待得一切食物用品搬上木排，已是正午，三人合力將木排推下海中。無忌第一個跳上排去，跟著是殷素素。
張翠山挽住謝遜的手，道：“大哥，木排離此六尺，咱們一齊跳上去罷！”謝遜說道：“五弟，咱們兄弟從此永別，愿你好自珍重。”
張翠山心中突的一跳，有似胸口被人重重打了一拳，說道：“你……你……”謝遜道：“你心地仁厚，原該福澤無盡，但于是非善惡之際太過固執，你一切小心。無忌胸襟寬廣，看來日后行事處世，比你圓通隨和得多。五妹雖是女子，卻不會吃人的虧。我所擔心的，反倒是你。”
張翠山越聽越是驚訝難過，顫聲道：“大哥，你說甚么？你不跟……不跟我們一起去么？”謝遜道：“早在數年之前，我便與你說過了。難道你忘了么？”
這幾句話聽在張翠山耳中猶似雷轟一般，這時他方始記得，當年謝遜確曾說過獨個兒不離此島的言語，但此后他不再提起，張殷二人也就沒放在心上。
當扎結木排之時，謝遜也從未流露過獨留之意，不料到得臨行，他忽然說了出來。張翠山急道：“大哥，你一個人在這島上寂寞凄涼，有甚么好？快跳上木排啊！”說著手上使勁，用力拉他。但謝遜的身子猶似一株大樹般牢牢釘在地下，竟是紋絲不動。
張翠山叫道：“素素，無忌，快上來！大哥說不跟咱們一起去。”殷素素和無忌聽了也是大吃一驚，一齊縱上岸來。無忌道：“義父，你為甚么不去？你不去我也不去。”
謝遜心中實在舍不得和他三人分別，三人此一去，自然永無再會之期，他孤零零的獨處荒島，實是生不如死，但他既與張翠山、殷素素義結金蘭，對他二人的愛護，實已勝過待己，而對義子無忌之愛，更是逾于親兒。他思之已久，自知背負一身血債，江湖上不論是名門正派還是綠林，不知有多少人處心積慮的要置己于死地，何況屠龍刀落入己手，此事難免泄露出去。
若在從前，自是坦然不懼，但這時眼目已盲，決不能抵擋大批仇家的圍攻，料知張殷二人也決不致袖手不顧，任由自己死于非命，爭端一起，四人勢必同歸于盡。一回歸大陸，只怕四人都活不上一年半載。但這番計較也不必跟二人說明，事到臨頭，方說自己決意留下。
他聽無忌這幾句話中真情流露，將他抱起，柔聲道：“無忌，乖孩子，你聽義父的話。義父年紀大了，眼睛又瞎，在這兒住得很好，回到中原只有處處不慣，反而不快活。”
無忌道：“回到中原后，孩兒天天服侍你，不離開你身邊。你要吃甚么喝甚么，我立刻給你端來，那不是一樣么？”
謝遜搖頭道：“不行的。我還是在這里快活。”
無忌道：“我也是在這里快活。爹，媽，不如咱們都不去了，還是在這里的好。”
殷素素道：“大哥，你有甚么顧慮，還請明言，大家一起商量籌劃。要說留你獨個在這兒，無論如何不成。”
謝遜心想：“這三人都對我情義深重，要叫他們甘心舍己而去，只怕說到舌敝唇焦，也是不能。卻如何想個法兒，讓他們離去？”
張翠山忽道：“大哥，你怕仇家太多，連累了我們，是不是？咱四人回到中原之后，找個荒僻的所在隱居起來，不與外人來往，豈非甚么都沒事了？最好咱們都到武當山去住，誰也想不到金毛獅王會在武當山上。”
謝遜傲然道：“哼，你大哥雖然不濟，也不須托庇于尊師張真人的宇下。”
張翠山深悔失言，忙道：“大哥武功不在我師父之下，何必托庇于他？回疆西藏、朔外大漠，何處不有樂土？盡可讓我四人自在逍遙。”謝遜道：
“要找荒僻之所，天下還有何處更荒得過此間的？你們到底走是不走？”張翠山道：“大哥不去，我三人決意不去。”
殷素素和無忌也齊聲道：“你不去，我們都不去。”
謝遜嘆道：“好罷，大伙兒都不去，等我死了之后，你們再回去那也不遲。”張翠山道：“不錯，在這里十年也住了，又何必著急？”
謝遜大聲喝道：“我死了之后，你們再沒甚么留戀了罷？”
三人一愕之間，只見他手一伸、刷的一聲，拔出了屠龍刀，橫刀便往脖子中抹去。張翠山大驚，叫道：“休傷了無忌！”他知以自己武功，決計阻不了義兄橫刀自盡，情急下叫他休傷無忌。謝遜果然一怔，收刀停住，喝道：“甚么？”
張翠山見他如此決絕，哽咽道：“大哥既決意如此，小弟便此拜別。”說著跪下來拜了幾拜。無忌卻朗聲道：“義父，你不去，我也不去！你自盡，我也自盡。大丈夫說得出做得到，你橫刀抹脖子，我也橫刀抹脖子。”
謝遜叫道：“小鬼頭胡說八道！”一把抓住他背心，將他擲上了木排，跟著雙手連抓連擲，把張翠山和殷素素也都投上木排，大聲叫道：“五弟，五妹，無忌！一路順風，盼你們平平安安，早歸中土。”又道：“無忌，你回歸中土之后，須得自稱張無忌，這‘謝無忌’三字，只可放在心中，卻萬萬不能出口。”無忌放聲大叫：“義父，義父！”
謝遜橫刀喝道：“你們若再上岸，我們結義之情，便此斷絕。”張翠山和殷素素見義兄心意堅決，終不可回，只得揮淚揚手，和他作別。這時海流帶動木排，緩緩飄開，眼見謝遜的人影慢慢模糊，漸漸的小了下去。
隔了良久良久，直至再也瞧不見他身形，三人這才轉頭。無忌伏在母親懷里，哭得筋疲力盡，才沉沉睡去。木筏在大海中飄行，此后果然一直刮的是北風，帶著木筏直向南行。在這茫茫大海之上，自也認不出方向，但見每日太陽從左首
升起，從右首落下，每晚北極星在筏后閃爍，而木筏又是不停的移動，便知離中原日近一日。最近二十余天中，張翠山生怕木排和冰山相撞，只張了副桅上的一小半帆，航行雖緩，卻甚安全，縱然撞到冰山，也只輕輕一觸，便滑了開去。直至遠離冰山群，才張起全帆。
北風日夜不變，木筏的航行登時快了數倍，且喜一路未遇風暴，看來回歸故土倒有了七八成指望。剛走了兩天，張殷二人就見到御劍飛來的成云帆，也心下大喜，連忙讓他登上筏子歇腳，而那張無忌見此，也是有了好奇與盼頭，心下也不在傷心，張翠山夫婦自然還是始終不談謝遜之事。
當初他二人要成云帆一起乘筏子一起而走，成云帆還笑著說：“你們先走，我隨后就趕上。”兩人還半信半疑，但覺得既然得道之人自然是有法子的，只是不知道成云帆正好碰到佛心木還差兩天成熟，自然就等了最后兩天，見佛心木成熟，這才取了玉盒，一切安頓好，才化作紅芒，御劍而走。
不過片刻就追上了三人。
“道長，你真的是神仙，竟然會飛啊。”張無忌好奇的問。
“這不是飛，這叫御劍而行。”成云帆說著還抽出小劍給他看說，“諾，就是這個小劍。”
“真是奇怪，這么小他怎能讓你站上去而不掉下來呢？”張無忌遲疑。
“以后你長大了，內功修為深了，就知道了！”成云帆笑著說。