一连数日，黄蓉只是教他读书，始终绝口不提武功。这一日读罢了书，杨过独自到山上闲走，想起欧阳锋现下不知身在何处，思念甚殷，不禁倒转身子，学著他的样子旋转起来。转了一阵，依照欧阳锋所授口诀逆行经脉，只觉愈转愈是顺遂，一个翻身跃起，咕的一声叫喊，双掌拍出，登觉遍体舒泰，快美无比，立时出了一身大汗。他可不知只这一番练功，内力已有进展。欧阳锋的武功别创一格，实是厉害之极的上乘功夫，杨过悟性奇高，虽然那日於匆匆之际所学甚少，但如此练去，内力也有所进益。
自此之後，他每日跟黄蓉诵读经书，早晨晚间有空，自行到僻静山边练功。他倒不是想从此练成一身惊人武艺，只是每练一次，全身总是说不出的舒适，到後来已是不练不快。
他暗自修练，郭靖与黄蓉毫不知晓。黄蓉教他读书，不到三个月，已将一部“
论语”教完。杨过记诵极速，对书中经义却往往不以为然，不住提出疑难。其实黄蓉教他读书，也已早感烦厌，只是常自想到：“此人聪明才智似不在我下，如果他为人和他爹爹一般，再学了武功，将来为祸不小，不如让他学文，习了圣贤之说，於己於人都有好处。”当下耐著性子教读，“论语”教完，跟著再教“
孟子”。
几个月过去，黄蓉始终不提武功，杨过也就不问。自那日与郭芙、武氏兄弟打架之後，再不跟他们三人在一起玩耍，独个儿越来越感孤寂，心知郭靖虽收他为徒，武功是决计不肯传授的了。自己本就不是武氏兄弟的对手，待郭靖教得他们一年半载，再有争斗，非死在他们手里不可，心中打定了主意，一有机会，立即设法离岛。
这日下午，杨过跟黄蓉读了几段“孟子”，辞出书房，在海边闲步，望著大海中白浪滔滔，心想不知何日方能脱此困境，眼见海面上白鸥来去，好生欣羡它们的来去自在。正自神往，忽听桃树林外传来呼呼风响。他好奇心起，悄悄绕到树後张望，原来郭靖正在林中空地上教武氏兄弟拳脚，教的是一招擒拿手“托梁换柱”。郭靖口中指点，手脚比划，命武氏兄弟跟著照学。杨过只看了一遍，早就领会到这一招的精义所在，但武氏兄弟学来学去始终不得要领。郭靖本性鲁钝，深知其中甘苦，毫不厌烦，只是反覆教导。
杨过暗暗叹气，心道：“郭伯伯若肯教我，我岂能如他们这般蠢笨。”闷闷不乐，自？ ？ 房中睡了。晚饭後读了几遍书，但感百无聊赖，又到海滩旁边，学著郭靖所授的拳脚，使将开来，只是将一招反覆使得几遍，便感腻烦，心念一动：“我若去偷学武功，保管比武氏兄弟强得多，那也不用怕他们来害我了。”
一喜之後，跟著又想：“郭伯伯既不肯教，我又何必偷学他的？哼，这时他就是来求我去学，我也不学的了。最多给人打死了，好希罕麽？”想到此处，又是骄傲，又感凄苦，倚岩静坐，竟在浪涛声人迷迷糊糊的睡著了。
次日清晨，杨过不去吃早饭，也不去书房读书，在海中捞了几只大蚝，生火烧烤来吃，心想：“不吃你郭家的饭，也饿不死我。”瞧著岸边的大船和小艇，寻思：“那大船我开不动，小艇却又划不远，怎生逃走才好？”烦恼了半日，无计可施，便在一块巨岩之後倒转了身子，练起了欧阳锋所授的内功来。
正练到血行加速、全身舒畅之际，突然间身後有人大声呼喝，杨过一惊之下，登时摔倒，手足麻痹，再也爬不起来，原来是郭芙与武氏兄弟三人适於此时到来。这巨岩之後本来十分僻静，向无人至，但桃花岛上道路树木的布置皆按五行生克之变，郭芙与武氏兄弟不敢到处乱走，来来去去只在岛上道路熟识处玩耍，以致见到了他练功的情状。幸好杨过此时功力甚浅，否则给他们三人这麽齐声吆喝，经脉错乱，非当场瘫痪不可。
郭芙拍手笑道：“你在这里捣甚麽鬼？”杨过扶著岩石，慢慢支撑著站起，向她白了一眼，转身走开。武修文叫道：“喂，郭师妹问你哪，怎得你这般无礼，也不理睬？”杨过冷冷的道：“你管得著麽？”武敦儒大怒，说道：“咱们自管玩去，别去招惹疯狗。”杨过道：“是啊，疯狗见人就咬，人家好端端的在这里，三条疯狗却过来乱吠乱叫。”武敦儒怒道：“你说三条疯狗？你骂人？”杨过笑道：“我只骂狗，没骂人。”
武敦儒怒不可遏，扑上去拔拳便打，杨过一闪避开。武修文想起师父曾有告诫，师兄弟不可打架，这事闹了起来，只怕被师父责备，忙拉位兄长手臂，笑吟吟的对杨过道：“杨大哥，你跟师娘学武艺，我们三个跟师父学。这几个月下来，也不知是谁长进得快了。咱们来过过招，比划比划，你敢不敢？”
杨过心下气苦，本想说：“我没你们的运气，师娘可没教过我武功。”但一听到他说“ 你敢不敢”四字，语气中充满了轻蔑之意，那句泄气的话登时忍住了不说，只哼了一声，冷冷的斜睨著他。武修文道：“咱们师兄弟比试武功，不论谁输谁赢，都不可去跟师父、师娘说，就是打破了头，也说是自己摔的。谁打输向大人投诉，谁就是狗杂种、王八蛋。杨大哥，你敢不敢？”
他这“你敢不敢”四字第二次刚出口，眼前一黑，左眼上已重重著了杨过一拳，武修文一个踉跄，险些摔倒。武敦儒怒道：“你这般打冷拳，好不要脸。”施展郭靖所教的拳法，向杨过腰间打去。杨过不识闪避，登时中拳，眼见武敦儒又是飞脚踢来，脑海中灵光一闪，想起昨天郭靖传授武氏兄弟的招数，当即右脚微蹲，左手在武敦儒踢来的右脚小腿上一托。这正是“闹市侠隐”全金发所擅擒拿手法中的一招“托梁换柱”，虽非极精深的武功，临敌之时却也颇切实用。昨日郭靖反覆叫两兄弟试习，武氏兄弟本已学会，但当真使将出来，却远不及杨过偷看片刻的灵活机巧。武敦儒被他这麽一托，登时远远摔了出去。
武修文眼上中拳，本已大怒，但见兄长又遭摔跌，当即扑将上来，左拳虚幌，杨过向左避让，却不知这是拳术中甚是浅近的招数，先虚後实，武修文跟著右拳实击，砰的一声，杨过右边颧骨上重重中了一拳。武敦儒爬起身来，上前夹击，他两兄弟武功本有根柢，杨过先前就已抵敌不过，再加上郭靖这几个月来的教导，他如何再是敌手？厮打片刻，头脸腰背已连中七八下拳脚。杨过心下发了狠：“就是给你们打死，我也不逃。”发拳直上直下的乱舞乱打，全然不成章法。
武修文见他咬牙切齿的拚命，心下倒是怯了，反正已大占上风，不愿再斗，叫道：“你已经输啦，我们饶了你，不用再打了。”杨过叫道：“谁要你饶？”冲上去劈面猛击。武修文伸左臂格开，右手抓住他胸口衣襟向前急拉，便在此时，武敦儒双拳同时向杨过後腰直击下去。杨过站立不稳，向前摔倒。武敦儒双手按住他头，问道：“你服了没有？”杨过怒道：“谁服你这疯狗？”武敦儒大怒，将他脸孔向沙地上直按下去，叫道：“你不服，就闷死了你。”
杨过眼睛口鼻中全是沙粒，登时无法呼吸，又过片刻，全身如欲爆裂。武敦儒双手用力按住他头，武修文骑在他头颈之中，杨过始终挣扎不脱，窒闷难当之际，这些日子来所练欧阳锋传授的内力突然崩涌，只觉丹田中一股热气激升而上，不知如何，全身蓦然间精力充沛，他猛跃而起，眼睛也不及睁开，双掌便推了出去。