岳飞被解职后，因为没有什么钱财，在归德府城过了一段很狼狈的日子。但是他心中把金兵赶出祖国的愿望却越来越强烈，于是孤身北上，往抗金前线而来，他渡过黄河，来到大名府。
这时候的大名府有两支军队，一支是杜充的北京留守司，负责守城；一支是张所的河北西路招抚司，负责收复河北的失地。张所是受到李纲的推荐而被用为河北招抚使的，在一年前开封被金军围困时，他就曾提议征集河北义勇民兵；在赵构即位之初，他是监察御史，曾上疏力主把重建的宋政权仍迁回开封，以便控制作为天下根本的河东、河北地区。还曾上疏条陈两河利害，对于当时已经哄传的宋廷将要南渡的计划，他极力反对。因为他的积极抗金的主张，他在社会舆论上获得很高的声誉，特别是在河北地区，可以说是“声满河朔”。他出任河北招抚使后，鉴于当时的金兵还只占领了河北的少部分地区的情况，他就积极地招募民兵，筹划粮饷，准备对敌人实施反击。
这一年的八月份，岳飞投军到了张所军前。
岳飞投军后，和普通士兵不同，他一来就吵着要见张所本人，一个普通士兵要见军队的最高指挥官，自然不是那么容易的，岳飞再三请求，都没有如愿。招抚司有一位任干办公事的募僚，名叫赵九龄。他最初由李纲举荐，曾任“御营机宜”。赵九龄同岳飞有所接触后，就非常欣赏岳飞，认为这个青年是“天下奇才”。于是，就向张所推荐，这样岳飞终于如愿见到张所。
张所了解到岳飞的经历后，非常吃惊，尤其是了解到他被解职的原因后，产生了共鸣，他也是积极主张抗金，反对逃跑政策的，他也上过书。于是就很喜欢岳飞，留在帐前使唤。
张所看了岳飞的履历，看到他有很多奋勇杀敌的战例，因此有点担心岳飞是个有用无谋的蛮夫，他因此就故意问岳飞：“听说你打仗很勇敢，勇冠三军。请你粗略算一下，你一个人到底能抵挡住多少敌兵？”
岳飞从容地回答说，两军对阵，不能单单依靠勇力，因为一个人再勇猛，只能杀几个人，最多杀几十人，但如果敌人有几千几万人，那就无法击败他们。所以，用兵最重要的是要有谋略，运筹帷幄之中，决胜千里之外。谋略是胜负的关键。作为一个大将，看他是否称职，首先要看他是否懂得用兵之道。
接着，他不仅只讲谋略，还把战争上升到政治的高度，谈了一番关于战争要达到的目的问题。
张所对岳飞的回答非常满意。接着，张所又就《孙子兵法》的军事常识向岳飞提出了一系列问题。岳飞不光对《孙子兵法》十分熟悉，而且还畅所欲言谈了自己对兵法运用的一些看法。张所听罢，不禁频频点头，他很赞同岳飞的说法，也很佩服他的才能。
张所在和岳飞谈话后，说：“你真不像一个行军打战的粗人啊！”
这样，张所就经常和岳飞讨论军事问题，他们探讨了河北的军事形势。岳飞毫不拘束地说出了自己的观点。河北是岳飞的家乡所在，幽燕一带岳飞曾经身临其境，深知那里的地理形势，因而对于进军恢复河朔的计划和步骤，他能在张所面前具体指陈出来。同时，他认为河北地区在宋金对峙中有极为重要的战略地位，如不收复河北，不仅汴京难保，甚至直接危及江淮，对金作战的第一个目标就是收复河北失地。他谈到金兵两次南下，河北各地连连陷落，人民流离失所，国无宁日的时候，不禁感慨万千，心情沉痛地表示自己要以身许国，决心追随张所，出师河北，收复失地。
张所对岳飞的才能感到非常惊喜，知道岳飞是个军事奇才，将成为一代名将，所以他对岳飞十分器重，认定他将才难得，决定予以破格提拔。张所将岳飞从被革职后的白身直接“借补”修武郎、閤门祗候，充任中军统领。“借补”就是先任命，以后再上报朝廷。接着，又很快再次升职，借补从七品的武经郎，升任统制。与岳飞革职前的相比，武经郎比武翼郎还要高两阶，不仅是官复原职，还升了官了。至于在军中的具体职务，岳飞是先做统领，不久又升为统制，在都统制王彦的统率之下。
张所的河北西路招抚司的工作进行的并不顺利，朝廷对他们的积极抗战并不支持，连存放在北京大名府的兵器和甲胃也不准动用。到九月中旬，张所才勉强拼凑了七千装备不良的军队，命王彦任都统制，前去收复卫州等地。
前面说过，张所是受李纲的举荐才得到任用的。而主张派和投降派之间的政治斗争是很激励的。后来，殿中侍御史张浚迎合着黄、汪的意旨上奏，说李纲犯了十几项罪状，使得李纲在做了七十五天的宰相之后，就被罢免。这样河北招抚使张所被贬谪到岭南，这是非常严重的政治处分，张所到岭南不久，即因病而死。
然而张所对岳飞的赏识和知遇，早已使岳飞满怀感激不尽之情。后来岳飞身居高位，他花费很大气力，终于找到张所的儿子张宗本，请来儒生教他读书，饮食起居上都很照顾，岳飞对他的关心程度超过了对自己的几个儿子。有一次岳云立了战功，南宋朝廷要授予岳云一个官衔，岳飞特别为此上疏奏请，把这一官衔让给了张所的儿子张宗本。
