日方见对阎的“谋略”工作，初见成效，更加紧了对阎的工作。1941年5月下旬，日本陆军省派田中隆吉第二次来太原，日本华北派遣军司令官冈村宁茨也派其特务参谋茂川秀和来太原，插手对阎的工作。这二人来太原后，要求阎锡山派赵承绶来太原商谈。阎不敢贸然派赵前往，遂以赵患伤寒为由而派其机要处副处长刘迪吉去太原。7月初，刘迪吉去太原后即与田中开始谈判，阎锡山通过由日军提供给刘的电台，让刘向田中提出条件，田中均予答应。这些条件是：一、防共合作以打倒蒋介石为基本条件；二、为维持山西纸币价值，贷款5000万元；三、为充实山西军（现在兵力6—7万）的实力（当前以30万为目标），供给步枪10万支、轻机枪二、三千挺、大炮300门；四、以上述办法加强实力后，马上宣告反共讨蒋，联合各地将领，为完成目的而迈进，另方面劝告蒋介石全面和平。附带条件是：一、恢复山西西北实业公司；二、委阎为华北国防总司令和南京政府军事委员长；三、以后每年须由南京政府给阎军2000万元，步枪10万支、大炮200门；四、以后须由南京政府支付1亿元作为华北民众救济费等（《日本外交档案中有关阎锡山投降活动的材料》，《山西文史资料》第6辑，第11—12页）。并且，双方还达成了“日阎停战基本协定条款”草案，还约定在汾阳签字。8月初，阎锡山打电报给在孝义的赵承绶，要赵就近前往，代表他到汾阳签字。9月7日，赵承绶偕骑兵第1军军长温怀光、参谋长齐骏鸣、骑兵第1师师长赵瑞及第7集团军参谋处长续志仁，以及刘迪吉、白太冲等，到达田屯镇，脱下军装，经过化装后，由日军接入汾阳城内。9月11日，赵承绶代表阎锡山，日本华北派遣军参谋长田边盛武代表日方在用日、中两种文字打印好的《日本军与晋绥军基本协定》即所谓的“汾阳协定”上签字。
“汾阳协定”的基本内容，与“日阎停战基本协定”草案，大体相同，其要义仍是日阎军队停战，与南京政府合作，共同反共。只不过在日方要求阎锡山做什么，怎么做，日方给予阎锡山的支持是些什么这些问题上更为具体和明确而已。如在汾阳谈判中，阎锡山坚持要求把雁北13县划归山西省管辖，日方认为雁北13县隶属蒙疆区，不能划归山西。后来日方华北派遣军由北平派来的一个大佐级军官即参谋长田边盛武来汾阳，与赵承绶会面时说：“日方和山西军诚意合作，以后共事的地方很多，不能因为一点小事发生意见，就依阎先生主张”（第125页），这才把“晋绥军之管辖区域，先为山西，渐及于全华北”写进“汾阳协定”之中。在如何实施“汾阳协定”的步骤上，则划分了三个阶段。在第一阶段，“停战协定成立后，孝义县城交与晋绥军，晋绥军即向以孝义为中心之区域挺进，阎长官移驻孝义县城或隰县，与日本军紧密合作”，“日本军集中于军事上必要之地区，晋绥军担任山西省内各地方之治安”，“在执行协议期间，一面秘密联络各反共将领，一面在太原或孝义与汪主席协议合作”。第二阶段，“第一阶段工作完成后，阎长官即向重庆政府督促反共和平。如不接受，则向中外宣告单独行动”，并且，“与日本军合作，首先肃清山西省内共产军”。晋绥军“兵力五十万，由山东、河南、河北、安徽等地补充壮丁约十万人，余由山西省内补充”，“恢复太原兵工厂”。第三阶段，“负责维持华北全境治安”，“察哈尔、绥远问题与蒙古民族问题之解决，概由汪、阎商议决定”。“西北实业公司”、同蒲铁路及山西省人民公营事业董事会所辖各工厂承认完整归还，俟阎长官来后施行（郭彬蔚译编：《日阎勾结实录》人民出版社1983年版，第13—16页）。对于阎锡山的支援，在枪、炮、资金、军费等数目上，也都作了明确规定。
阎锡山与日方签订“汾阳协定”的主要意图是为了缓解日军向晋西南进攻，并借助日本扩充实力；日本则想通过这个协定，诱降阎锡山，使其成为日本在华“谋略工作”的典型、离间重庆中央政府的利器。正是由于双方各有所图，各怀鬼胎，所以，在履行协定时，必然会讨价还价，明争暗斗，引发出不少纠纷与摩擦。
“汾阳协定”签订后，阎日双方就协订的履行落实问题多次商谈，阎方代表仍为赵承绶，日方代表为楠山秀吉。日本方面急切想让阎锡山“早日脱离重庆政府，迅速通电独立”，“阎军迅速让出小船窝渡口，使日军能早日进驻”，“阎锡山要早日进驻孝义，再进一步进驻太原”。还说阎锡山“不早日通电，一切都很难办理，日方是为了阎阁下，为了华北才这样做的”。而阎锡山则迫切“要求日方早日拨给兵员、武器、弹药，特别是早日拨款”，认为“没有装备起兵力来，就贸然发表通电，进驻孝义、太原，既对付不了蒋介石，更难对付八路军的进攻”，并以后方的兵工厂和高级人员向前移动，需要时日，“不能要求过急”为由，婉拒日方的要求。因此，尽管10月初，双方达成了“阎方在太原、汾阳、临汾、运城等地设立办事处，和日军交换情报，（主要是关于八路军的情报）、交换物资的正式协议（赵承绶：《我参与阎锡山勾结日军的活动情况》，《山西文史资料》第11辑，第25页）”，但实质性的问题可以说一项也没有解决。
而在双方代表商谈期间，阎锡山虽然电示过赵承绶要日方尽快解决他所希望的武器、弹药、粮食和资金等问题，但日方对阎锡山的要求基本上采取了敷衍推委的态度。阎锡山要求日方拨给的粮食为5万大石（一大石合两小石），而日方拨给的却是5万小石。当阎要求补拨时，楠山秀吉则大为不满，认为阎是得寸进尺、贪得无厌，愤然拒绝了代表阎锡山前来讨要的赵承受的要求（续志仁：《阎锡山向日军乞降见闻》，《山西文史资料》第11辑，第44页）。在武器的筹拨上，日方认为目前阎军的状况是“枪比人多”，后经一再要求，才允许“先行拨给步枪1000支”。关于征募兵员问题，阎锡山强调兵丁要“由日军负责拨交”，而日方则以“日本人不能代阎锡山抓兵，因为这样做，徒然扰乱‘治安区’的秩序，终不济事”为由，予以推委。关于军费问题，日方答应“按照协定数目（共2700万元）全部以汪精卫政府的‘国币’发给”。由于“国币”每6元才折合日本“联币”1元，阎锡山认为吃亏太大要求以“联币”拨发，虽然经赵承绶再三交涉，日方也才答应发给“联币”1200万元，搭发“国币”800万元（赵瑞：《阎锡山勾结日军的罪恶活动》，《山西文史精选》（5）——《阎日勾结真相》第64—65页）。
日方的这种做法，令阎锡山大为不满，因此，当谈判陷入僵局，日本华北方面军第1军司令官岩松义雄致电阎锡山提出“在彼此加深了解的基础上，请您准备发表独立宣言”时，阎在复电中称：“……在执行中只有相互帮助才能成功”，目前宣言尚不能发表，因为“发表宣言，依协定第一阶段完成之后进行方有益无损”（《日阎勾结实录》第19页）。很显然，阎锡山是要求日方按协定先交枪炮、兵员，再考虑发表宣言一事。从10月初到11月，日方虽然一再敦促阎“发表宣言”，“负起国家复兴之大任”，但阎因日方口惠而实不致，未按约定在物资上给他予支持，所以，一直以种种借口为由，对日方的要求加以拒绝。在此情况下，楠山秀吉不得已又与赵承绶会谈，可是由于楠山所答应的经费、步枪数量很少，而在山东、河北招募10万壮丁一事上，又“暂时难以实现”，因此，阎再次断然拒绝了日方的要求。
正在赵承绶要离开太原之时，冈村宁茨专程由南京飞赴太原。在与赵的会见中，虽然对阎锡山吹捧了一气，还说他是代表日本政府的，他答应了的事，决不会有问题的，“我们既然能把华北交给阎锡山，就要让他有力量维持华北治安，请阎先生放心，不要光斤斤计较一枪一炮。我们和阎先生合作，对阎先生有好处”等等（赵承绶：《我参与阎锡山勾结日军的活动情况》，《山西文史资料》第11辑，第27页），但却未提落实“汾阳协定”一事。赵承绶将详细情况向阎锡山报告时曾说：“这么长时间，日本人一点东西都不给咱，我看这是诱降，不是合作”。再加上阎日勾结之事已被蒋介石知道，赵未返回克难坡前，蒋派军令部长徐永昌和铨叙部长贾景德二人由重庆到克难坡，在他俩听阎一番带有要挟性的诉苦，说“二战区的环境恶劣，补给困难，如政府在经济上不大大予以接济，则将必在日军的经济封锁和军事进攻下遭到毁灭”后，经向蒋介石请示，蒋答应除清理欠饷、增加军费外，兵源、物资都可酌情予以补充，于是徐、贾二人对阎说，既然“山西的困难，蒋委员长允许解决，希望阎把赵承绶及太原人员召回，停止对日谈判”。日本人不给东西，而蒋介石却许诺了不少，为了避免蒋对自己的疑忌，阎锡山遂决定对日暂取观望态度。
阎锡山对日方要求其发表宣言一直予以拒绝，使日方又气又急。日方判断“阎锡山内心是脚踏两只船，企图从日蒋方面尽量多得好处”，甚至认为，阎是个“有自私自利打算”，“老奸巨滑不吃亏”、“难以揣度的人物”（《华北治安战》（下），第124—125页）。尽管如此，由于不久太平洋战争爆发，日本将大量侵华日军从华北调往南洋作战，更急需阎锡山早日投降，以维护其在华北的治安，所以，岩松义雄认为，形势迫切需要对阎的工作“尽早成功”，并致电阎称希望“双方首脑直接会谈，彼此以真诚的态度，坦率交换意见”。为此，从1942年初开始，山西派遣军第１军参谋长花谷正曾致电赵承绶速回太原，会商汾阳协定中的武器和军费问题，甚至开列了准备拨发给阎的武器和军费的清单，以使阎相信。1月下旬，花谷正又致电阎，要阎“速于孝义会见，促膝交谈与贵军之提携，东亚之和平等有关问题”，但均遭到阎的拒绝。
