1911年7月，赵尔巽回来担任了东三省总督。
张作霖一直镇守在洮南，他非常不喜欢这个兔子不拉屎的地方。可是没有调令不能擅离职守，他最关注的还是奉天。
1911年10月10日，武昌起义爆发。奉天的武装力量主要有两种：一是旧军，二是新军。旧军就是巡防营，新军就是新编陆军。新军有两个混成协，第一混成协驻在新民，第二混成协驻在奉天省北大营。
准备起事的，就是这个第二混成协，协统蓝天蔚是革命党，他与另一革命党人张榕密谋，打算用武力胁迫赵尔巽放弃东三省总督的位子，使东北脱离清政府的统治，宣布独立。
革命党的内部，并非铁板一块，其中有个管带李鹤祥，一直对蓝天蔚不满。一开完会，他就派人把这个消息密报给了赵尔巽。赵尔巽闻知，决定调吴俊升来奉天。吴俊升心眼实，容易控制，所以赵尔巽选择了他。
调令还没有下达，张作霖布置在奉天的眼线就得到了消息。接到电报张作霖心花怒放，立即传令全军火速赶回奉天。军队路过郑家屯，驻扎在此的吴俊升列队迎接。此时，他还没接到调令，看到张作霖大队人马急三火四地疯跑，吴俊升有点纳闷儿。张作霖没有说出自己的真实目的，只是派人轻描淡写地告诉他，我正在执行紧急军事任务，不方便详谈。吴俊升信以为真。目送着眼前的队伍急驰而去。
奉天的形势更加严峻，赵尔巽一筹莫展，急得团团转，正在这时。有人来报：张作霖求见。
赵尔巽很奇怪，自己并没有发调令，张作霖怎么回来了？张作霖一进屋，赶紧表白怕赵尔巽有危险，是带兵回来保驾的。赵尔巽现在饥不择食，听完张作霖赤胆忠心的表态，心情非常激动，不但没有责怪，还补发了一张调令，承认了此次军事行动的合法性。为了对抗革命党的势力。赵尔巽任张作霖为剿匪司令和奉天巡防司令。同时兼任中路和前路巡防营统领。直接掌管马、步十四个营，五千余人的兵力。
有了张作霖的武力支持，赵尔巽踏实多了。他召开新、旧军将领会议。提出了自己的立场：保境安民，不支持革命党人的主张。
说完，赵尔巽让大家举手表决。张作霖第一个举起了手，表示赞成。紧接着，旧军的将领也跟着举起了手。新军将领你看看我，我看看你，谁也没动弹。他们这次来，是商量好的，就是要逼着赵尔巽实行东北自治，对于刚才的决定。当然不能支持。
会场上一片寂静，张作霖霍然站起，手里托着一个毛巾包，大声威胁谁要不同意就同归于尽。
张作霖眼睛死死地盯着新军的那些将领，一副豁出去的样子。谁也没想到张作霖来这么一手儿，要是真把手中这一大包玩意整爆炸，在场的都得崩到天上去，就连赵尔巽也傻了。
新军第三镇协统卢永祥知道张作霖土匪出身，什么事都干得出来，他率先举了手。好汉不吃眼前亏，有人带头，其他人也一个个举起了手，保境安民的主张就这样顺利通过。
散会后，赵尔巽终于松了一口气，一回头见张作霖若无其事摆弄手里的那个包，不由又紧张起来。张作霖顺手打开毛巾，里面赫然放着两个香烟筒子。
革命党人栽了跟头，他们决定另辟蹊径，召集军、政、农、工、商、学等社会各界知名人士成立“奉天国民保安会”，通过公开投票，实现东北自治。这次会议参加的人数多、影响力大，张作霖不敢公开动武。
1911年11月11日下午，大会如期举行，各界代表陆续来到。革命党人踌躇满志，对这次会议的结果充满信心。东三省总督的态度至关重要，赵尔巽的核心还是保境安民。
对于这番陈词滥调，革命党人早就听腻了，一致要求赵尔巽同意东三省自治，会场上一片混乱。张作霖来到台上，拔出手枪摔在讲台上，警告与会人员要听赵尔巽的安排。与此同时。分布在会场各个角落的汤玉麟、张作相、张景惠等人拔出手枪，对准了代表们，革命党人的梦想又破灭了。
稳定住大局，现在，赵尔巽要收拾革命党人了。过了几天，他通知蓝天蔚到总督议事。蓝天蔚一到，张作霖就给他一个下马威，命令卫兵下了他的枪！赵尔巽知道蓝天蔚在奉天还有一定的势力，不能硬来，赶紧出来唱红脸。蓝天蔚知道木已成舟，反抗也是徒劳，只好交出兵权，回到关内。
下一个，该收拾张榕了。和张作霖的心狠手辣比，张榕显得无比幼稚。他认为张作霖是可以争取的，给张作霖发了一张请柬，约其在平康里的得意楼吃饭，借此联络联络感情。
张作霖很快回话：必到。
1912年1月23日晚上，张作霖和张榕推杯换盏，相谈甚欢。过了一会儿，张作霖尿遁了。他刚一出门，两个彪形大汉就闯了进来，对着张榕连开数枪，把他打死在炕上。
赵尔巽对张作霖的表现大加赞扬，“专折特奏”朝廷为他请功。朝廷自然也是高兴的，旨意很快传下，破格擢升张作霖为“关外练兵大臣”，赏顶戴花翎，以总兵记名，并将其手下军队改为第二十四镇，张作霖任统制兼奉天巡防营总办。从此，张作霖牢牢把握了奉天的军事大权。
1912年7月，袁世凯裁撤东三省总督一职，赵尔巽改任奉天都督。奉天地方武装巡防营改编为正规的陆军部队，张作霖所部改为第二十七师。这一年，张作霖38岁。他也不是一枝独秀，环立四周的，还有冯德麟的陆军二十八师和吴俊升的陆军骑兵第二旅，都有一定的实力。
1912年11月，赵尔巽辞职。赵尔巽一走，张作霖又激动了。他确信，自己是奉天都督的最佳人选，甚至是唯一人选。他又错了，新的奉天都督走马上任了，是张作霖的干爹张锡銮。赵尔巽走了，张锡銮来了，张作霖的心情很糟很糟。