曹操率军北伐，许都（今河南许昌）空虚，如果荆州牧刘表派遣刘备率军攻击许都，那事情就危险了。

曹操向张辽表示，刘表不能任用刘备，遂率军出征。

同年八月，曹操登上白狼山，遭遇乌桓人。

当时军队大多都在后方，而在曹操身旁的人很少，众人都为此感到惊慌。

张辽劝曹操出击，曹操将自己手持的麾旗交给他。

之后张辽率军出击，斩杀乌桓单于蹋顿，并降服二十多万人。

建安十三年（208年）六月，当时荆州还没有平定，张辽奉命前往长社（今河南长葛）驻扎，快出发的时候，军中有谋反的人，在夜晚放火呼叫，军营因此被扰乱。

张辽让身边的卫士别动，表示不是全营造反，只是部分叛乱的人，打算制造混乱而已。

小主，

随后张辽传令军中，让不想造反的士兵安心静坐。张辽亲自率领几十名亲兵，伫立在军营中间。

不久后，就抓获了制造混乱的人，张辽将他杀死。

建安十四年（209年）十二月，袁术残部陈兰、梅成煽动氐六县（今安徽六安）的民众叛变，曹操派于禁、臧霸等领兵征讨梅成，命张辽督率张合、牛盖等人征讨陈兰。梅

成假装投降于禁，等于禁撤军后，梅成就跑去陈兰会兵，一起遁入灊山（今安徽潜山西北）。

灊山有一座天柱山，高二十里，山势险峻，道路狭窄艰险，宽度仅容一人通过，陈兰等人在上面筑起营垒据守。

张辽打算进军，众将以路途险阻为由劝他，张辽则表示谁勇敢谁就能抢占先机。

随后张辽前往山下安营，之后率军攻击，斩杀陈兰、梅成二人，尽数俘虏他们的部众。

曹操嘉奖张辽在此战中的功劳，增加了他的食邑，并授予他假节。

建安十九年（213年）五月，孙权率军攻击皖城（今安徽庐江），张辽从合肥（今安徽合肥）率军驰援，到硖石听闻城池被攻破，便在硖石以南修筑堡垒，称之为南硖戍。

建安二十年（215年）曹操征讨孙权返回后，张辽同乐进、李典等人率七千多士兵驻扎在合肥。

之后曹操征讨汉中张鲁的时候，留下一封信给护军薛悌，并写上“贼至乃发”四个字。

同年八月，孙权率领十余万军队围攻合肥，众人打开信件，曹操在信中命令，张辽、李典出击迎战孙权，乐进守城，薛悌不得参战。

众人都感到疑惑，张辽向众人表示，曹操的意思是趁敌人立足未稳的时候，出击挫败他的气势，稳定军心，这样才能更好防守。

随后张辽连夜募集敢死之士，前后召到800人，张辽杀牛犒劳士兵，并打算明天出战。

天刚亮，张辽就率先攻入敌阵，斩杀两名将领，十余名士兵，此后又大声呼喊自己的姓名，冲入孙权的营垒当中，一直到孙权的帅旗下。

孙权及其部下向高处撤退，后见张辽所带士兵较少又将其包围，张辽两度突出重围，战斗从早上直至中午，吴军士气丧失殆尽，退守修筑防御工事。

合肥城内见吴军退走心才安定了下来，众将都十分佩服张辽。

此后孙权又围攻合肥十多天，眼见不能攻破，便率领军队返回。

当时孙权身处逍遥津北，张辽率领军队奇袭，吴军将领甘宁、吕蒙、凌统迎战。

见孙权已经逃走，张辽也就率领军队返回。曹操钦佩张辽的勇武，授予他征东将军的职务。