曹爽扶着王凌继续开口道：“杨德祖是比其父会分析当时的形势，但却没有一颗像其父一样的忠心，他坏就坏在太聪明了、聪明过头了，若是能够隐忍一些，说不能也是一个司马懿，他的算盘亦是不小，弘农杨氏不可小觑啊，就如同太原王氏一般，所以武帝当时才会弃了这根鸡肋啊！”

王凌听言急忙抱拳道：“丞相，我太原王氏对我大魏绝无二心啊，还请丞相明鉴，不要误信了那些小人的谗言啊！”

后来，李傕、郭汜追击车驾，大破汉军于弘农曹阳。

当时护驾的李乐恐慌，想让献帝乘船直接前往孟津。

献帝说道：“千金之子，坐不垂堂。孔子尚且忧虑暴虎冯河之事，这样做岂是安居之道呢？”

杨彪说：“臣是弘农本地人，从此地向东有三十六个险滩，不能让陛下乘船冒险。”

刘艾附议：“太尉所虑极是，臣以前担任过陕县令，也知道险滩的危险。以前这里有船夫，乘船仍有危险，何况现在我们连船夫都没有。”

董承等人赞同，于是决定渡过黄河向北到河东郡，并令李乐准备船只。

船只准备完毕后，杨彪跟随献帝等数十人一同渡河，成功抵达河东安邑。献帝回到雒阳后，以杨彪代理尚书令。

建安元年（196年）八月，杨彪随献帝定都许县。

当时百官举行大宴，兖州牧曹操见杨彪神情不悦，惧怕之下离开宴会。九月，杨彪与司空张喜一同被罢免。

当时袁术在淮南僭号，曹操因此诬陷杨彪与袁术是亲戚，想要勾结袁术废献帝，将其下狱。

将作大匠孔融听说后连朝服都来不及穿就匆匆面见曹操，为杨彪辩解，曹操仍然强辩道：“这是陛下的意思。”

孔融则回答：“如果让成王杀邵公，周公可以说自己不知道吗？如今天下士人之所以仰慕明公您，是因为您聪明仁智，辅弼汉朝，举荐正直之士，斥退邪妄之人，致使四方和乐。如今却要杀害无辜之人，那么海内旁观侧听之人，谁也不会再肃敬待您了！我孔融还是鲁国一男子，明天便拂袖而去，不再来朝。”

而负责拷问的许县令满宠也对曹操说道：“拷问杨彪没有找到罪证。如果要处决他，要找到证据才能执行。此人有名于海内，若找不到证据而把他处决，会大失民心，请主公想清楚。”

曹操无奈之下只得释出杨彪。杨彪到许县后，保存了不少《东观汉记》的注记。

建安四年（199年），杨彪被再拜为太常；建安十年（205年），被罢免。

建安十一年（206年），以恩泽而被封侯的人皆被剥夺爵位。杨彪见汉室将衰，于是诈称脚抽筋退居不出。

延康元年（220年），魏王曹操去世，太子曹丕即王位，想让杨彪出任魏王国的太尉，派近臣宣旨。

杨彪说：“我杨彪昔日担任过汉朝的三公，遭遇乱世而不能对国家有所补益，现在年老多病，如果再为魏国之臣，于义毫无关系，对国家选举也没什么可光荣的。”

因而坚决推辞，曹丕遵从他的意志。