却说张柬之见李多祚所言，也是同一心病，趁机说道：“将军可谓富贵双全。但不知今日富贵，是谁所致？”多祚听了此言，不禁起身流泪道：“老夫南征北讨，受先皇知遇之恩，以致荐居厥职。今日之富贵，先皇所赐也。”柬之道：“将军既受先皇之赐，今日先皇之子为二竖所危，何以不报先皇之德？”
多祚到了此时，正是伤心不已，乃道：“老夫久有此心，只因未得其便。大人乃朝廷宰相，社稷良臣，苟利国家，惟命是德。”
柬之见他此言出于至诚，也就流泪道：“此时请将军正为此事，刻下武后抱病，将军能率部下斩关而入，将张昌宗诛绝，然后请武后养病于上阳宫，则唐室江山岂不仍归李姓？”多祚当时哭拜于地道：“宰相之言真国家之福，老夫何敢不从。”
当时议定，柬之又命袁恕已等人出来，彼此相见，议论了一番。多祚道：“老夫依计而行，设若外有奸人闻风起乱，那时何能兼顾？必得再有一人，以靖外乱，方可万全。”柬之想了一会，起身道：“此人已得之矣。下官在荆州之时，与长史杨元琰泛舟江中，偶谈国事，慨然有匡复之志。自张某入相，引为羽林卫右将军，与将军朝夕相见。其人赤心报国，具有肝胆，何不此时去邀来，共议此事。”李多祚忙道：“此人实可与谋，设非宰相言及，几乎忘却。老夫此时便去。”说罢起身，来至杨元琰府内。元琰见是多祚前来，随即出见。看他面有泪痕，忙问道：“将军从何而来？为何面色不乐？”多祚道：“适自宰相府中至此，闻将军从前为荆州长史，与张公意气相投，不知可有此事么？”元琰道：“某一身知遇，惟张公一人，岂仅意气相投而已。”多祚道：“既然如此，张公立等，有言面商，特命老夫前来奉约。”杨元琰听了此言，心下已猜着几分，因有家人侍立两旁，不便追问，随即乘轿同至相府。走入里面，见袁恕已这干人全在书房，无不忧形于色。入座问道：“相公呼我何来？若有用某之处，万死不辞。”柬之道：“将军曾记江中之言乎？此其时矣，不能再缓。”元啖道：“某亦久有此心，只因独力难支，未敢启齿。此正为臣报国之秋，何敢退避。”