建安十六年(211年)，劉備受邀進入西川，張裕作為益州別駕從事陪同劉璋到涪城接見劉備，侍坐在一旁。張裕臉上有著濃密的鬍鬚 ，劉備就嘲笑他說：「昔日我居住在涿縣，特別多姓毛的，東西南北都是毛姓，涿縣縣令稱他們說『這不是諸毛繞涿居嗎』!」張裕聽後立即反嘲說：「昔日有一位擔任上黨郡潞縣長，後來被陞遷為涿縣縣令的人，辭官還家，當時有人給他寫信，想要署名稱呼他為潞縣縣長，但這樣一來就漏了他涿縣縣令的稱呼;想要署名稱呼他為涿縣縣令，但這樣一來就漏了他潞縣縣長的稱呼，於是特別稱呼他為『潞涿君』。」劉備沒有鬍鬚，所以張裕用這來譏諷他。
建安十九年(214年)，劉璋投降了劉備，劉備自領益州牧，大肆擢用劉璋部下文武官員，讓他們人盡其能，張裕也被任命為州後部司馬。
建安二十三年(218年)，劉備想要跟曹操爭奪漢中，張裕勸諫說：「您不可以去爭奪漢中的，大軍前去一定會遇到不利的。」劉備最終沒有採納張裕的勸諫。果然，得到了漢中而未得漢中的百姓。派遣去攻打武都的吳蘭、雷銅二位大將也都全軍覆沒。
張裕私下裡對人說：「歲在庚子，天下當易代，劉氏祚盡矣。主公得益州，九年之後，寅卯之間當失之。」有人秘密的將他的言論告訴給劉備。劉備本來就對當初張裕的驕橫在內心裡感到不滿，現在更加生氣他的言論，於是將張裕諫不可爭漢中之事公諸於眾，將他捉拿下獄，將要誅殺他。諸葛亮上表請求免他一死，劉備回答說：「芳蘭生門，不得不除。」(比喻賢能之士生性抗直，時有違迕，為上者將不能容忍，勢必去之。)張裕於是在鬧市被執行死刑並被暴屍街頭。