自公元195年開始糜芳選擇投靠劉備，到公元219年糜芳選擇背叛劉備，一共25年的時間。25年說短不短，糜芳跟了劉備二十多年，要說他對劉備沒感情那是不可能的。糜家和劉家在徐州時已經是一個整體了，哥哥糜竺是劉備的錢袋子，同時又是劉備手下最重要的說客之一，說服陶謙讓徐州，出使劉表納劉備等，這都是糜竺的功勞。而妹妹糜夫人又是劉備的妻子，自己既是劉備的部下，又是劉備的大舅子。糜家為劉家立下了汗馬功勞，為他前期的事業打下了基礎。
糜芳家裡世代經商，養的奴僕就有上萬人，家大業大的難以想像。可是人沒錢的時候想富，有錢的時候想貴。所以在天下將亂時，糜芳麋竺兩兄弟就找了個靠山，也就是劉備。當時的劉備也就是連一個根據地都沒有，被人打的顛沛流離，可是糜芳麋竺兩人不離不棄，就跟定了劉備。
江陵遇襲後，一怕關羽後路被斷，自身難保，不能來救援;二怕關羽回來算總賬，先有貽誤軍機，後有丟城失地，貽誤軍機者當斬啊。棄城而逃，劉備是不會放過他的，即使放過，前程盡毀。殉城而死?不在考慮之列。關羽的責罰只是誘因，東吳大軍兵臨城下才是眼前威脅。昔日的失意、不平，削弱了對劉備的忠誠。生死危機壓垮了忠誠與背叛的天平。東漢末年，群雄混戰，棄城而降者不在少數。糜芳能因此出名，無他，一是不戰而降，二是間接害死了關二爺。
當時的糜芳年齡已經很大了，心思也已經被戰火消磨，當初一把刀從徐州砍刀荊州，家屬多了，下屬無數，顧慮也是不斷，人變得怕死了。當時呂蒙帶著大軍壓城，自己不知道能不能守城，一旦失敗那就是生靈塗炭。這時選擇就在自己手中，可能是一時間慌了心神，選擇了一個錯誤的決定，畢竟人老了，怕死。