呂范年輕時只是一名汝南郡的縣吏，但是儀表過人。城裡有劉姓人家，家境富裕而且女兒非常美麗，呂范前往求親，劉氏的母親嫌棄呂范，不願意答應婚事，但是劉氏卻說：「您認為呂子衡會是個長貧的人嗎?」意指在她眼中呂范有其過人之才，將來必得顯貴，於是決定嫁予呂范。
追隨孫策
後來，呂范避難至壽春，結識了當時在袁術手下效力的孫策，孫策認為呂范與眾不同，以禮相待。於是呂范將自己的百餘名門客交由孫策指令，自此跟從孫策。當時孫策的母親吳夫人身處江都，孫策派遣呂范迎吳夫人回曲阿，讓母親暫棲於舅氏吳景之處。徐州州牧陶謙認定呂范是袁術一方的內應，下令各縣通緝呂范。呂范知情後，親自招募能手，引領門人偷偷將吳太夫人接走，再迅即回到孫策之處，成功完成使命。
當時孫策還未建立功業，手下就只有呂范和族人孫河經常跟隨左右，二人常為孫策四處奔走，不避危難，渡江取夫人就是其中一例;因此孫策亦視呂范為至親，每每請其赴宴，便與吳夫人一起飲食，並不緊執君臣之禮。
呂范之後跟隨孫策攻破廬江，隨軍東渡長江，向江東地區進軍。呂范率軍在橫江、當利一帶擊敗張英、於麋等眾，南下攻陷至丹楊、湖孰，受領湖孰相。孫策攻克秣陵、曲阿後，收編了笮融、劉繇的餘部，增派給呂范兵士二千及馬五十匹。此後呂范出任宛陵令，擊敗丹陽賊寇，回到吳郡後升任都督。
其時下邳陳瑀自號吳郡太守，據地自守，屯於海西，並與當地豪強嚴白虎勾結。於是孫策親自帶兵征討嚴白虎，另遣呂范與徐逸攻打陳瑀，呂范軍隊大敗敵軍，並且斬下大將陳牧的首級，陳瑀敗投袁紹。此後呂范跟隨孫策攻打在陵陽的祖郎、駐守勇裡的太史慈，先後平定七個縣，拜為征虜中郎將，又出征江夏郡，回來平定了鄱陽地區。
輔佐孫權
建安五年(200年)，孫策病逝，呂范回到吳郡奔喪。此後孫策的弟弟孫權接掌東吳勢力，繼承軍隊，再征江夏，呂范奉命與重臣張昭留守根據地吳郡。
建安十三年(208年)赤壁之戰中，呂范跟隨周瑜破敵有功，戰後官拜裨將軍，領彭澤太守，受彭澤、柴桑、歷陽三地奉邑。
之後，劉備親自來到建業與孫氏結為姻親，呂范曾建議軟禁劉備，然而其計最終沒有實行。後來呂范遷任平南將軍，屯軍柴桑。
建安二十四年(219年)，當孫權正要背盟偷襲劉備駐守荊州的大將關羽前，曾到過呂范的家跟他說：「如果當初聽從你的建議，今天就不必勞師動眾了。如今我將逆流攻討關羽，你要幫我守衛好建業。」結果孫權成功討破關羽，之後回師遷都武昌。呂范拜為建威將軍，封宛陵侯，領丹楊太守，治理舊都建業，並監督扶州以南直至南海地區一帶的軍隊，食邑溧陽、懷安、寧國。
後來，魏將曹休、張遼、臧霸率軍進攻東吳，呂范率領徐盛、全琮、孫韶等將領，以水軍在洞口縣一帶拒敵。其時呂范受封前將軍假節，並改封南昌侯。可是當時前線遭逢大風，水軍船隻相繼傾覆，士卒亦多墮水受溺，死者數以千計，於是撤軍還守。不過回軍後，呂范仍被任命為揚州牧。
生榮死哀
呂范好威儀，諸士族子弟如陸遜、全琮等人，都對他恭敬有禮，不敢有輕佻的行為。呂范的居所及身上的服飾，在當時很奢侈，但他勤勞做事奉守法度，所以孫權喜愛他的忠勤，沒有責怪他的揮霍。
有人在孫權面前離間說呂范與賀齊的裝飾美好綺麗，與王者之服相似，孫權說：「當年管仲有越過禮儀的過錯，而齊桓公寬容的對待，無損於霸業。如今子衡、公苗(賀齊字)，並沒有夷吾(管仲名)的過失，只是裝備的器械精良，舟車隊列嚴整罷了，這只是用作改變軍容，對統治有什麼損害呢?」那個人於是不敢再說了。
黃武七年(228年)，呂范遷任大司馬，可是印綬尚未下發便因病逝世。孫權為其素服舉哀，並遣使者追贈印綬。
黃龍元年(229年)大帝后來遷都回建業，路上經過呂范墳墓，仍忍不住悲呼：「子衡!」並且淚流不止。
大帝回都後，下令以太牢之禮(豬、牛、羊三牲齊備謂之太牢，是古時天子祭祀社稷天地所用的大禮)祭祀呂范。後來與將相文武大會時，跟嚴畯論及呂范和魯肅時說：「我過去把呂子衡比吳漢，當時你們爭論沒有停息過，這下有決斷了吧?」嚴畯退席說：「我還是不明白這個意思，覺得未免太誇讚了吧。」大帝說：「呂子衡為人忠誠正直，雖然愛好奢華，但凡是總以顧及君主為先，這點缺點不足為憂。過去呂范迴避袁術自願歸順兄長。後來兄長為主帥另外領軍的時候，呂范憂慮我哥哥的事，乞求為一方都督主持大事，他又忠心勤奮。所以我才這麼比較。這是有緣故的，不是我偏愛他。」嚴畯於是信服。
呂范死後，其長子因已先死，故此由次子呂據襲爵。