作者因在任监察御史期间，曾经参加了王叔文的“永贞革新”，反对宦官和藩镇割据势力。革新失败后，被贬至安徽和州县当一名通判。按规定，通判应在县衙里住三间三厢的房子。可和州知县见作者被贬，故意刁难之。和州知县先安排他在城南面江而居，作者不但无怨言，反而很高兴，还随意写下两句话，贴在门上：“面对大江观白帆，身在和州思争辩。”和州知县知道后很生气，吩咐衙里差役把作者的住处从县城南门迁到县城北门，面积由原来的三间减少到一间半。新居位于德胜河边，附近垂柳依依，环境也还可心，作者仍不计较，并见景生情，又在门上写了两句话：“垂柳青青江水边，人在历阳心在京。”
那位知县见其仍然悠闲自乐，满不在乎，又再次派人把他调到县城中部，而且只给一间只能容下一床、一桌、一椅的小屋。半年时间，知县强迫作者搬了三次家，面积一次比一次小，最后仅是斗室。作者遂愤然提笔写下这篇《陋室铭》，并请人刻上石碑，立在门前。