臣闻尧不须许由巢父，而建号天下；周不待伯夷叔齐，而王道以成。伏见太原周党等，蒙受厚恩，使者三聘，乃肯就车；及陛见帝廷，党不以礼屈，伏而不谒，偃蹇骄悍，有失臣道。党等文不能演义，武不能死君，钓采华名，希得三公之位。臣愿与坐云台之下，考试图国之道，倘不如臣言，臣愿伏虚妄之罪；果党等敢私窃虚名，夸上求高，亦当罪坐不敬，为天下戒。臣昧死上闻。
光武帝览毕，将原疏颁示公卿，另行下诏道：
自古明王圣主，必有不宾之士，伯夷叔齐，不食周粟；太原周党，不受朕禄，亦各有志焉。其赐帛四十匹，许遂所志。
党受诏即归，与妻子隐居渑池，著书成上下篇，寿考终身。邑人共称党为贤，设祠致祭，岁时不绝。惟东海人王良，受官沛郡太守，迁任大中大夫，进为大司徒司直，在位恭俭，妻子不入官舍，布被瓦器，如寒素时。司徒史鲍恢，因事至东海，过候王家，良妻布裾曳柴，方从田间归来，恢素未相识，错疑是良家佣妇，便昂然与语道：“我为司徒掾属，便道至此，欲见王司直夫人!”良妻答道：“妾身便是!掾史得无劳苦么？”恢不禁惊讶，慌忙下拜，并问良妻有无家书。良妻答称：“在官言官，不敢以家事相烦。”恢叹息而还。贤妇风范，比义夫尤为难得。后来良因病辞归，病愈后应征复起，道出荥阳，探访故友。故友不肯出见，但传语道：“不有忠言奇谋，乃窃取大位，岂不可耻？奈何尚仆仆往来，不自惮烦呢？”良听了此言，未免自惭，乃谢病归里，终不就征。此外尚有太原人王霸，隐居养志，亦被征入都，引见时称名不称臣，有司向霸诘问，霸答道：“天子有所不臣，诸侯有所不友，原是儒生本分呢!”时大司徒伏湛免官，进用尚书令侯霸为大司徒，侯霸素重王霸名，情愿推贤让能，王霸独乞病告归，偕妻逃隐，茅屋蓬户，安享余年。又如北海人逄萌，雁门人殷谟，累征不起，并为逸民。