祭遵是东汉初年人，字弟孙，出生于颍阳。他家境富足，但生活很简朴，从小就知书达理，勤奋好学。公元24年，祭遵投奔了刘秀，被任命为执法官，主管军营法令。
祭遵执法严明，即使对刘秀身边的亲信也是如此，因此很受人们赞赏。有一次，刘秀的一个侍从犯了罪，虽然这个侍从很受刘秀宠信，但祭遵并没有顾及刘秀的情面，而是依法查明真相并处死了那个侍从。听到这个消息后刘成秀勃然大怒，认为祭遵胆大妄为，竟敢处死自己亲近的人，便想治他的罪，幸亏被身边的大臣劝解住了。那位大臣说：“纪律严明、秉公执法本来就是您要求的，现在祭遵坚守法令，做得很对，那他为什么要受到处罚呢？只有像他那样言行一致，号令三军、统帅军队才会有威信呀。”刘秀觉得此言甚是，就没有治祭遵的罪，相反，还封他为征虏将军、颍阳侯。
因为清正廉洁，谦虚谨慎，祭遵经常受到刘秀的赏赐，但他却把这些赏赐都分给手下。正因为如此，他并没有多少私人财产，所以生活十分简朴。甚至在安排其后事的时候，他也让手下人一切从简，不要铺张浪费。
祭遵死后多年，刘秀仍然非常怀念他克己奉公的精神。
克己奉公，是任何时代都备受推崇的一种优秀作风。如果一个国家的公职人员个个做到克己奉公，那么这个国家焉有不蒸蒸日上之理？
