刀笔吏可追溯到春秋战国时期，更详细一点则要追溯到青铜时代的一种器物——“削”。古人用简牍时，如有错讹，即以刀削之，故古时的读书人及政客常常随身带着刀和笔，以便随时修改错误。因刀笔并用，历代的文职官员也就被称作“刀笔吏”。自宋元后，人们又往往特将讼师幕僚称作“刀笔吏”。

古时用笔在竹简上写字，写错了，用刀刮去重新写。指撰写公文或状词的人。典出《史记·萧相国世家》：汉高祖刘邦的丞相萧何，原来是秦国的刀笔吏，无所作为。后来协助刘邦统一天下，建立大功，成了汉朝的开国丞相。