常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
云戟曙沈沈，轩墀清且深。家传成栋美，尧宠结茅心。
玉佩多依石，油幢亦在林。炉香诸洞暖，殿影众山阴。
草奏风生笔，筵开雪满琴。客从龙阙至，僧自虎溪寻。
潇洒延清赏，周流会素襟。终朝惜尘步，一醉见华簪。
穆穆上清居，沈沈中秘书。金铺深内殿，石甃净寒渠。
花树台斜倚，空烟阁半虚。缥囊披锦绣，翠轴卷琼琚。
墨润冰文茧，香销蠹字鱼。翻黄桐叶老，吐白桂花初。
旧德双游处，联芳十载馀。北朝荣庾薛，西汉盛严徐。
侍讲亲花扆，征吟步绮疏。缀帘金翡翠，赐砚玉蟾蜍。
序秩东南远，离忧岁月除。承明期重入，江海意何如。
林香雨气新，山寺绿无尘。遂结云外侣，共游天上春。
鹤鸣金阁丽，僧语竹房邻。待月水流急，惜花风起频。
何方非坏境，此地有归人。回首空门外，皤然一幻身。
君不见东川节度兵马雄，校猎亦似观成功。
夜发猛士三千人，清晨合围步骤同。禽兽已毙十七八，
杀声落日回苍穹。幕前生致九青兕，骆驼pI峞垂玄熊。
东西南北百里间，仿佛蹴踏寒山空。有鸟名鸲鹆，
力不能高飞逐走蓬。肉味不足登鼎俎，何为见羁虞罗中。
春蒐冬狩侯得同，使君五马一马骢。况今摄行大将权，
号令颇有前贤风。飘然时危一老翁，十年厌见旌旗红。
喜君士卒甚整肃，为我回辔擒西戎。草中狐兔尽何益，
天子不在咸阳宫。朝廷虽无幽王祸，得不哀痛尘再蒙。
呜呼，得不哀痛尘再蒙。
忆昔先皇巡朔方，千乘万骑入咸阳。
阴山骄子汗血马，长驱东胡胡走藏。
邺城反覆不足怪，关中小儿坏纪纲。
张后不乐上为忙，至令今上犹拨乱，劳心焦思补四方。
我昔近侍叨奉引，出兵整肃不可当。
为留猛士守未央，致使岐雍防西羌。
犬戎直来坐御床，百官跣足随天王。
愿见北地傅介子，老儒不用尚书郎。
忆昔开元全盛日，小邑犹藏万家室。
稻米流脂粟米白，公私仓廪俱丰实。
九州道路无豺虎，远行不劳吉日出。
齐纨鲁缟车班班，男耕女桑不相失。
宫中圣人奏云门，天下朋友皆胶漆。
百馀年间未灾变，叔孙礼乐萧何律。
岂闻一绢直万钱，有田种谷今流血。
洛阳宫殿烧焚尽，宗庙新除狐兔穴。
伤心不忍问耆旧，复恐初从乱离说。
小臣鲁钝无所能，朝廷记识蒙禄秩。
周宣中兴望我皇，洒泪江汉身衰疾。
执契静三边，持衡临万姓。玉彩辉关烛，金华流日镜。
无为宇宙清，有美璇玑正。皎佩星连景，飘衣云结庆。
戢武耀七德，升文辉九功。烟波澄旧碧，尘火息前红。
霜野韬莲剑，关城罢月弓。钱缀榆天合，新城柳塞空。
花销葱岭雪，縠尽流沙雾。秋驾转兢怀，春冰弥轸虑。
书绝龙庭羽，烽休凤穴戍。衣宵寝二难，食旰餐三惧。
翦暴兴先废，除凶存昔亡。圆盖归天壤，方舆入地荒。
孔海池京邑，双河沼帝乡。循躬思励己，抚俗愧时康。
元首伫盐梅，股肱惟辅弼。羽贤崆岭四，翼圣襄城七。
浇俗庶反淳，替文聊就质。已知隆至道，共欢区宇一。