常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
风候已应同岭北，云山仍喜似终南。
（《题漳浦驿》。《方舆胜览》）
可怜云木丛，满禁碧濛濛。色润灵泉近，阴清辇路通。
玉坛标八桂，金井识双桐。交映凝寒露，相和起夜风。
数枝盘石上，几叶落云中。燕拂宜秋霁，蝉鸣觉昼空。
翠屏更隐见，珠缀共玲珑。雷雨生成早，樵苏禁令雄。
野藤高助绿，仙果迥呈红。惆怅缭坦暮，兹山闻暗虫。
穆穆上清居，沈沈中秘书。金铺深内殿，石甃净寒渠。
花树台斜倚，空烟阁半虚。缥囊披锦绣，翠轴卷琼琚。
墨润冰文茧，香销蠹字鱼。翻黄桐叶老，吐白桂花初。
旧德双游处，联芳十载馀。北朝荣庾薛，西汉盛严徐。
侍讲亲花扆，征吟步绮疏。缀帘金翡翠，赐砚玉蟾蜍。
序秩东南远，离忧岁月除。承明期重入，江海意何如。
暇景属三春，高台聊四望。目极千里际，山川一何壮。
太华见重岩，终南分叠嶂。郊原纷绮错，参差多异状。
佳气满通沟，迟步入绮楼。初莺一一鸣红树，
归雁双双去绿洲。太液池中下黄鹤，昆明水上映牵牛。
闻道汉家全盛日，别馆离宫趣非一。甘泉逶迤亘明光，
五柞连延接未央。周庐徼道纵横转，飞阁回轩左右长。
须念作劳居者逸，勿言我后焉能恤。为想雄豪壮柏梁，
何如俭陋卑茅室。阳乌黯黯向山沉，夕鸟喧喧入上林。
薄暮赏馀回步辇，还念中人罢百金。
执契静三边，持衡临万姓。玉彩辉关烛，金华流日镜。
无为宇宙清，有美璇玑正。皎佩星连景，飘衣云结庆。
戢武耀七德，升文辉九功。烟波澄旧碧，尘火息前红。
霜野韬莲剑，关城罢月弓。钱缀榆天合，新城柳塞空。
花销葱岭雪，縠尽流沙雾。秋驾转兢怀，春冰弥轸虑。
书绝龙庭羽，烽休凤穴戍。衣宵寝二难，食旰餐三惧。
翦暴兴先废，除凶存昔亡。圆盖归天壤，方舆入地荒。
孔海池京邑，双河沼帝乡。循躬思励己，抚俗愧时康。
元首伫盐梅，股肱惟辅弼。羽贤崆岭四，翼圣襄城七。
浇俗庶反淳，替文聊就质。已知隆至道，共欢区宇一。
地有招贤处，人传乐善名。鹜池临九达，龙岫对层城。
桂月先秋冷，蘋风向晚清。凤楼遥可见，仿佛玉箫声。