常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
结发事疆场，全生到海乡。连云防铁岭，同日破渔阳。
牧马胡天晚，移军碛路长。枕戈眠古戍，吹角立繁霜。
归老勋仍在，酬恩虏未忘。独行过邑里，多病对农桑。
雄剑依尘橐，兵符寄药囊。空馀麾下将，犹逐羽林郎。
云辟御筵张，山呼圣寿长。玉阑丰瑞草，金陛立神羊。
台鼎资庖膳，天星奉酒浆。蛮夷陪作位，犀象舞成行。
网已祛三面，歌因守四方。千秋不可极，花发满宫香。
穆穆上清居，沈沈中秘书。金铺深内殿，石甃净寒渠。
花树台斜倚，空烟阁半虚。缥囊披锦绣，翠轴卷琼琚。
墨润冰文茧，香销蠹字鱼。翻黄桐叶老，吐白桂花初。
旧德双游处，联芳十载馀。北朝荣庾薛，西汉盛严徐。
侍讲亲花扆，征吟步绮疏。缀帘金翡翠，赐砚玉蟾蜍。
序秩东南远，离忧岁月除。承明期重入，江海意何如。
日落沙明天倒开，波摇石动水萦回。
轻舟泛月寻溪转，疑是山阴雪后来。
水作青龙盘石堤，桃花夹岸鲁门西。
若教月下乘舟去，何啻风流到剡溪。
雁度秋色远，日静无云时。客心不自得，浩漫将何之。
忽忆范野人，闲园养幽姿。茫然起逸兴，但恐行来迟。
城壕失往路，马首迷荒陂。不惜翠云裘，遂为苍耳欺。
入门且一笑，把臂君为谁。酒客爱秋蔬，山盘荐霜梨。
他筵不下箸，此席忘朝饥。酸枣垂北郭，寒瓜蔓东篱。
还倾四五酌，自咏猛虎词。近作十日欢，远为千载期。
风流自簸荡，谑浪偏相宜。酣来上马去，却笑高阳池。
惜彼落日暮，爱此寒泉清。
西辉逐流水，荡漾游子情。
空歌望云月，曲尽长松声。