常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
云辟御筵张，山呼圣寿长。玉阑丰瑞草，金陛立神羊。
台鼎资庖膳，天星奉酒浆。蛮夷陪作位，犀象舞成行。
网已祛三面，歌因守四方。千秋不可极，花发满宫香。
林香雨气新，山寺绿无尘。遂结云外侣，共游天上春。
鹤鸣金阁丽，僧语竹房邻。待月水流急，惜花风起频。
何方非坏境，此地有归人。回首空门外，皤然一幻身。
穆穆上清居，沈沈中秘书。金铺深内殿，石甃净寒渠。
花树台斜倚，空烟阁半虚。缥囊披锦绣，翠轴卷琼琚。
墨润冰文茧，香销蠹字鱼。翻黄桐叶老，吐白桂花初。
旧德双游处，联芳十载馀。北朝荣庾薛，西汉盛严徐。
侍讲亲花扆，征吟步绮疏。缀帘金翡翠，赐砚玉蟾蜍。
序秩东南远，离忧岁月除。承明期重入，江海意何如。
人说南州路，山猿树树悬。举家闻若骇，为寄小如拳。
预哂愁胡面，初调见马鞭。许求聪慧者，童稚捧应癫。
隐者柴门内，畦蔬绕舍秋。盈筐承露薤，不待致书求。
束比青刍色，圆齐玉箸头。衰年关鬲冷，味暖并无忧。
大雅何寥阔，斯人尚典刑。交期余潦倒，材力尔精灵。
二子声同日，诸生困一经。文章开穾奥，迁擢润朝廷。
旧好何由展，新诗更忆听。别来头并白，相见眼终青。
伊昔贫皆甚，同忧心不宁。栖遑分半菽，浩荡逐流萍。
俗态犹猜忌，妖氛忽杳冥。独惭投汉阁，俱议哭秦庭。
还蜀只无补，囚梁亦固扃。华夷相混合，宇宙一膻腥。
帝力收三统，天威总四溟。旧都俄望幸，清庙肃惟馨。
杂种虽高垒，长驱甚建瓴。焚香淑景殿，涨水望云亭。
法驾初还日，群公若会星。宫臣仍点染，柱史正零丁。
官忝趋栖凤，朝回叹聚萤。唤人看騕褭，不嫁惜娉婷。
掘剑知埋狱，提刀见发硎。侏儒应共饱，渔父忌偏醒。
旅泊穷清渭，长吟望浊泾。羽书还似急，烽火未全停。
师老资残寇，戎生及近坰.忠臣辞愤激，烈士涕飘零。
上将盈边鄙，元勋溢鼎铭。仰思调玉烛，谁定握青萍。
陇俗轻鹦鹉，原情类鶺鴒.秋风动关塞，高卧想仪形。