常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
林香雨气新，山寺绿无尘。遂结云外侣，共游天上春。
鹤鸣金阁丽，僧语竹房邻。待月水流急，惜花风起频。
何方非坏境，此地有归人。回首空门外，皤然一幻身。
穆穆上清居，沈沈中秘书。金铺深内殿，石甃净寒渠。
花树台斜倚，空烟阁半虚。缥囊披锦绣，翠轴卷琼琚。
墨润冰文茧，香销蠹字鱼。翻黄桐叶老，吐白桂花初。
旧德双游处，联芳十载馀。北朝荣庾薛，西汉盛严徐。
侍讲亲花扆，征吟步绮疏。缀帘金翡翠，赐砚玉蟾蜍。
序秩东南远，离忧岁月除。承明期重入，江海意何如。
结发事疆场，全生到海乡。连云防铁岭，同日破渔阳。
牧马胡天晚，移军碛路长。枕戈眠古戍，吹角立繁霜。
归老勋仍在，酬恩虏未忘。独行过邑里，多病对农桑。
雄剑依尘橐，兵符寄药囊。空馀麾下将，犹逐羽林郎。
洞元室者，盖因岩作室，即理谈玄，室返自然，元斯洞矣。
及邪者居之，则假容窃次，妄作虚诞，竟以盗言。词曰：
岚气肃兮岩翠冥，空阴虚兮户芳迎。披蕙帐兮促萝筵，
谈空空兮核元元。蕙帐萝筵兮洞元室，秘而幽兮真可吉。
返自然兮道可冥，泽妙思兮草玄经，结幽门兮在黄庭。
塞外悲风切，交河冰已结。瀚海百重波，阴山千里雪。
迥戍危烽火，层峦引高节。悠悠卷旆旌，饮马出长城。
寒沙连骑迹，朔吹断边声。胡尘清玉塞，羌笛韵金钲。
绝漠干戈戢，车徒振原隰。都尉反龙堆，将军旋马邑。
扬麾氛雾静，纪石功名立。荒裔一戎衣，灵台凯歌入。
幂翠庭者，盖崖巘积阴，林萝沓翠，其上绵幂，其下深湛。
可以王神，可以冥道矣。及喧者游之，则酣谑永日，
汩清薄厚。词曰：
青崖阴兮月涧曲，重幽叠邃兮隐沦躅。
草树绵幂兮翠蒙茏，当其无兮庭在中。
当无有用兮幂翠庭，神可谷兮道可冥。
有幽人兮张素琴，皇徽兮绿水阴，德之愔兮澹多心。