常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
云辟御筵张，山呼圣寿长。玉阑丰瑞草，金陛立神羊。
台鼎资庖膳，天星奉酒浆。蛮夷陪作位，犀象舞成行。
网已祛三面，歌因守四方。千秋不可极，花发满宫香。
风候已应同岭北，云山仍喜似终南。
（《题漳浦驿》。《方舆胜览》）
穆穆上清居，沈沈中秘书。金铺深内殿，石甃净寒渠。
花树台斜倚，空烟阁半虚。缥囊披锦绣，翠轴卷琼琚。
墨润冰文茧，香销蠹字鱼。翻黄桐叶老，吐白桂花初。
旧德双游处，联芳十载馀。北朝荣庾薛，西汉盛严徐。
侍讲亲花扆，征吟步绮疏。缀帘金翡翠，赐砚玉蟾蜍。
序秩东南远，离忧岁月除。承明期重入，江海意何如。
秦川雄帝宅，函谷壮皇居。绮殿千寻起，离宫百雉馀。
连薨遥接汉，飞观迥凌虚。云日隐层阙，风烟出绮疏。
岩廊罢机务，崇文聊驻辇。玉匣启龙图，金绳披凤篆。
韦编断仍续，缥帙舒还卷。对此乃淹留，欹案观坟典。
移步出词林，停舆欣武宴。雕弓写明月，骏马疑流电。
惊雁落虚弦，啼猿悲急箭。阅赏诚多美，于兹乃忘倦。
鸣笳临乐馆，眺听欢芳节。急管韵朱弦，清歌凝白雪。
彩凤肃来仪，玄鹤纷成列。去兹郑卫声，雅音方可悦。
芳辰追逸趣，禁苑信多奇。桥形通汉上，峰势接云危。
烟霞交隐映，花鸟自参差。何如肆辙迹，万里赏瑶池。
飞盖去芳园，兰桡游翠渚。萍间日彩乱，荷处香风举。
桂楫满中川，弦歌振长屿。岂必汾河曲，方为欢宴所。
落日双阙昏，回舆九重暮。长烟散初碧，皎月澄轻素。
搴幌玩琴书，开轩引云雾。斜汉耿层阁，清风摇玉树。
欢乐难再逢，芳辰良可惜。玉酒泛云罍，兰殽陈绮席。
千钟合尧禹，百兽谐金石。得志重寸阴，忘怀轻尺璧。
建章欢赏夕，二八尽妖妍。罗绮昭阳殿，芬芳玳瑁筵。
佩移星正动，扇掩月初圆。无劳上悬圃，即此对神仙。
以兹游观极，悠然独长想。披卷览前踪，抚躬寻既往。
望古茅茨约，瞻今兰殿广。人道恶高危，虚心戒盈荡。
奉天竭诚敬，临民思惠养。纳善察忠谏，明科慎刑赏。
六五诚难继，四三非易仰。广待淳化敷，方嗣云亭响。
执契静三边，持衡临万姓。玉彩辉关烛，金华流日镜。
无为宇宙清，有美璇玑正。皎佩星连景，飘衣云结庆。
戢武耀七德，升文辉九功。烟波澄旧碧，尘火息前红。
霜野韬莲剑，关城罢月弓。钱缀榆天合，新城柳塞空。
花销葱岭雪，縠尽流沙雾。秋驾转兢怀，春冰弥轸虑。
书绝龙庭羽，烽休凤穴戍。衣宵寝二难，食旰餐三惧。
翦暴兴先废，除凶存昔亡。圆盖归天壤，方舆入地荒。
孔海池京邑，双河沼帝乡。循躬思励己，抚俗愧时康。
元首伫盐梅，股肱惟辅弼。羽贤崆岭四，翼圣襄城七。
浇俗庶反淳，替文聊就质。已知隆至道，共欢区宇一。
秋发已种种，所为竟无成。闲倾鲁壶酒，笑对刘公荣。
谓我是方朔，人间落岁星。白衣千万乘，何事去天庭。
君亦不得意，高歌羡鸿冥。世人若醯鸡，安可识梅生。
虽为刀笔吏，缅怀在赤城。余亦如流萍，随波乐休明。
自有两少妾，双骑骏马行。东山春酒绿，归隐谢浮名。