杨忄音，字遵彦，小名秦王，弘农华阴人氏。父津，魏时官至司空、侍中。孩提时，好像不能说话，但风度深敏，出入门闾，不曾嬉戏。六岁学史书，十一接受《诗》、《易》，喜欢《左氏春秋》。幼年丧母，曾在舅源子恭家生活过一段时间。子恭同他一块吃饭，问读什么书，答：“《诗》。”子恭说：“读到《渭阳》篇了吗？”便号哭不止，子恭也跟着欷感叹，这样，一顿饭也没有吃完。子恭后来对杨津讲：“我们常说秦王不聪明，从今天开始，当刮目相看。”家一门四世同堂，家道隆盛，兄弟读书的三十多人。学馆庭院中wWW.sLKj.oRg有棵李树，李子掉到了地上，儿童们都争着去抢，只杨忄音一个人坐着不动，其叔父日韦刚好有事来学馆，看见此景后大为嗟叹，回过头来对宾客们说：“此儿恬适，有我们家的家风。”宅园中有茂竹，杨日韦就为在竹林边做了一间房子，让他独处其中，常常用铜盘盛最好的饭菜送给他吃。并且督促别的孩子说：“你们如果也像遵彦那样谨慎好学，自然就会得到竹林别室、铜盘鱼肉之食的。”杨忄音的从父兄黄门侍郎杨昱尤其器重他，曾对人夸赞道：“这小家伙乳齿未落，已是我家的龙文。再过十年，当求之千里之外。”昱曾和十多个人在一块赋诗，看了这些诗一眼后，马上背诵，没有遗漏。长大了，能清谈，且声音节奏优美，风神俊悟，容止可观。士人见了，莫不敬仰，有识者则认为他前程远大。
正光中，跟随父亲到了并州。由于性好恬默，又乐山水，因而就入晋阳西边的悬瓮山读书。孝昌初，其父津做定州刺史，也随父赴任。津因军功升为羽林监，赐爵魏昌男，不拜。当中山被杜洛周攻陷，全家便遭到囚禁。不久，洛周败灭，却落入葛荣之手，荣想把女儿嫁给他，又用伪职引诱。便称病，口含牛血，在众人面前呕吐，还装扮成哑巴。葛荣信以为真，才没有逼他。永安初，回洛阳，拜通直散骑侍郎，只有十八岁。元颢入洛，此时从父兄侃为北中郎将，镇守河梁。跑到侃处，告知乘舆失守，侃便来到黄河边上。侃虽奉迎皇帝北渡，但内心里想跑到南方，经反复劝说，他才回心转意。这样他们就扈从车驾抵达建州。授通直散骑常侍。因时事艰难，志在隐退，于是装病，同朋友中直侍郎河间人邢邵隐居到嵩山。
当庄帝诛杀尔朱荣时，从兄侃参预帷幄，朝廷拜父津为并州刺史、北道大行台，随父到任。邯郸人杨宽，请求跟随在津左右，便劝其父亲收纳他。不久孝庄幽崩，刚好想回京城去，走到邯郸，路过杨宽的家，却被宽抓住。押解到相州，拜见刺史刘诞，诞认为为名家之子，甚是哀怜，交付长史慕容白泽拘禁。之后，派队主巩荣贵护送进京。抵安阳亭，对荣贵说：“仆家世代忠臣，忠心魏室，家亡国破，以至于此。虽说是囚虏，还有什么面目去见君、父的仇敌。请让我自缢而死，再将头颅送去，这便是你对我的恩惠。”荣贵被他说服了，两人一同逃亡。于是投奔了高昂兄弟。
逃窜民间数年后，恰逢神武抵达信都，便向辕门投送名刺。很快得到召见。赞颂义举，陈诉家祸，言辞哀壮，涕泪俱下，神武为之动容，马上署为行台郎中。大军南攻邺城，经过杨宽村庄，宽在的马前叩头请罪。说：“人不知道恩义，大概也是一种常情。我不恨你，你也不必惊恐。”此时未能攻下邺城，神武就请作祭天之文，祭文刚焚烧完，城就被占领了。由是转任大行台右丞。此时霸图草创，军国事繁，文檄教令，皆出和崔之手。因家遭难，常自居丧礼，所食只有盐米之类，哀毁瘦弱。神武可怜，经常开导劝慰他。韩陵大战时，时常冲锋在前，朋友同僚都觉惊奇，说：“杨氏儒生，一下子成了武士，仁者必勇，实非虚语。”
不久，上书请求辞职归家处理葬事。一门之中，赠太师、太傅、丞相、大将军的两人，太尉、录尚书及中书令的三人，仆射、尚书的五人，刺史、太守的二十多人。追荣之盛，古今未有。当丧柩出门，吉凶仪卫连绵二十多里，赶来送葬的多达万人。这天寒风凛冽，风雪交加，却赤脚号哭，见者没有不哀怜他的。很快被征召到晋阳，依然充任原职。
从兄幼卿为岐州刺史，因直言忤旨被诛。听到这个消息十分悲恸，与此同时，突然发病，迅速派人火速赶往雁门求温泉水治疗。郭秀向来嫉妒他的才能，便写信恐吓说：“高王想把你送到皇上那边去。”，还劝他逃走。于是将衣服帽子弃置在水边，佯装投水自尽的样子，改换名姓，自称刘士安，进嵩山，与沙门昙谟征等隐居起来。又潜赴光州，向东入田横岛，以讲诵为业，海边的人们称他为刘先生。太守王元景则暗暗地护佑着他。
神武明白还活着，派从兄宝猗带著书信慰抚，还遣光州刺史奚思业搜寻查访。依礼答报。神武见后十分欢悦，委任他做太原公开府司马，转长史，再授大行台右丞，封华阴县侯，迁给事黄门侍郎，还妻以庶女。又兼散骑常侍，做过聘梁使主。当其往梁，抵郂戍时，州内有自家的旧佛寺，便入精庐进行礼拜，看到太傅遗像，悲感恸哭，呕血数升，病发不能赶路，坐车返回邺城。过了很长时间，才以本官兼任尚书吏部郎中。武定末年，因其声名美好，超拜为吏部尚书，加侍中、卫将军，依然是侍学、典选。
天保初，以本官领太子少傅，别封阳夏县男。又诏监太史，迁任尚书右仆射。尚太原长公主，公主就是魏孝静帝的皇后。当野鸡聚集其宅时，又拜开府仪同三司、尚书左仆射，改封华山郡公。九年(558)，迁尚书令，又拜特进、骠骑大将军。十年，封开封王。文宣驾崩，百官没有不掉泪的，更是悲不自胜。济南王嗣位后，礼遇更重，凡朝章国命，就是他一个人办理，推诚体道，时无异议。干明元年(560)二月，遭孝昭帝诛杀。时年五十。天统末，追赠司空。
杨忄音为贵家公子，早着声名，风度仪表，学识人品，为朝野称道。家门遭祸，只有二弟一妹以及兄之孙女几人幸免于难，他抚养孤幼，慈旨温颜，都在众人之上。重义轻财，凡朝廷赐赠，多分发给了亲族。跟着他生活的十几个弟妹侄子，都等着他生火做饭。不断地遭受厄运，凡受人一顿饭之惠，必定重重酬谢。若是仇敌，他则是舍弃不问。主持二十多年的选举，以奖擢人才为己任。不过，取士多重言论容貌，以此招致谤语，时人认为他的用人，就像穷人买瓜，选大的拿。听说后，并不放在心上。其博记强识，过目不忘。召问举子时，对他们或是称姓，或是呼名，从来没有搞错过。自从娶公主后，身穿紫罗袍，腰束金缕大带。路遇李庶，深以为耻，解释说：“我穿的这身衣服，都是内裁，突然遇见子将，不能没有羞愧。”
及为宰相，权综机衡，千头万绪，井井有条。自天保五年之后，皇上丧德，维持匡救，不可或缺。每当天子临轩，便令公卿跪拜，发号施令，宣读诏册。温文尔雅，神仪秀发，百僚听观，莫不悚动。自居高位之后，家门里禁绝私交。轻财货，重仁义，前后赏赐，累积巨万，散发九族，箱柜之中，只有数千卷书。太保、平原王隆之与隔壁，曾看见隆之的门外有几位富胡，就对左右道：“我的门前幸亏没有这种东西。”胆小慎微，常常感觉自己的不足。每每提任新的官职，总是愀然变色。
文宣病情加重，还时常担忧常山、长广二王野心膨胀，威逼其子。便与尚书左仆射平秦王归彦、侍中燕子献、黄门侍郎郑子默受遗诏辅政，他们都认为二王威望过重，因此就有猜忌之心。当初在晋阳，以大行皇帝在殡，天子守孝，议定常山王处东馆，想上奏的事情，都必须先行咨决。二十天才止。依然打算让常山王随梓宫往邺，留下长广王镇守晋阳。执政者们又生疑心，于是二王又都跟着到了邺城。燕子献定计，想让太皇太后居住北宫，并归政皇太后。又由于天保八年(557)以来，爵赏太滥，到这个时候，主动上表请求解除自己开府封王的资格，很多人的恩荣奖赏也宣布作废。这样，那些嬖宠失职之徒，全部投靠了二王。高归彦开始与一德同心，很快背叛了他，并将疏忌之举尽数向二王作了报告。等议论出二王为刺史。因帝仁慈，上奏大概不能施行，于是就启禀皇太后，陈说利害，详述安危。有个宫人名叫李昌仪，是北豫州刺史高仲密的妻子，因仲密犯事而连坐入宫。太后由于昌仪与之同宗，极其喜爱。太后将启给昌仪看，昌仪便偷偷地报告了太皇太后。等又议不能让二王一同出京，便奏请拜长广王为大司马、并州刺史，常山王为太师、录尚书事。
当二王接受职务，在尚书省大会百僚时，等打算一同参加。郑子默制止说：“事不可测，勿要轻举。”说：“我等至诚奉国，岂有常山拜职，不去祝贺的道理？为何突然生出这样的念头？”长广王事前指使家僮几十人埋伏在录尚书室的后室，并向几位勋贵通报了计划，并约定说：“敬酒到杨忄音等人身边后，我就劝他们每人喝两杯，他们必定推辞。我说一遍‘捉酒’，又说一遍‘捉酒’，再说‘何不捉’时，你们就马上把他们捉起来。”阴谋实现。高声说：“诸王造乱，想杀忠良啦！尊崇天子，削弱诸侯，忠心奉国，没有想到会有如此下场。”常山王想饶恕他，长广王说：“不行。”此时及天和、钦道等都遭受了拳棒的殴击，血流满面，依然被许多的人按押着。常山王又派薛孤延、康买到尚药局抓捕了郑子默。子默说：“不听智者的话，终于落到了这样的田地，这难道不是命吗？”
二王带领高归彦、贺拔仁、斛律金等押持着等人冲进了云龙门。看见都督叱利骚，招他，他不来，就派骑士杀了。开府成休宁把守着宫门，高归彦劝说后，这伙人才一拥而入。他们将等人挟持到了废帝面着。长广王及归彦在朱华门外。太皇太后亲临昭阳殿，太后及帝站在她的旁边。常山王用砖打着头，走近几步，说：“臣与陛下是骨肉相连，杨遵彦等人想擅朝政，威福自己，王公以下，都吓得战战兢兢。共相唇齿，以成乱阶，若不早图，必然是宗庙社稷之害。臣与湛等认为国事重大，贺拔仁、斛律金等珍惜献皇帝基业，一同抓了遵彦等人，并将他们押进宫来，我们不敢处罚他们。先斩后奏，罪该万死。”此时废帝默不作声，领军刘桃枝之徒卫护在阶下，敲着刀仰视，帝却不看他们一眼。太皇太后命令他们后退，不听。又厉声说：“你们还要不要脑袋？”这才退下。太皇太后便问杨郎在哪里。贺拔仁便说：“一只眼睛已被挖出。”太皇太后凄怆地说：“杨郎能做什么，留着眼不好吗？”接着责备废帝说：“这帮人怀有叛逆之心，想杀掉我的两个儿子，然后再处死我，你为何纵容他们？”废帝还是不能说话。太皇太后愤怒而且悲哀，王公都泣涕涟涟。太皇太后说：“哪能让我母子受汉人老太婆的取舍。”太后叩头请罪。常山王不停地磕头。太皇太后对废帝说：“你为何不安慰安慰你的叔叔？”废帝才说：“天子连叔父也不敢怜惜，岂敢怜惜这些汉辈？但愿留儿一条性命，让儿自下殿去，这些人就交给叔父随便处分。”于是，等人都被处死了。