皇甫彪这边赚的盆钵体满，皇甫嵩却被削去六千户。
原因是中常侍赵忠和张让私求五千万钱，皇甫崇不予，在灵帝耳旁吹风，说他大军在外，连战无功，所费甚多，恐有不臣。于是灵帝就收了左车骑将军印绶，削户六千，更封都乡侯，闲散在家养老。
“义父，孩儿求见！”
“进来吧——”
皇甫彪回洛阳时就被小六子告知了义父被贬的消息，安顿好人马以后就回来拜见皇甫崇，一是看看是何原因导致义父被收了将军印绶，二是看看家兵能不能消化一部分匈奴马，自己人手不足，只吃下一千匹，其余挂了一个西园军马的牌子分散在洛阳城外。
“回来了？陛下命你统领西园，你可知陛下之意？”
进的门来，皇甫崇没有任何沮丧或低落的神情，眉眼间连一点不遇伯乐的哀怨之色也没看到，就是喝着茶若有所思。见皇甫彪进来，捧着的兵书放下，抬起头，一本正经地问他。
“孩儿只知下军无人可用，去收拾烂摊子的......”
“唉，你还是这么生性纯朴，伴君如伴虎啊，你需知害人害中心不可有，防人之心不可无啊，未雨绸缪，有备无患。”
“有义父在，孩儿只需练好下军，陛下必不苛责。”
“非也，陛下对文官武将皆不信任，独宠西园，招你入军，是打算让你另立门户之意，你却老在家中，陛下赏赐的府宅也改作书院，这是你半年多不被召见的原因所在，你，该长大了——”
“义父对孩儿恩重如山，孩儿想在您身边鞍前马后伺候您，不愿另立门户！”
皇甫彪有感而发，也是真情流露，言罢磕了一头，以示并无二心。
“陛下是担心何进干扰立嗣，才多宠溺西园为倚仗，你只需练好下军，谨遵陛下号令便可。为父一生坦荡，不想屈居人下，亦不想同流合污，朝野树敌甚多，所以官路起起伏伏，你尚年幼，不可过刚，刚则易折——”