在雍正眼里,李卫优点很多,但也不是没有毛病。其上任云南盐驿道后,第一道奏折刚上,雍正即批示说,你以“少年锋锐之气”,又急于报效,到地方上后一定要谦虚谨慎,不能以气凌人,如在“上司僚友中过于强毅自用”,难免“致招恃恩犯纵之讥”。果不其然,李卫在云南任上与按察使张谦不和,后来更是与贵州威宁总兵石礼哈互相参奏、缠斗不休。而且,李卫还对上司不敬,其私下里呼云贵总督高其倬为“老高”、云南巡抚杨名时为“老杨”。更有甚者,李卫还公然在自己的执事牌子书写“钦用”二字,甚至收受商人馈赠礼物等。为此,雍正特发谕旨批评,说你到云南后“恃能放纵,操守亦不纯”,“川马骨董,俱当检点,又制‘钦用’牌,小人逞志之态,是不可以已乎?尔其谨慎,毋忽!”李卫听后还不服气,辩解说:“受恩重,当不避嫌怨。”雍正驳斥说,“不避嫌怨”与“使气凌人、骄慢无礼”判然两途,你要加强自己的修养,未来的路才能走得更宽更远,不至辜负我对你的期望。
不过,雍正的教导在李卫面前似乎并没有起到太大的作用。到浙江任后,李卫每次出门都是鼓乐齐鸣,前呼后拥,引得众人争相围观。更让人哭笑不得的是,李卫每次弹劾别人,还洋洋得意地将奏章抄写一份向弹劾之人展示,以示“公开公正”。就这样胡闹,雍正仍给予包容,说“李卫之粗率狂纵,人所共知者,何必介意。朕取其操守廉洁,勇敢任事,以挽回瞻顾因循,视国政如膜外之风耳。”
李卫的脾气倔,搞得他的手下脾气也倔。据野史记载,某次李卫让一个叫田芳的幕僚写奏折,请皇上封他家五代。田芳不肯写,说:“请求封典最多三代,从未听说封五代的,我不能写。”李卫说:“你别管,照写就是”。田芳还是不肯写,惹得李卫大怒而痛骂道:“要你写你就写,没有先例,我来创先例,干你何事?”田芳也怒道:“大人你是昏了头,你仗着皇上对你一时的宠爱,把朝廷都不放在眼里了。我好意劝你,你不谢我,竟然还骂我!我就是不服!不服!”李卫说:“你不服,又能怎样?”田芳说:“你是大人,我是小吏,就算是你把我打死,我也不能怎样!只可惜,大人之威,能强加到小人的身上,但小吏之理,还是直于大人!”李卫被他说得一愣一愣的,半晌都没有声音,后笑道:“你小子有点胆识,做个小吏有点可惜了,不如我借你点银子,你去买个县丞当当,以后做上了官,也要像今天那样,正直当官,好好做事。”后来,田芳做了富平县丞和凤翔县令,官声还不错。