歴史上の初出は新田義貞の鎌倉攻めである。
　その後、建武４年（１３３７）１２月、北畠顕家が奥州から攻め上って来た際、義詮に従ってこれと戦っている。青野原や南都でも奮戦、功績を挙げている。
　観応擾乱期、直義派の中心人物として活躍している。畠山国清が尊氏に下ったのも、彼が直義に和平を申し入れたところ、桃井が反対し、直義が桃井に賛同したからだと言われている。
　その他にも、打出浜合戦（１３５１年）後、直義を尋ねようとした桃井が要撃される事件が起きていたり、薩垂山合戦においては、尊氏の後方を一万余騎で遮断するなど、観応擾乱期の記事が目立つ。
　直義の死後は南朝方に下り、関東・北陸・京都などでしばしば反尊氏の兵を挙げている。しかしながらいつしか関東管領足利基氏の庇護に入っている。その過程は未だ不明である。
　貞治６年（１３６７）の基氏の死により出家、幕府に復帰した。しかし翌年２月には越中に戻り、反幕府勢力として再起する。これを斯波義将が討ち、桃井は破れて松倉城に逃れるが、応安２年（１３６９）２月には再び越中で挙兵している。
　その挙兵で能登に攻め入ったところまでは史料に残るが、その最後は未だ知られていない。

＊管理者談
直義死後に基氏の庇護に入るところなど、上杉憲顕とよく似ている。
一度は幕府に帰順するが、再度、反幕府勢力となるところなどは、大変興味深い人物であるが、史料が少ないのが残念である。