桓温和名士们交情很好，他门下有很多名士当幕僚。其中他最欣赏的人是谢安。有一次他去拜访谢安，正赶上谢安在梳头，见桓温来了，赶紧取来衣服和头巾。桓温说：“不用这么拘礼。”那天两人一直聊到天黑，桓温才走。有一次桓温生病，谢安来探望他，走的时候桓温望着谢安的背影感叹道：“我已经很久没见过这样的人了！”一副钦佩之情。
殷浩曾经和桓温齐名，两个人一直暗暗较劲。桓温有一次问殷浩：“你怎么比得上我？”殷浩说：“我和你周旋的时间太长，所以宁愿让你在我之上。”桓温很轻视殷浩，但殷浩并不怕他。桓温得势后对人说：“小时候我和殷浩一起玩竹马，我骑过的竹马扔掉，他就捡起来骑，所以他本来就在我之下。”他还说：“殷浩的文章不错，让他当宰相的话，完全可以总理事务。只是现在朝廷没有用好他，没有让他发挥出自己的长处。”
后来朝廷重用殷浩，用他来抑制桓温的势力，这让桓温很气愤，所以就想以北伐为借口收回权力。他带了几万人马直逼首都，说自己进军完全是为了北伐。这个时候殷浩的北伐计划屡屡失败，桓温就抓住这个机会弹劾他，最后把他赶下了台，从此桓温掌握了东晋的军政大权。