合伙纠纷企业是我先办起来的，半路来个…

合伙纠纷企业是我先办起来的，半路来个合伙人，几个月后产生了利润，但是两个人意见上有矛盾了，利润都按协议付给他。我不愿意把厂让给他，他有权要我这个厂吗？