李下に冠を正さず

などということわざもありますね。