Первое что необходимо сделать, это понять причины возникшего раздражения. Подавить эти чувства, это позволить нарасти снежному кому. Что раздражает? Что в его поведении мешает вам чувствовать себя комфортно? А дальше, поняв, строить диалог. Это же ваш дом и вы устанавливаете правила.

Есть еще один момент, более глубокий. Это может быть раздражение и злость на мужа, например, а вы его испытываете к этому человеку. Этот механизм называется переносом. Тогда диалог нужно строить с супругом.