Конкурент повадился ходить...

Ситуация такая.
В одном из ТЦ открыта мною очередная точка продажи мороженого. Параллельно со мной, неделей позже встала другая точка этажом ниже, мороженое разное, у меня италия, у него мягкое из фризера.
Мужик-хозяин пока сам там сидит, у меня работники работают две девочки.
Мужик сам подошел познакомился со мной, поговорили с ним, посетовали на то что ни меня ни его не предупридили о нашем соседстве (он в субаренду встал). Вроде все ок поговорили, он сам несколько раз повторил что мы не конкуренты ( хотя конечно конкуренты еще какие).
Суть проблемы такова: что когда меня нету, эпизодически поднимается на мой этаж, следит за работой точки, чему то усмехается (как говорят мои продавщицы), девушек моих переманивает (они сами же жалуются на это, к нему не хотят, так как он "странный какойто"). Короче вроде работе не мешает, но напрягает. Я его тоже напрягаю, мой товар. берут лучше.
Стоит ли игнорировать, или идти и напрямую ему высказать недовольство?