Можем ли мы возводить большой забор, если окна соседей смотрят на наш двор?

Живем в частном многоквартирном доме. Окна соседей смотрят на наш двор. Мы возвели забор 2 метра, чтобы они не видели наш двор. Они грозятся судом, что мы затеняем их окна. Что нам делать?