В соответствии с пунктом 2 ст. 66 Семейного Кодекса РФ родители вправе заключить в письменной форме соглашение о порядке осуществления родительских прав родителем, проживающим отдельно от ребенка.
Если родители не могут прийти к соглашению, спор разрешается судом с участием органа опеки и попечительства по требованию родителей (одного из них). По требованию родителей (одного из них) в порядке, установленном гражданским процессуальным законодательством, суд с обязательным участием органа опеки и попечительства вправе определить порядок осуществления родительских прав на период до вступления в законную силу судебного решения.
Исходя из Вашего вопроса полагаю Вы не можете прийти к соглашению. В данном случае он вправе обратиться в суд и установить порядок общения. Если он забирает ребенка вопреки Вашим и ребенка интересам, то до вынесения решения суда вы вправе отказать выдать ребенка.