Судя по вашему вопросу, вы мать — одиночка. Соответственно ваш парень никакого отношения к детям не имеет. Забрать не сможет. Однако он может подать иск об установлении отцовства
СК РФ Статья 49. Установление отцовства в судебном порядке
В случае рождения ребенка у родителей, не состоящих в браке между собой, и при отсутствии совместного заявления родителей или заявления отца ребенка (пункт 4 статьи 48 настоящего Кодекса) происхождение ребенка от конкретного лица (отцовство) устанавливается в судебном порядке по заявлению одного из родителей