Если парсить несколько тысяч страниц в день (относительно небольшое количество), вполне можно обойтись простой инфраструктурой управления прокси-серверами. Имейте в виду, что ваши поисковые роботы должны быть правильно настроены и что наготове должен быть большой пул прокси. Если же вы занимаетесь парсингом “по-крупному”, то этого уже будет недостаточно.
Вот с какими трудностями вы, вероятнее всего, столкнетесь довольно быстро:
