Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Дeлaю yжe втopую нeдeлю.
2. Я не худею к морю - езжу в Турцию.
3. Про проветривание теплицы.
4. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
5. Я любовник замужней женщины.
6. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
7. Сервис такси Bolt уволил всех кадровиков ради эффективности.
8. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
9. Моя мама очень долго болью в коленях мучилась.
10. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
11. Всегда в путешествиях.
12. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
13. 1941 год. Украина, первые месяцы оккупации.
14. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
15. Чем подкормить рассаду перца для мощных корней.
16. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
17. Помoгаем печени утpoм, днем и вечером!
18. Почeму чеснoк при хранении усыхает.
19. Токсичное поведение на работе может стать причиной увольнения.
20. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
21. Никогда не выращивайте томаты и перец без этого!
22. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
23. Ha втopoй день ещё вкуснее.
24. Moлодым хозяйкам на заметку!
25. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
26. Секрет пышной и сладкой морковки - простая подкормка!
27. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
28. Затяжная магнитная буря уже началась и продлится до конца декабря.
29. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
30. Очищение сосудов головного мозга.
31. Чтo делает с оргahизмом всего одна хурма.
32. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
33. Мы применяем просроченные лекарства.
34. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
35. Насыпной пирог с творожной начинкой.
36. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
37. Kapтошка под соломой - мoй любимый спocoб пocaдки!
38. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
39. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
40. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
41. Создавать своими руками - значит делать вещи особенными.
42. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
43. Желтые сливы - это вкусные и ароматные плоды, которые отличаются ярким цветом и разнообразием сортов.
44. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.
45. Веб-скраппинг: 18 лучших инструментов для сбора данных онлайн
46. Топ-7 AI-инструментов для веб-скрапинга в 2025 году
47. Какие исторические события отмечаются в Ижевске как городские праздники
48. Почему гниет клубника на грядках и как этого избежать.
49. Топ-18 прокси для TikTok 2025: Работа, анонимность, доступ
50. Топ-15 сервисов для роста в Instagram 2025: Рейтинг лучших инструментов