Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
2. В Россию прибыла первая партия бензина из индии.
3. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
4. Твоё тело работает 24 часа в сутки без твоего участия.
5. Четыре салата в банках на зиму.
6. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
7. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
8. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
9. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
10. Будьте осторожны на участках и во время отдыха на природе.
11. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
12. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
13. Средства для подкормки помидоров.
14. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
15. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
16. Повеяло летом. Клубника рекорд установила.
17. Кейсы в CS2 и паки Fifa предложили запретить в России.
18. Hикогда не выpaщивайте tomаты и перец без этого!
19. У китайцев принято чавкать.
20. 1941 год. Украина, первые месяцы оккупации.
21. Клещи - мутанты из Африки атакуют россиян.
22. Топ - 7 наборов семян, которые должны быть у каждого!
23. Слова - обереги, которые важно знать:
24. Нетипичные плодовые культуры для северного сада.
25. Плoxие coceди для смородины.
26. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
27. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
28. Эта комната не подстраивается под свет - она управляет им в реальном времени.
29. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
30. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
31. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
32. Как правильно ухаживать за фиалками.
33. Замиокулькас. Это следует сделать сразу после покупки.
34. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
35. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
36. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
37. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
38. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
39. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
40. Работа над настенной полкой своими руками успехом завершилась.
41. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
42. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
43. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
44. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
45. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
46. Саженцы яблонь. Какие выбрать.
47. Какие макроэлементы важны для томатов и как распознать их нехватку?
48. Лучшие инструменты для веб-скрейпинга 2025 и далее: что попробовать
49. Удобрение пионов. 1 этап - как тoлькo пoявятся мoлoдые рoстки, залейте в ямку у кoрней раствoр аммиачнoй селитры (15 г. на 10 л. вoды.
50. Топ-7 инструментов для веб-скрейпинга онлайн в 2025 году