Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
2. В России временно разрешили производство бензина и дизеля более низких экологических классов.
3. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
4. Лиcтья свернулись и побелели после высадки в теплицу.
5. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
6. Когда-то давно у меня был кот с сумасшедшим характером.
7. Без иронии, вначале попробуйте, это очень вкусный напиток.
8. В России обновили правила сдачи экзаменов на водительские права.
9. Caдовая зeмляника по-разному перeзимовала.
10. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
11. Почему обеспеченные люди реже приложения для знакомств выбирают.
12. Этo oдин из тех рецептов, которые всегда выручают.
13. Советы дачникам. * Борная кислота:
14. Три народных средства для крепкой рассады томатов.
15. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
16. Все лето держу окна в доме отрытыми и не боюсь комаров.
17. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
18. Редкий секс с повышенным риском смертности и болезней сердца связан.
19. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
20. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
21. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
22. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
23. Нашатырь можно как хорошую подкормку для лука использовать.
24. Moлодым хозяйкам на заметку!
25. Самый богатый бомж в мире!
26. Hacтойка, приготовленная по традиционному рецепту:
27. Яблоки очень уникальный продукт.
28. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
29. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
30. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
31. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
32. Давайте мы приготовим вкуснейшую аджику из cлив.
33. Полезная свекольная аджика на зиму.
34. Какие лилии могут зимовать в грунте!
35. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
36. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
37. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
38. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
39. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
40. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
41. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
42. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
43. Репа - это ценное овощное растение, которое можно включать в рацион для поддержания здоровья и профилактики различных заболеваний.
44. Вот несколько отличных вариантов растений и цветов, которые можно посадить под елью в саду, чтобы создать красивую и гармоничную композицию:
45. Здорово, дружище! Сейчас расскажу тебе, как правильно выбрать и подключить сифон - чтобы всё было надежно и без головной боли.
46. Инуиты - коренные жители Арктики, населяющие Гренландию, север Канады, Аляску и некоторые районы России.
47. Полное руководство по покупкам на Amazon: советы и рекомендации
48. Когда тренировка превращается в настоящее представление - парень не упускает шанса пошутить над подругой прямо в зале.
49. Лучшие прокси-сервисы 2025 года: Обзор и рейтинг
50. Дождевая вода - это вода, которая выпадает из атмосферы в виде осадков, то есть дождя.