Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
2. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
3. Дeвочки, это сaмый крyтой зaвтрак.
4. Mышь в yлье.
5. Oгурцы будете рaздавать всем coceдям.
6. Рецепт меренгового рулета.
7. Пocледний бoй тоpepo альваро муньеры.
8. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
9. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
10. Магия пандоры. Аватары и актёры, которые воплотили их образы.
11. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
12. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
13. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
14. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
15. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
16. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
17. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
18. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
19. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
20. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
21. Яркий акцент для сада.
22. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
23. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
24. Топ - 5 идей для уюта на даче осенью.
25. Чем мульчировать малину осенью для защиты корней?
26. 3 популярных сорта жимолости.
27. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
28. Не люблю отдых дальше своего города.
29. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
30. Top 40 инструментов для веб-скрапинга в 2025: что нового
31. Какие исторические места Москвы связаны с наполеоновским вторжением
32. Исследование подчёркивает влияние социальных стереотипов на профессиональную реализацию россиян с лишним весом.
33. Ранним утром, когда город ещё спит, девушки - пловчихи уже в воде.
34. Яблоня "Роялти" - это популярный сорт яблони, известный своими крупными, вкусными плодами и высокой урожайностью.
35. Топ-16 лучших прокси для Reddit в 2025 году: рейтинг и обзор
36. Как Выбрать Идеальные Прокси для Snapchat в 2025: Топ-16
37. Опасные растения для дачи!
38. Тренировка задолго до старта начинается.
39. Построить дачный туалет своими руками - вполне реально, особенно если у вас есть строительный опыт или желание учиться.
40. Дача это не только заботы и работа, но еще и отдых!
41. Как заказать товары с Amazon в Москву: полное руководство
42. Какая история стоит за созданием главной площади города
43. Лучшие сервисы по продаже резидентных прокси: как выбрать надежного поставщика
44. 15 супер - рецептов из помидоров.
45. Не секрет, что "на Природе" аппетит всегда лучше, а любая еда кажется вкуснее.
46. 3 эффективных способа использования прокси-сервера
47. Крем с йодом все морщинки уберет!
48. Какие спортивные события проводятся в парках Воронежа
49. Маринованный лучок для шашлыка, салатов и просто с хлебушком покушать.
50. Специалисты назвали идеальные пропорции женской фигуры