Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Сезон клубники в самом разгаре!
2. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
3. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
4. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
5. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
6. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
7. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
8. Завязей на томатах будет море, а фитофтора обойдёт стороной.
9. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
10. Мой личный лайфхак относительно учёбы.
11. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
12. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
13. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
14. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
15. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
16. Дeвочки, это сaмый крyтой зaвтрак.
17. "Фишка моей внешности в том, что я родилась старой.
18. Пpoбовали caжать лук китaйским спocoбом?
19. Пиpoжки: зaбытый стapый мaмин рeцепт.
20. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
21. Лепешки на кефире с начинкой.
22. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
23. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
24. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
25. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
26. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
27. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
28. Секрет крупного озимого чеснока - простая подкормка при посадке!
29. Секс помогает улучшать память - к такому выводу пришли американские учёные.
30. Самодельный светильник - маленькое чудо для спальни.
31. Топ - 5 идей для уюта на даче осенью.
32. Что обязательно укрыть на зиму, кроме роз.
33. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
34. Очень вкусная аджика на зиму!
35. Перцу нездоровится? Как по листьям определить, чего не хватает вашим перцам.
36. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
37. Топ-7 инструментов для веб-скраппинга в 2025 году: что выбрать
38. Какие легенды и мифы связаны с историей Миасса
39. Соревнования по грэпплингу среди девушек проходят очень напряжённо и зрелищно.
40. Исследование подчёркивает влияние социальных стереотипов на профессиональную реализацию россиян с лишним весом.
41. Турниры по пощёчинам выглядят как зрелищное и жёсткое шоу, где участники стоят напротив друг друга и по очереди наносят удары ладонью по лицу.
42. Топ-15 сервисов для роста в Instagram 2025: Рейтинг лучших инструментов
43. Домашние прокси 2025: топ-10 лучших вариантов для вашей безопасности
44. Растяжка часто остаётся в тени тренировок, но играет ключевую роль в здоровье тела.
45. Тренировки с резинками и ковриком - отличный способ развивать силу и выносливость, не перегружая суставы.
46. Высадка голубики - как правильно посадить и вырастить здоровую и вкусную ягоду.
47. Бородач - это редкий горный хищник из семейства ястребиных, обитающий в горах Европы, Азии и Африки.
48. Настоящее звёздное небо видно только вдали от городов, где нет светового загрязнения.
49. Дроны - доставщики уже не фантастика, а часть современной логистики.
50. Дорогие мои, вот как я обычно вешаю цветочный горшок на веревку - это просто и красиво, а главное, надежно!