Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
2. Ну, началось. 19-Летняя возлюбленная Григория лепса впервые откровенно о пластике рассказала.
3. Пpичины, пoчему уcыхает чеснок при хранении.
4. Сыплю под Смородину весной по две ложки.
5. В России массово растут депрессия, тревожные и стрессовые расстройства.
6. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
7. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
8. Эта весна в Москве обещает стать одной из самых грязных и сырых за последние годы, предупреждают экологи.
9. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
10. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
11. Ли польза в кoмпоте ecть?
12. Топ - 5 самых неприхотливых сортов перца.
13. Анастасия волочкова показала архивное фото с Николаем Басковым.
14. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
15. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
16. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
17. Caлат "Мaкcим". Ингредиенты:
18. Моя соседка никак не могла продать дорогущий антикварный комод.
19. Вмecто тыcячи слов.
20. Мы не дадим слизням перезимовать!
21. Клубника на подоконнике - аромат лета круглый год!
22. Какие лилии могут зимовать в грунте!
23. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
24. Не люблю отдых дальше своего города.
25. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
26. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.
27. Знаете, зачем завязывают ботву чеснока в узел?
28. Лучшие инструменты для веб-скрейпинга 2025 и далее: что попробовать
29. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
30. Топ-7 инструментов для веб-скраппинга в 2025 году: что выбрать
31. Лучшие инструменты для веб-скраппинга в 2025 году
32. Яблоня "Роялти" - это популярный сорт яблони, известный своими крупными, вкусными плодами и высокой урожайностью.
33. Подготовка девушек - футболисток к новому сезону - это сочетание выносливости, силы и точной дисциплины.
34. Растяжка часто остаётся в тени тренировок, но играет ключевую роль в здоровье тела.
35. Среди ледяных просторов севера, где почти нет деревьев и зима длится большую часть года, живёт арктический волк.
36. Дождевая вода - это вода, которая выпадает из атмосферы в виде осадков, то есть дождя.
37. Где можно посетить мастер-классы или творческие встречи
38. Девять лучших прокси-провайдеров 2025 года: рейтинг и обзор
39. Вок - правила и секреты.
40. Какие основные музеи расположены в Кремле и что в них можно посмотреть
41. Как CAGMO завоевал сцену: Путь к славе
42. Какие современные изменения произошли в архитектуре города
43. Что продавать на Amazon FBA в 2025: Топ товары для вашего бизнеса
44. Как найти прибыльные товары для Amazon FBA в Q4 2025
45. Amazon FBA Wholesale для начинающих: полное руководство 2025
46. Какие уникальные маршруты для велосипедистов есть в городе
47. Гoтoвые треугольники с начинкой будут не только аппетитно выглядеть, но и радовать вас изысканным вкусом.
48. Топ-12 провайдеров residential proxy в 2025 году: лучшие сервисы для безопасного интернета
49. Лучшие приватные прокси для Instagram: обзор и рекомендации
50. Фотопрогулка в последние дни зимы.