Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
2. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
3. Домашний интернет в России начали ограничивать для активных пользователей.
4. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
5. Toлько не забудьте peцепт!
6. Пятьcot лет тому нaзад.
7. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
8. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
9. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
10. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
11. Coветы для тoго, чтoбы получить крупную малину.
12. Пирожки: забытый старый мамин рецепт.
13. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
14. Австралийская семья отказалась продать дом за 50 миллионов долларов.
15. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
16. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
17. Очищение сосудов головного мозга.
18. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
19. 28 kулинарных tohкостей на вec 3 олота.
20. Врачи о бесполезности популярных бадов с коллагеном заявили.
21. Это закуска на любом застолье на ура уходит!
22. Уже давно делаю по этому рецепту!
23. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
24. В России отложили введение нового утильсбора для автомобилей.
25. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
26. Какие лилии могут зимовать в грунте!
27. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
28. Что делать, если листья огурцов стали "Мраморные"?
29. 5 секретов обильного урожая огурцов.
30. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
31. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.
32. Очень вкусная аджика на зиму!
33. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
34. Подготовка почвы к новому сезону: без перекопки, но с пользой.
35. Защита от муравьев.
36. Выращивание острого перца - увлекательный и полезный процесс, который позволяет получать свежий острый перец прямо у себя дома или на участке.
37. Топ-10 открытых веб-кравлеров 2025 года: выбор для каждого
38. Как ухаживать за сливой, чтобы собрать щедрый урожай.
39. Как правильно скрапить Instagram в 2025: Полное руководство
40. Топ-15 мобильных прокси 2025 года: Рейтинг лучших сервисов
41. Домашние прокси 2025: топ-10 лучших вариантов для вашей безопасности
42. Можно ли заказывать с Amazon в Россию в 2025 году: последние обновления
43. Южноамериканская гарпия - одна из самых мощных хищных птиц на планете.
44. Дроны - доставщики уже не фантастика, а часть современной логистики.
45. Какие парки и скверы Москвы популярны для прогулок зимой
46. Где можно посетить мастер-классы или творческие встречи
47. Топ-5 поставщиков прокси-серверов 2025: какие лучше выбрать
48. Названы идеальные пропорции женской фигуры: что нужно знать
49. Идеальное тело: 7 знаменитостей, которые вдохновляют своей формой
50. Ученые определили идеальные пропорции женской фигуры: что это значит