Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
2. Родила дочь в свой день рождения.
3. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
4. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
5. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
6. С мужем вместе уже 10 лет.
7. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
8. Почему утро, день и вечер не имеют чётких границ.
9. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
10. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
11. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
12. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
13. Июнь - решающий месяц в борьбе с монилиозом в саду.
14. Муж часто домашние дела на потом задвигает.
15. Привычные повседневные продукты от потребителей свою темную историю скрывают.
16. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
17. Некоторые археологические открытия наше прошлое слишком странным делают.
18. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
19. Нарциссизм всё чаще связывают именно с генетикой.
20. Мошенники фейковые сообщения от Telegram рассылают.
21. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
22. Мой личный лайфхак относительно учёбы.
23. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
24. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
25. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
26. Этой весной Россию накроет массовое нашествие комаров и клещей.
27. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
28. Самые полезные виды варенья.
29. Пpичины, пoчему уcыхает чеснок при хранении.
30. Яблоки очень уникальный продукт.
31. Пepecтаньте борoться с мoкрицей!
32. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
33. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
34. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
35. Как правильно ухаживать за фиалками.
36. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
37. Врачи о бесполезности популярных бадов с коллагеном заявили.
38. Учёные в вейпах следы фекалий обнаружили.
39. Зачем нам медный и железный купорос.
40. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
41. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
42. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
43. Казалось бы, простая рамка для фото.
44. Пергола - это не просто арка или навес.
45. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
46. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
47. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
48. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
49. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
50. Лучшие бесплатные инструменты для веб-скраппинга 2025