Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Уволенных россиян официально призвали готовиться к целому году безработицы.
2. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
3. Российские медики о резком росте опасных кишечных инфекций предупредили.
4. Малина в июне в правильной подкормке нуждается.
5. Без иронии, вначале попробуйте, это очень вкусный напиток.
6. Нарциссизм всё чаще связывают именно с генетикой.
7. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
8. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
9. Банановая кожура в БОРЬБЕ с муравьями.
10. Пятый рабочий день полностью неэффективным оказался.
11. Цензура запросов к искусственному интеллекту обсуждается в России.
12. Когда сажать бархатцы и какие сорта лучше выбрать.
13. Hикогда не выpaщивайте tomаты и перец без этого!
14. Этo oдин из тех рецептов, которые всегда выручают.
15. Советы дачникам. * Борная кислота:
16. Всем садоводам нужно знать.
17. Японские учёные о прорыве в борьбе с облысением заявили.
18. Hикогда не выращивайте tomаты и перец без этого!
19. Пиpoжки: зaбытый стapый мaмин рeцепт.
20. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
21. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
22. 28 kулинарных tohкостей на вec 3 олота.
23. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
24. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
25. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
26. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
27. Конечно! Вот классический рецепт варенья из яблок с апельсином:
28. В России отложили введение нового утильсбора для автомобилей.
29. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
30. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
31. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
32. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
33. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
34. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
35. Чем подкормить клубнику в августе крупного урожая.
36. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
37. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
38. Самым сладким сортом крыжовника считается сорт *"московский деликатес"* (или его вариации, такие как "московский деликатес-2".
39. Лучшие инструменты для веб-скраппинга 2025: обзор лучших программ
40. Топ-7 AI-инструментов для веб-скрапинга в 2025 году
41. Девушки, которые выбирают профессию сварщика, часто удивляют тех, кто привык считать эту работу только мужской.
42. ТОП-18 лучших прокси для Telegram 2025
43. Как использовать прокси для социальных сетей и лучшие провайдеры в 2025 году
44. Топ-15 сервисов для роста в Instagram 2025: Рейтинг лучших инструментов
45. Иногда, чтобы почувствовать настоящую свободу, достаточно шагнуть в вязкую, прохладную грязь.
46. Растяжка часто остаётся в тени тренировок, но играет ключевую роль в здоровье тела.
47. Пирс броснан - известный актёр, а его жена кили Шэй Смит талантливая журналистка и активистка.
48. Какие бизнес-центры в Москве самые известные и какие компании там расположены
49. Тандыр - традиционная печь для приготовления пищи, широко использующаяся в центральной Азии и на ближнем Востоке.
50. Как выращивать вишню мелькопильчатую в средней полосе.