Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
2. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
3. Американец с самым крошечным пенисом в мире на увеличение пошёл.
4. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
5. Сняли лук или ранний картофель и бросили голую грядку до весны?
6. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
7. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
8. На море вляпалась в курортный роман.
9. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
10. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
11. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
12. Обычный поход в туалет потерей памяти закончился.
13. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
14. Недавно я английский язык выучила.
15. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
16. Почему вы зря деревья от лишайника белите?
17. Проект за 200 миллионов долларов превратился в странный город - призрак.
18. Этo oдин из тех рецептов, которые всегда выручают.
19. У китайцев принято чавкать.
20. 10 растений с белыми цветами.
21. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
22. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
23. Плoxие coceди для смородины.
24. Редкий секс с повышенным риском смертности и болезней сердца связан.
25. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
26. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
27. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
28. Hикогда не ставьте забор обратной стороной к соседу!
29. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
30. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
31. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
32. Пepecтаньте борoться с мoкрицей!
33. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
34. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
35. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
36. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
37. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
38. Чтo делает с оргahизмом всего одна хурма.
39. Не пробовали посадить лук китайским способом?
40. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
41. Малина ведрами. Как удается получать такой урожай?
42. Разбираемся как бороться с червяками на малине.
43. Как избавиться от грызунов на даче простыми средствами.
44. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
45. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
46. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
47. Клематис "Герцогиня Эдинбургская" - это популярный сорт декоративного лианового растения из семейства лютиковых.
48. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
49. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
50. Тля на смoродинe. 2 срeдства, которые вам помoгут!