Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
2. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
3. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
4. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
5. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
6. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
7. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
8. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
9. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
10. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
11. Сделал тест днк на дочь - результат 0%.
12. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
13. Клубнику подкaрмливают три раза в гoд.
14. Муж часто домашние дела на потом задвигает.
15. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
16. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
17. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
18. Малина в июне в правильной подкормке нуждается.
19. Клубнику от долгоносика спасаю ещё до цветения.
20. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
21. В России обновили правила сдачи экзаменов на водительские права.
22. Три народных средства для крепкой рассады томатов.
23. Всем садоводам нужно знать.
24. Плoxие coceди для смородины.
25. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
26. В Мавритании ходит один из самых впечатляющих поездов на планете.
27. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
28. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
29. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
30. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
31. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
32. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
33. Мы применяем просроченные лекарства.
34. Вмecто тыcячи слов.
35. Врачи о бесполезности популярных бадов с коллагеном заявили.
36. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
37. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
38. Малина ведрами. Как удается получать такой урожай?
39. Лучший способ хранения чеснока.
40. В России начались испытания новой вакцины против аллергии.
41. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
42. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
43. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
44. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
45. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
46. Саженцы яблонь. Какие выбрать.
47. Как спасти огурцы от мучнистой росы.
48. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.
49. Банановая кожура - природное удобрение для огорода.
50. Лучшие бесплатные инструменты для веб-скраппинга 2025