Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
2. Сняли лук или ранний картофель и бросили голую грядку до весны?
3. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
4. Чем заболела груша и как ее лечить?
5. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
6. Популярные суши и роллы официально признали настоящим суперфудом.
7. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
8. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
9. Клубнику от долгоносика спасаю ещё до цветения.
10. Хотите получить огурцы без болезней и с хорошим здоровьем?
11. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
12. В Москве предупредили о возможных ограничениях связи.
13. В России запретят параллельный импорт компьютерной техники с 27 мая.
14. Гигантский астероид скоро рядом с землёй пройдёт.
15. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
16. Почему нужно срезать верхушки у яблонь.
17. У китайцев принято чавкать.
18. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
19. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
20. Всем садоводам нужно знать.
21. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
22. Пeченочные котлеты с необычным ингредиентом.
23. Она растёт в каждом саду и называется ведьмина трава.
24. Toматы для ленивых.
25. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
26. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
27. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
28. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
29. Их форма, цвет и даже расположение никогда не бывают случайными.
30. Как заставить замиокулькас активно выпускать новые побеги.
31. Убийцы paccaды. Что нельзя добавлять в грунт?
32. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
33. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
34. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
35. Oна есть у кaждого в саду … вeдьмина трава.
36. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
37. С легкой и пушистой текстурой, это самый мягкий торт.
38. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
39. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
40. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
41. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
42. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
43. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
44. Как понять, что тыква созрела?
45. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
46. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
47. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
48. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
49. Какие макроэлементы важны для томатов и как распознать их нехватку?
50. Топ-12 прокси для Minecraft 2025: играйте без лагов и наслаждайтесь гладкой игрой