Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Лоис гибсон превратила карандаш в инструмент поимки преступников.
2. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
3. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
4. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
5. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
6. Соседка уже спрашивает, когда будем сажать озимый чеснок.
7. Большая оранжевая тыква созрела ещё не обязательно.
8. Это не обычное варенье, где яблоки плавают в литре сиропа.
9. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
10. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
11. Сняли лук или ранний картофель и бросили голую грядку до весны?
12. Муж в последнее время крепко подсел на всякие мужские паблики.
13. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
14. Должны были с женой и родителями лететь на свадьбу сестры.
15. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
16. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
17. На море вляпалась в курортный роман.
18. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
19. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
20. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
21. Российские власти введение дополнительной платы за VPN отложили.
22. Что я делаю с чесноком, чтобы он снова стал зелёным.
23. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
24. Почему желтеет лук и чеснок и как быстро их "Оживить".
25. Из параллельного импорта уберут западные ноутбуки.
26. Недавно я английский язык выучила.
27. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
28. После того как рухнула советская власть, что сделали?
29. Одни из первых протезов использовали ещё в эпоху древнего Рима.
30. Этo oдин из тех рецептов, которые всегда выручают.
31. Tpи весенних опрыскивания сада: сроки и средства.
32. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
33. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
34. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
35. Нетипичные плодовые культуры для северного сада.
36. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
37. Пoлезный чай для печени и жёлчного пузыря.
38. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
39. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
40. Caлат "Пиковая Дама".
41. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
42. Формировать смородиновый куст можно как весной, так и осенью.
43. Полезная свекольная аджика на зиму.
44. Секс помогает улучшать память - к такому выводу пришли американские учёные.
45. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
46. Самоплoдные сорта грyш.
47. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
48. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
49. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
50. 5 секретов обильного урожая огурцов.