Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
2. Петербургские мошенники сами стали жертвой - у их курьерши вырвали 3, 1 миллиона, выдоенных из 76-летней пенсионерки.
3. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
4. Популярная нейросеть Claude превратилась в цифровой инструмент для разработки неизлечимых боевых вирусов.
5. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
6. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
7. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
8. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
9. Дeлaю yжe втopую нeдeлю.
10. Мне 37, молодая и здоровая была, но за год постарела.
11. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
12. Популярные суши и роллы официально признали настоящим суперфудом.
13. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
14. Я любовник замужней женщины.
15. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
16. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
17. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
18. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
19. Когда-то давно у меня был кот с сумасшедшим характером.
20. 10 худших цветов для дачи.
21. Архивные фото Ирины шейк из юности.
22. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
23. Всегда в путешествиях.
24. Совет по рассаде томатов.
25. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
26. Как подкормить малину весной для крупных и сладких ягод.
27. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
28. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
29. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
30. Все лето держу окна в доме отрытыми и не боюсь комаров.
31. Когда вид на озеро главным элементом проекта дома становится.
32. Kaким растениям зола не подходит.
33. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
34. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
35. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
36. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
37. Лепешки на кефире с начинкой.
38. Про выращивание укропа.
39. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
40. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
41. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
42. Рецепт плюшек: Ингредиенты для опары:
43. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
44. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
45. Многим из нас нравится замиокулькаса.
46. С легкой и пушистой текстурой, это самый мягкий торт.
47. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
48. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
49. Нашим любимым подписчикам, дачникам и садоводам на заметку.
50. Начинайте готовить ягодные кустарники к холодам.