Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Моя свекровь в третий раз беременна.
2. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
3. Перед похолоданием целый таз зелёных помидоров сняла.
4. Это не обычное варенье, где яблоки плавают в литре сиропа.
5. Почему утро, день и вечер не имеют чётких границ.
6. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
7. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
8. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
9. Что будет с землёй, если солнце внезапно исчезнет.
10. По вкусу, как мармелад: в сезон закрываю побольше.
11. Про проветривание теплицы.
12. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
13. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
14. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
15. Мы удаляем листья у томата по правилам!
16. Северная Корея правила ядерного ответа страны изменила.
17. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
18. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
19. В России запретят параллельный импорт компьютерной техники с 27 мая.
20. Пересадка огурцов без стресса.
21. После того как рухнула советская власть, что сделали?
22. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
23. Священник стал маской, чтобы спасти детский приют и жизнь детей.
24. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
25. В Алматы установили памятник истории спасения собаки живой цепью.
26. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
27. Джим Керри и теория клона: что произошло на самом деле?
28. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
29. Нежный пирог черный принц из варенья.
30. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
31. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
32. Oбычный лавровый лист заставит комнатные растения пышно цвести.
33. Пoлезный чай для печени и жёлчного пузыря.
34. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
35. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
36. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
37. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
38. Не у всех укроп растёт как сорняк, в огромных количествах.
39. Этот пирог лучше, чем торт и вкуснее кекса.
40. Caлат "Мaкcим". Ингредиенты:
41. С легкой и пушистой текстурой, это самый мягкий торт.
42. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
43. Россиян ожидает резкое повышение тарифов на электроэнергию.
44. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
45. Пергола - это не просто арка или навес.
46. Саженцы яблонь. Какие выбрать.
47. Что делать с кустами смородины после сбора урожая?
48. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
49. Травянисто-зелёная плетевидка (Ahaetulla Prasina) - удивительная древесная змея, обитающая в тропических лесах юго-восточной Азии.
50. Топ-11 открытых инструментов для веб-скрапинга в 2025 году