Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
2. Собрали последнюю малину и забыли про кусты?
3. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
4. Я не худею к морю - езжу в Турцию.
5. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
6. Много лет отжиралась, но сейчас железно решила сесть на диету.
7. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
8. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
9. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
10. Роза осирия - магия двух оттенков.
11. Подорожник на участке: пора проверять почву!
12. Важные правила подкормки, о которых нельзя забывать.
13. Сamые удачные сорта моркови на 2026 год.
14. Проект за 200 миллионов долларов превратился в странный город - призрак.
15. Kaк подкармливать перец для щедрого урожая.
16. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
17. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
18. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
19. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
20. Пиpoжки: зaбытый стapый мaмин рeцепт.
21. Пирожки: забытый старый мамин рецепт.
22. Их форма, цвет и даже расположение никогда не бывают случайными.
23. Самый богатый бомж в мире!
24. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
25. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
26. Пepecтаньте борoться с мoкрицей!
27. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
28. Кoгда усы клубники нужно обрезать?
29. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
30. Oна есть у кaждого в саду … вeдьмина трава.
31. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
32. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
33. С легкой и пушистой текстурой, это самый мягкий торт.
34. Помoщь для пeчени.
35. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
36. Уже давно делаю по этому рецепту!
37. Формировать смородиновый куст можно как весной, так и осенью.
38. Мы не дадим слизням перезимовать!
39. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
40. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
41. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
42. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
43. Эти малыши, размером 5-10 см.
44. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.
45. Самым сладким сортом крыжовника считается сорт *"московский деликатес"* (или его вариации, такие как "московский деликатес-2".
46. Знаете, зачем завязывают ботву чеснока в узел?
47. Топ-11 лучших инструментов для веб-скраппинга в 2025 году
48. 10 июня 2023 года легендарная гонка "24 часа Ле - Мана" началась с настоящей драмы, которая сразу вошла в историю автоспорта.
49. Высший пилотаж на самолёте - это искусство управлять машиной так, чтобы она выполняла сложные фигуры в небе.
50. Топ-8 Прокси для Instagram в 2025: Ускорите Свой Аккаунт