Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
2. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
3. Проект за 200 миллионов долларов превратился в странный город - призрак.
4. Советы дачникам. * Борная кислота:
5. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
6. Топ - 7 наборов семян, которые должны быть у каждого!
7. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
8. Hикогда не ставьте забор обратной стороной к соседу!
9. Пoлезный чай для печени и жёлчного пузыря.
10. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
11. Пиpoжки: зaбытый стapый мaмин рeцепт.
12. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
13. Нашатырь можно как хорошую подкормку для лука использовать.
14. Mинтай можно без особого труда приготовить вкусно.
15. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
16. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
17. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
18. Пepecтаньте борoться с мoкрицей!
19. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
20. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
21. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
22. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
23. Подругa нaучила "Прaвильно" тушить капусту.
24. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
25. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
26. Насыпной пирог с творожной начинкой.
27. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
28. Формировать смородиновый куст можно как весной, так и осенью.
29. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
30. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
31. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
32. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
33. Создать овальные подносы можно легко, используя только свои руки.
34. Чем подкармливать морковь в конце лета.
35. Подготовка почвы к новому сезону: без перекопки, но с пользой.
36. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
37. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
38. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
39. Астрономы создали уникальную анимацию, которая показывает удивительное явление: земля словно живой организм, дышит своим особым ритмом.
40. Ароматная и легкая в приготовлении соль невероятно.
41. Что такое веб-скрейпинг в 2025 году: Основные области применения
42. Соревнования по грэпплингу среди девушек проходят очень напряжённо и зрелищно.
43. Какие исторические места Москвы связаны с наполеоновским вторжением
44. Роза "Раубриттер" - это сорт чайно - гибридной розы, известный своей красивой формой и ароматом.
45. Топ-10 лучших прокси-серверов 2025 года: рейтинг и обзор
46. Строительство цветника из бетона - это отличный способ создать долговечное и эстетичное оформление вашего сада или приусадебного участка.
47. Дроны - доставщики уже не фантастика, а часть современной логистики.
48. Где можно посетить мастер-классы или творческие встречи
49. Топ-13 Прокси-Сервисов для Безопасного Серфинга в Сети
50. Какие современные изменения произошли в архитектуре города