Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Москву предупредили о трёх днях возможных перебоев с интернетом.
2. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
3. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
4. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
5. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
6. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
7. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
8. Четыре салата в банках на зиму.
9. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
10. На море вляпалась в курортный роман.
11. Большинство крупнейших катастроф в мировой истории не были неизбежными.
12. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
13. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
14. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
15. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
16. Традиционные дипломные работы могут полностью исчезнуть из вузов.
17. В Египте экстренно отменили все популярные морские экскурсии.
18. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
19. Так томаты в теплицу не просто так высаживают.
20. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
21. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
22. Мой личный лайфхак относительно учёбы.
23. Почему вы зря деревья от лишайника белите?
24. Гигантский астероид скоро рядом с землёй пройдёт.
25. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
26. Сamые удачные сорта моркови на 2026 год.
27. Когда сажать бархатцы и какие сорта лучше выбрать.
28. Одни из первых протезов использовали ещё в эпоху древнего Рима.
29. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
30. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
31. Легенды мирового рока украсили фасады домов в елизаветино.
32. Нетипичные плодовые культуры для северного сада.
33. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
34. Про выращивание укропа.
35. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
36. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
37. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
38. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
39. Подругa нaучила "Прaвильно" тушить капусту.
40. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
41. Арапайма звучит как имя из глубокой древности, и недаром.
42. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
43. Учёные в вейпах следы фекалий обнаружили.
44. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
45. Аромат осени в банке - яблочное варенье с корицей.
46. Морозостойкие сорта гибридной хурмы.
47. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
48. Секрет крупного озимого чеснока - простая подкормка при посадке!
49. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
50. Учёные Ozempic без побочных эффектов создали.