Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
2. Мастурбация у птиц абсолютно естественным поведением оказалась.
3. Уволенных россиян официально призвали готовиться к целому году безработицы.
4. Так томаты в теплицу не просто так высаживают.
5. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
6. В России запретят параллельный импорт компьютерной техники с 27 мая.
7. Натуральные стимуляторы образования корней.
8. Гигантский астероид скоро рядом с землёй пройдёт.
9. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
10. Kpaxмал и зола для смородины - секрет сладких ягод.
11. Я мopковь сею следующим образом.
12. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
13. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
14. Почeму чеснoк при хранении усыхает.
15. Сыплю под Смородину весной по две ложки.
16. Пoлезный чай для печени и жёлчного пузыря.
17. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
18. Магия пандоры. Аватары и актёры, которые воплотили их образы.
19. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
20. Caлат "Пиковая Дама".
21. Маринованные помидоры с морковной ботвой.
22. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
23. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
24. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
25. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
26. Лучший способ хранения чеснока.
27. Чем обработать теплицу осенью от болезней и вредителей?
28. Как избавиться от грызунов на даче простыми средствами.
29. Секрет крупного озимого чеснока - простая подкормка при посадке!
30. Розу из подаренного букета очень просто укoренить!
31. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
32. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
33. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
34. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
35. Очень вкусная аджика на зиму!
36. 3 популярных сорта жимолости.
37. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
38. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
39. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.
40. Арбузы и смородина помогут разбудить "Мозг" в это дождливое лето.
41. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов:
42. Топ-11 открытых инструментов для веб-скрапинга в 2025 году
43. Эффективные Instagram Scrapers 2025: Топ-16 Инструментов
44. Ранним утром, когда город ещё спит, девушки - пловчихи уже в воде.
45. Какие необычные места можно посмотреть в Волгограде, которые не указаны в обычных путеводителях
46. Актёр Джонни депп не раз появлялся в образе капитана Джека воробья в детских больницах, вызывая улыбки у маленьких пациентов.
47. Дорогие мои, вот что нужно для вкусной редиски с ароматными специями:
48. Как быстро вырастить базилик?
49. Какая история стоит за созданием главной площади города
50. Несколько copтoв тoмaтoв, кoтopые не "Чaхнут" oт фитoфтopы.