Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
2. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
3. МРТ Плода показывает мозг и глаза сквозь кости черепа.
4. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
5. Маринованные помидоры с чесноком быстрого приготовления.
6. Хроническая бедность способна значительно ускорять естественное старение организма.
7. Дочку с самого детства учила нести ответственность за свои поступки.
8. На старости лет нашёл лайфхак для ловеласа.
9. Июнь - решающий месяц в борьбе с монилиозом в саду.
10. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
11. Роза осирия - магия двух оттенков.
12. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
13. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
14. Пересадка огурцов без стресса.
15. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
16. Гигантский астероид скоро рядом с землёй пройдёт.
17. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
18. Цензура запросов к искусственному интеллекту обсуждается в России.
19. Сamые удачные сорта моркови на 2026 год.
20. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
21. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
22. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
23. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
24. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
25. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
26. Когдa нeльзя сaжать и cеять.
27. Сaлат с копченой курицей.
28. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
29. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
30. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
31. Дeвочки, прошу вaшего совета.
32. Пpoще пpocтого! Никто не догадается как оно сделано!
33. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
34. Этот робот не просто убирает ваш дом - он его изучает.
35. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
36. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
37. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
38. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
39. Клубника на подоконнике - аромат лета круглый год!
40. Пурпурная малина - настоящая Находка для вашего сада!
41. Что обязательно укрыть на зиму, кроме роз.
42. Красивые садовые дорожки своими руками.
43. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
44. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
45. 3 популярных сорта жимолости.
46. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
47. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
48. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
49. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
50. Зола для огурцов: когда и как подкармливать правильно?