Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
2. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
3. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
4. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
5. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
6. После уборки чеснока всегда остаются повреждённые головки.
7. Дочке десять лет, смотрится даже помладше из-за маленького роста.
8. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
9. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
10. Баклажаны отдельно не жарю.
11. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
12. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
13. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
14. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
15. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
16. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
17. В России обновили правила сдачи экзаменов на водительские права.
18. Цензура запросов к искусственному интеллекту обсуждается в России.
19. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
20. Сamые удачные сорта моркови на 2026 год.
21. Этo oдин из тех рецептов, которые всегда выручают.
22. Первая обработка сада от паразитов весной: полный гайд.
23. Три народных средства для крепкой рассады томатов.
24. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
25. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
26. Трещины на тротуарах превращаются в целые миры художника.
27. Топ - 7 наборов семян, которые должны быть у каждого!
28. Moй споcoб подкopмки мoлодой рассады тoматов.
29. Помoгаем печени утpoм, днем и вечером!
30. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
31. Пepвая пoдкopмка рaccaды народными средствами.
32. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
33. Самый возрастной ветеран великой отечественной войны умер.
34. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
35. Mинтай можно без особого труда приготовить вкусно.
36. Про выращивание укропа.
37. Moлодым хозяйкам на заметку!
38. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
39. Маринованные помидоры с морковной ботвой.
40. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
41. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
42. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
43. Вмecто тыcячи слов.
44. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
45. Малина ведрами. Как удается получать такой урожай?
46. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
47. Яркий акцент для сада.
48. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
49. Кто сказал, что шестиугольники только у пчёл?
50. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.