Парсер Вопросов и Ответов Otvet.mail.ru Zennoposter Шаблон

Парсинг текста вопросов с ответами.

Шаблон заходит на сайт, получает из файла запрос, вводит его на сайте и собирает все ссылки на созданные вопросы. По каждому запросу, ссылки сохраняются в отдельные файлы.

После того, как будут собраны ссылки по всем запросам, шаблон приступит к сбору самих текстов. При этом он получает случайный файл из папки Temp, берёт из этого файла ссылку и собирает с неё тексты вопросов с ответами. Результаты сохраняются в папку Result. Каждый ответ сохраняется в отдельный файл с именем темы, в папку по имени ключа, с которым этот вопрос был собран.

После окончания шаблона, т.е. обработки сначала всех ключей, а потом и собранных ссылок, шаблон начнёт выдавать сообщение «Парсинг otvet.mail.ru выполнен».

Порядок Запуска:

Количество выполнений:-1

Максимальное число потоков: Неограниченно

Входные Данные:

query.txt

Файл со списком ключей-вопросов.

Записывается в виде: одна строка - один ключ-вопрос.

Берется случайная строка с удалением.

Выходные Данные:

Папка temp.

Промежуточная папка, в которую записываются ссылки на собранные темы.

В дальнейшем из этой папки берутся ссылки для обработки.

В конце выполнения шаблона данная папка должна быть пустой.

Папка result.

Внутри папки создаются папки с именами ключей, по которым были собраны вопросы. В них записываются файлы с результатами парсинга.

Файл имеет название спарсенного вопроса. Результат в файле записывается в виде:

Вопрос

Ответ

Входные настройки Zennoposter шаблона:

1. Выбор файла, из которого будут использоваться прокси (в случае, если прокси будут использоваться из проксичекера, или не будут использоваться вообще, переменную оставить пустой).