Как сохранить всю стену вконтакте на компьютер. Граббер свежих постов из поиска. Соображения по ходу разработки

Программа для автоматического продвижения сообществ путем граббинга записей (постов) из одного сообщества ВКонтакте в другое. В данной программе предусмотрено огромное количество различных настроек и опций, что позволяет настроить программу под абсолютно любые нужды.

Граббер всей стены ВКонтакте:

Онлайн граббер ВКонтакте

Вот полный список опций и настроек, которые можно указать и установить при настройке граббера под себя:

Реклама ВКонтакте

• Постинг только в определенное время с возможностью указания времени начала и времени завершения (время задается в часах и минутах)
• ; допускаются как свои, так и чужие сообщества
• Указание интервала обновления, то есть интервала между повторной отправкой поста;
• Возможность прикрепления к публикуемому посту картинки, выбираемой на компьютере
• В случае создания новых постов можно указать: количество минут, через которое необходимо завершить постинг, и стоит ли удалить ли пост по завершении; а также количество минут, на протяжении которых не нужно публиковать посты в выбранное сообщество

Реклама репост ВКонтакте

• Указание ссылки на сообщество-приёмник
• Указание интервала обновления, то есть интервала между повторной отправкой поста
• Возможность выбора между созданием нового поста в группе-приёмнике или обновлением уже ранее созданного
• в случае создания новых постов можно указать: количество минут, через которое необходимо завершить постинг, и стоит ли удалить ли пост по завершении; а также количество минут, на протяжении которых не нужно публиковать посты в выбранное сообщество
• Указание ссылки на пост, который и будет репоститься в сообщество
• Указание текста сообщения, прикрепляемого к посту; сюда можно вписывать как обычный текст, так и различные ссылки

Граббер на комп

Вот полный список опций и настроек, которые можно указать и установить при настройке рекламщика под себя:

• Граббинг только в определенное время с возможностью указания времени начала и времени завершения (время задается в часах и минутах)
• Указание ссылки на сообщество-источник
• Выбор папки на компьютере, в которую граббить посты
• Указание номера поста для начала граббинга и номера поста, на котором граббинг необходимо закончить
• Возможность граббинга рандомно, то есть не с соблюдением порядка номеров постов
• Указание интервала между сохранениями постов в минутах
• Условия выбора постов: выбирать посты только с минимальным количеством лайков, репостов и комментариев

Граббинг с предпросмотром

Вот полный список опций и настроек, которые можно указать и установить при настройке рекламщика под себя:

Реклама репост лист

• Репост только в определенное время с возможностью указания времени начала и времени завершения (время задается в часах и минутах)
• Указание ссылки на сообщество-приёмник
• Указание интервала обновления, то есть интервала между репостами
• Указание ссылок на посты, которые будут репоститься
• Указание текста сообщения, прикрепляемого к посту; сюда можно вписывать как обычный текст, так и различные ссылки

Граббер свежих постов из поиска

Дополнительные функции по работе с граббером

• Добавление текста к копируемым постам: в начало поста, в конец поста
• Указание слов для замены в формате до::после
• Указание стоп-слов для пропуска ненужных постов
• Указание, грабить ли или не грабить хеш-теги из копируемых постов
• Возможность подписывать копируемые посты гиперссылками на группу-источник или автора, предложившего пост в группу-источник; плюс возможность добавления своего текста к этой подписи
• Указание, от кого грабить: всю стену, записи только от имени сообщества, записи только не от имени сообщества
• Указание, грабить ли репосты или нет
• Указание, грабить ли посты с видео: да, нет, вырезать видео из постов
• Указание, грабить ли посты с аудио: грабить, вырезать все аудио, не грабить посты с аудио, не грабить посты без аудио
• Указание, грабить ли посты с изображениями: грабить, вырезать все фото, не грабить посты с фото, не грабить посты без фото
• Указание, грабить ли посты с текстом: грабить, вырезать текст, не грабить посты с текстом, не грабить посты без текста
• Указание, грабить ли или не грабить посты со ссылками, а если грабить, стоит ли вырезать ссылки из копируемых постов
• Публикация поста репостом
• Указание, грабить ли посты с опросами; при этом сам опрос не копируется
• Указание подписи автора или администратора, с аккаунта которого выполняется граббинг
• Указание, стоит ли использовать водяной знак: да/нет; если да, то можно выбрать место его расположения (слева сверху, слева снизу, справа сверху, справа снизу); изображение водяного знака необходимо выбрать на своем компьютере

Некоторые преимущества и особенности программы VKDog:

• Граббер записей (постов) из сообщества в сообщество ВКонтакте
• Онлайн граббер новых записей (постов) из списка сообществ в сообщество ВКонтакте
• Реклама ВКонтакте – постинг нужной записи (поста) в сообщество ВКонтакте многократно через указанный период времени
• Реклама репостом ВКонтакте – репост нужной записи (поста) в сообщество ВКонтакте многократно через указанный период времени
• Граббер на комп – сохранение записей (постов) из сообщества ВКонтакте на компьютер в файл формата xml
• Граббер с предпросмотром – копирование записей (постов) из сообщества ВКонтакте в промежуточное сообщество для ручной премодерации
• Реклама репост лист – репост списка нужных записей (постов) в сообщество ВКонтакте многократно через указанный период времени
• Граббер свежих постов из поиска – копирование в своё сообщество только свежих записей (постов) из поиска ВКонтакте по ключевым словам
• Проверка всех указанных аккаунтов ВКонтакте на валидность
• Поддержка сервисов распознавания капчи Antigate.com и RuCaptcha.com
• Возможность управления созданными заданиями: включить все или отключить все
• Анализ списков стоп-слов и слов замены для анализа и обработки записей (постов) при публикации
• Возможность установки названий для заданий для наибольшего удобства при работе с ними в большом количестве
• Возможность принудительного сохранения всех настроек и введенных в программу данных
• Ведение лога событий программы
• Лёгкость использования

Чтобы выгрузить все записи из группы Вконтакте или сохранить посты Вк вам нужно скачать Вкдог и воспользоваться следующей функцией.

Выгрузить все записи из группы вк и сохранить посты:

Граббер на комп.

С помощью этой функции вы можете скачать и сохранить все записи со стены Вк. Грабер может копировать фото вконтакте или сразу сохранить текст и фото (ссылку в вк).
Копировать можно в специальный XML файл (привязка текст+ ссылка на картинку в ВК);
Либо можно скачать фото в папку на комп, а текст сохранить в блокнот, если вам нужна такая возможность- пишите в нашу ТП.
В Вкдоге предусмотрен отдельный парсер текста постов со стены вк на ваш компьютер.

Непростая ситуация обстоит с сохранением видео вконтакте, т.к. это весьма технически затратный процесс. Далеко не у всех юзеров выдержит компьютер и соединение с интернетом, если сохранять видео в несколько потоков или даже в 1 поток, но в фоновом режиме, т.е. чтобы вы могли заниматься чем-то еще помимо этого. Исходя из этого мы не скачивание видео на комп и не перезаливаем его в Вк, поэтому при обычном грабинге видео из источника и постинге к вам в группу Вк, в пост будет добавлено видео из источника, т.е. с его ссылкой, учтите это, пожалуйста.

Также не очень легко для вашего компьютера и соединения с интернетом сохранять на комп и выгружать к вам в группу альбомы фоток Вконтакте, поэтому их мы тоже не парсим в ваших же интересах.

Мы всегда открыты для ваших предложений, и если вам нужно спарсить или выгрузить все записи со стены вк, или что-то другое и нестандартное, то обязательно пишите нам.

С его помощью можно наполнить папку жесткого диска отличными постами для вконтакте, скачанные со стены любой группы.

Если вы еще не пользовались программой Вкдог рекомендую скачать ее и установить на ПК, зарегистрироваться и войти под своим логином.

Подготовим программу для пользования, а точнее добавим аккаунт вконтакте, успешно залогинемся, вставим ключ антикапчи. Как это сделать писалось ранее в этой статье.

Добавление задания на граббинг стены вконтакте с сохранением на компьютер

Жмем кнопку «+ Добавить задание ».

Выполняем последовательно три пункта:

1. Придумаем и запишем название данного задания, к примеру «мультиварки на компьютер». Странновато, но зато мне понятно, что группа про мультиварки а задание спарсить посты на компьютер. Главное писать, чтоб было понятно вам – название не влияет ни на что.
2. Выбираем во вкладках тип задания «Граббер на комп».
3. Из списка аккаунтов нужно указать тот, которым будет осуществляться данное действие.

Жмем «Продолжить».

Появляется окно с названием – «Сохранять на компьютер ».

В нем заполняем два поля:

Откуда грабить. В строку поиска сообществ социальной сети Вконтатке вбиваем ключевые слова, по которым будем искать группу для граббинга. Из выдачи подберем необходимую, я рекомендую вручную открывать и проверять наличие качественных постов для скачивания. Находим нужную и копируем в адресной строке браузера ссылку на нее. Вставляем в строчку (откуда грабить).

В какую папку грабить. Жмем «Обзор» - указываем путь к папке, в которую будем сохранять посты. Если таковой не имеется, то ее нужно создать. Ок - Продолжаем.

Настройка граббинга на компьютер – вирусность постов

В новом окне сразу бросается в глаза верхняя строка, отображающая количество постов в паблике. У меня это 1571.

Я ставлю галочку на случайном копировании постов из группы. Потому что не важна последовательность, я скачаю их все. Интервал между постами ставлю «1». Это ускорит процесс граббинга.

• Минимум лайков – 20
• Минимум репостов – 5
• Минимум комментариев – 0 (это не принципиально).

Напомню, что данные значения выставлять нужно под свои задачи. Чем выше требования будут указаны – тем меньше постов программа награбит, но их качество будет высоко. То есть они востребованы целевой аудиторией!

ГОТОВО! – задание на граббинг постов из вконтакте на компьютер добавлено.

В истории действий видно, как программа грабит посты с указанной группы в папку на жестком диске.

Сохраняются они в файл с расширением.XML.

Выводы

Данный тип задания подходит для тех, кому нужны посты в формате XML. Скачав их с группы по определенным параметрам, Вкдог сохраняет их в один файл.

Вкдог очень полезная программа, которая полна очень полезными функциями для качественного наполнения сообществ вконтакте. Разработчики, стараются отвечать современным потребностям администраторов и СММ специалистов по социальной сети Вконтакте.

По этому если вы планируете зарабатывать на ведении групп вконтакте, то вам просто не обойтись без этого помощника! . Наслаждайтесь работой хорошего софта!

Социальная сеть ВКонтакте – неисчерпаемый кладезь музыки. Здесь хранятся даже редкие музыкальные композиции, которых не найти в глобальной сети “днем с огнем”. Но вот незадача – их можно слушать, но нельзя скачивать на свой компьютер. Хотя… о чем это я? Нельзя – потому что сайт не дает пользователям такой возможности, но это другим, а не нам с вами.

Хотите знать, как скачать с ВК любую песню всего парой кликов мышью? Тогда читайте!

Семь способов бесплатно скачать музыку из VK

Веб-сервисы

Начнем с простого. Для скачивания аудиотреков с сайта ВК есть специальные веб-сервисы, которые не требуют ни регистрации, ни оплаты своих услуг: заходи и пользуйся. Таких сервисов немало, и работают они по схожему принципу. Рассмотрим пару самых популярных.

Audio-vk

Как скачать музыку из ВК с помощью Аudio-vk.ru ? Загляните – и сразу поймете. Вверху центрального поля находится поисковая строка. Введите название песни или имя исполнителя (автора) – и трек будет найден. Для сохранения кликните “Скачать”.

Download-Music-VKontakte

– чуть более “сложный” сервис, чем предыдущий. Кроме поиска по названию или исполнителю здесь присутствуют фильтры (выпадающие списки, обведенные рамкой на скриншоте):

• “Я” – загрузить музыку с вашей страницы.
• “Друзья” – загрузить музыку со страниц друзей.
• “Группы” – то же, из групп.
• “Популярное” – самые популярные композиции на сайте VK.

Второй список позволяет уточнить делали. Например, при выборе “Я” можно указать, откуда именно загружать треки – из аудиозаписей, альбомов (при выборе этой опции появится список ваших альбомов), со стены или рекомендуемое. Как пользоваться фильтрами, надеюсь, вы разберетесь без труда.

Если при открытии Download-music-vkontakte.ru вы не видите списки треков, разрешите доступ к аудиофайлам вашей страницы ВК, кликнув одноименную ссылку.

Приложения и плагины для браузеров

Плагин устанавливается на компьютер как любое приложение. Что он делает? Добавляет к каждому аудиофайлу на VK кнопку скачивания. Кнопка выглядит как стрелка, направленная вниз, и появляется при наведении курсора на трек. Рядом с ней отображаются размер, а также битрейт файла.

Кроме того, SaveFrom.net добавляет в браузер собственное расширение. Им удобно пользоваться для закачки всех музыкальных файлов, какие есть на странице.

Чтобы загрузить все песни из плейлиста, щелкните по значку расширения. Выберите “Скачать аудио файлы”.

В следующем окошке нажмите “Продолжить”. Треки начнут загружаться один за другим.

Плагин работает примерно так же, как SaveFrom.net. После установки на компьютер и перезапуска браузера рядом с кнопкой Play возле каждого музыкального трека на VK появится кнопка со стрелкой вниз. Нажатие на нее запускает процесс скачивания файла.

Дополнительно кнопка “Save” (“Скачать”) появляется под аудиоплеером.

– это приложение для загрузки аудиотреков с сайта ВКонтакте и не только. Оно работает независимо от веб-обозревателя, достаточно авторизоваться на ВК в самой программе.

Через меню “ВКонтакте” вы можете выбрать списки композиций, какие хотите загрузить в VKMusic – из своего аккаунта, аккаунтов друзей или групп, популярное или рекомендуемое. Скачивать можно несколько треков одновременно, кликнув по каждой композиции в списке и нажав “Добавить в закачки”. Также программа позволяет прослушивать музыку через встроенный плеер, а еще – создавать плейлисты.

Закачка музыки с сайта ВК без программ

Скачивать музыку из ВК можно “голыми руками”. Как? Продвинутые пользователи, наверное, уже догадались. А с теми, кто не понял, я поделюсь двумя несложными способами.

Скачивание по прямой ссылке

Каждый аудиофайл имеет собственный уникальный адрес в Интернете, откуда его загружает плеер во время проигрывания. Где хранится песня, нам не показывают, но эта информация есть в коде страницы. Оттуда мы ее и возьмем. Итак…

• Щелкнем правой кнопкой мышки по нужному аудиотреку. Выберем “Просмотреть код элемента”. Либо выделим трек и нажмем Ctrl+Shift+C.

• Внутри одного из тегов находится тег input type , где среди прочего есть прямая ссылка на композицию. Скопируем ее. Понять, что это именно та песня, которая нужна, поможет подсветка элементов в плейлисте: при наведении курсора на будет подсвечиваться кнопка “Play”.

• Вставим ссылку в адресную строку браузера и нажмем “Ввод”: откроется страница с аудиоплеером. Кликнем по нему правой кнопкой мышки и выберем “Сохранить видео как”. Как вариант – нажмем Ctrl+S.

Останется указать папку для сохранения – и композиция у вас “в кармане”.

Поиск аудиофайла в кэше браузера

При прослушивании музыки в Интернете браузер загружает каждую композицию в одну из своих временных папок (кэш). Это значит, нужные файлы уже находятся на вашем жестком диске, осталось только найти!

• Браузер Opera складывает эти данные в папку %LOCALAPPDATA%\Opera Software\Opera Stable\Cache;
• Google Chrome – в %LOCALAPPDATA%\Google\Chrome\User Data\Default\Cache;
• Mozilla Firefox – в %LOCALAPPDATA%\Mozilla\Firefox\Profiles\Имя_профиля\Cache.

Если мы заглянем в кэш любого браузера, то увидим, что файлы там сохраняются под непонятными именами без расширений. Как отыскать нужный:

• Во время проигрывания композиции на странице ВКонтакте отсортируем файлы в кэше по дате изменения. Теперь всё, что запускалось недавно, окажется наверху.

• Посмотрим на размеры файлов. Музыкальные весят никак не меньше 2,5 mb. В моем списке сверху расположился объект весом 8 257 kb. Я не сомневаюсь, что это песня, которая играет прямо сейчас. Выделяем ее курсором мыши и нажимаем F2 – появится поле для переименования. Дописываем в нем расширение “mp3”.

• После приписки расширения у файла появился значок музыкального плеера (в моем примере – AIMP). Щелкаем по нему, чтобы прослушать.

• Угадали? Отлично! Осталось дать композиции правильное название и перенести в более подходящее место.

Еще раз напомню, что все рассмотренные способы сохранения музыки с сайта VK абсолютно бесплатны. И, как вы заметили, весьма просты. Пользуйтесь и наслаждайтесь!

Введение

Добрый день, давно я ничего не писал - много было причин. За это время накопилось достаточно большое количество материала и я постараюсь его сюда выставить как можно полнее. Сегодня я хочу рассказать о работе с API контакта через Python, а примером послужит - скачивание стены журнала Евгений Онегин. Глава 11 . Если вам лень читать как я всё это делал, а охота поскорее скачать свою стену, переходите сразу к разделу "Отчёт и тестирование".

Подготовка

$ sudo python2 ./setup.py install $ python2 Python 2.7.5 (default, May 12 2013, 12:00:47) on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> import vkontakte
После установки мы можем пользоваться функционалом этой библиотеки, однако с некоторых пор стало обязательным создание окна браузера, чтоб пользователь там ввёл свои логин и пароль, и только потом мы получили token_id для работы с API питона. Чтоб не лезть в эти дебри можно прикинуться окном броузера, фиктивно ввести туда валидные логин и пароль и получить свой законный токен. В этой статье рассказано более подробно про этот маленький хак. В результате статьи был создан класс авторизации, в который сообщается логин, пароль, идентификатор приложения, запрашиваемые права. Я немного подредактировал этот файл, так как он не работал. Скачать мой вариант можно .

Первые шаги

#!/usr/bin/env python3 # -*- coding: utf-8 -*- import vk_auth import vkontakte def main(): (token,user_id) = vk_auth.auth("$EMAIL", "$PASSWD", "$ID_APP", "$SOPE") vk = vkontakte.API(token=token) print "Hello vk API , server time is ",vk.getServerTime() return 0 if __name__ == "__main__": main()
Ничего сложного - импортируем класс авторизации, импортируем библиотеку c API, получаем токен и идентификатор, используем АПИ-шные функции.

Пример

Техническое задание

• Имя пользователя
• Пароль
• Идентификатор группы\паблика\страницы
• Количество постов для скачивания
• Начиная с какого сообщения скачивать
• На сколько HTML блоков разбивать

Реализация

Posts = vk.get("wall.get", owner_id=owner_id,offset=offset,count=count)
После выполнения этого кода в posts запишется count постов со смещением offset . Стоит обратить внимание, что на количество скачиваемых постов есть ограничение и, если я не ошибаюсь, оно равно 100. Я взял значение 50, как оптимальное количество скачиваемых постов за 1 итерацию цикла. В прошлом листинге я выделил 2 функции: скачивание постов get_posts () и форматирование в HTML posts_to_html() , и поставил на них заглушки. Теперь я заполняю get_posts() кодом, который привёл выше. В техническом задании ещё требовалось скачать все комментарии к коду. Я разделил функцию скачивания постов и оформления их в html, а значит скачивание комментариев должно производиться вместе со скачиванием постов и записываться в одну переменную. Благо, JSON - формат динамический и его несложно дополнить одним полем, в котором будут храниться комментарии.
В документации находим функцию скачивания комментариев и реализуем. Функцию скачивания поста с комментариями разобьём на 2 функции - скачивание поста и скачивание комментариев к нему. Получаем вот такой код:

Def get_comments(vk,owner_id,post_id,count): size = 50 comments = if(count0): post_id = posts[i]["id"] comments = get_comments(vk,owner_id,post_id,coments_count) posts[i]["comments"]["data"]=comments print len(comments),coments_count return posts
Теперь функция get_posts вернёт посты, в которых в поле comments.data будут храниться комментарии к ним.
На этом работа со скачиванием данных закончена.Необходимо ещё из этой всей канители сформировать красивые HTML странички. Скажу честно - для меня это самый адский труд. Но других путей нет - вперёд.

Формирование HTML страниц.

Скачивание Данных.

$wget -B -k -r -l0 --force-html -i name-*.html -P ./data

Одно только НО - wget скачает всю информацию, но не преобразует ссылки.Может, конечно, он это и умеет делать, но я не нашел как. Поэтому в питоне мы напишем преобразование от любого контактовского адреса хранения фото\аудио в ссылку на рядом лежащую папку {ИмяГруппы}_{НомерТома}data. Я умышленно разделил имя группы и номер тома, чтобы можно было переместить за собой только один том и не тащить за собой несчётное количество информации, которая не используется.

Def convert_lincs(txt,folder,recurce = 0): out = re.sub("http://",folder,txt) return out
Как видите, благодаря мощи регулярных выражений эту задачу мы решили в 1 строку.
Ещё я столкнулся с проблемой постоянно прерывающийся связи (у меня плохой интернет) и отказа со стороны Контакта из-за высокой частоты запросов. Эти 2 фактора периодически валили программу, поэтому я сделал отказоустойчивые обёртки для всех методов обращения в интернет, которые использовал. Получилось вот так:

Def wall_getComments(vk,owner_id,post_id,count,recurce = 0): if (recurce ==20): return try: com = vk.get("wall.getComments", owner_id=owner_id,post_id=post_id,count=count) except: time.sleep(1) print "Error wall_getComments try ",recurce com = wall_getComments(vk,owner_id,post_id,count,recurce = recurce+1) return com def wall_get(vk,owner_id,offset,count,recurce = 0): if (recurce ==20): return try: res = vk.get("wall.get", owner_id=owner_id,offset=offset,count=count) except: time.sleep(1) print "Error wall_get try ",recurce res = wall_get(vk,owner_id,offset,count,recurce = recurce +1) return res def users_get(vk,uids,fields,recurce = 0): if (recurce ==20): return try: res = vk.get("users.get",uids=uids,fields="photo") except: time.sleep(1) print "Error users_get try ",recurce res = users_get(vk,uids,fields,recurce = recurce +1) return res def groups_getById(vk,group_ids,recurce = 0): if (recurce ==20): return try: res = vk.get("groups.getById", group_ids=group_ids) except: time.sleep(1) print "Error groups_getById try ",recurce res = groups_getById(vk,group_ids,recurce = recurce +1) return res
При отказе сети или ошибке получения данных я жду полсекунды и повторяю попытку.

Отчёт и тестирование

$ python ./WallCopy.py File "./WallCopy.py", line 40 print "%s Failure"%"wall_getComments" ^ SyntaxError: invalid syntax
Программа выдаёт справку на аглицком если запустить её с ключём -h. Для ленивых перевожу на русский:

• -e EMAIL, --email=EMAIL Имеил для авторизации
• -p PASSWD, --passwd=PASSWD Пароль для авторизации, если вы его не задали в явном виде, программа попросит вас ввести его вовремя выполнения.Конечно пароль будет невидим.
• -i GID, --groupid=GID Идентификатор группы, стену которой необходимо скачать
• -c COUNT, --count=COUNT - количество постов, которые необходимо скачать. Если не задано - выкачивает все записи со стены.
• -f OFFSET, --offset=OFFSET - смещение, с которого необходимо начать скачивание, если не задано, то 0.
• -s SPLIT_NUM, --split=SPLIT_NUM - количество блоков, на которые разбить скачанные посты, если не задано, то 1
• -a APP_ID, --app_id=APP_ID - идентификатор приложения, которое вы получили зарегестрировавшись (если не указано, то используется мой идентификатор приложения)
• -d DOWNLOAD, --download_all=DOWNLOAD - ключ, который определяет, следует ли загружать мультимедиа. Возможные значения:
• 0 - Не загружать (по умолчанию)
• 1 - загружать после того, как основная информация загрузится

python2 ./WallCopy.py -e EMAIL -i GROUP_ID

При этом загрузятся все записи со стены с нулевым смещением, но ссылки останутся абсолютными. Пароль программа спросит в интерактивном режиме, а остальные опции примут значения по умолчанию.

Расширенный пример использования:

python2 ./WallCopy.py -e EMAIL -p PASSWORD -i GROUP_ID -c 1000 -f 500 -s 8 -a APP_ID -d 1

При этом загрузится 1000 постов со смещением на 500 и разобьётся на 8 томов, и картинки с музыкой загрузятся на компьютер.

На данном этапе есть много вещей, которые программа не поддерживает, а хотелось бы:

1. Загрузка только фото и игнорирование музыки;
2. Более похожий дизайн на Vk;
3. Превью Видео;
4. Требование Linux (wget)
5. Поддержка только Python 2.X
6. Использование ООП