Сбор статистики продаж на 3ddd

UPD от 22.07

Тут все время буду выкладывать последнюю самую актуальную версию. Тестируем скрипт и отписываемся о результатах. Принцип работы такой:

1.Качаем с Яндекса по ссылке папку со скриптом и exe-шником в любое место, 2. Запускаем файл 3ddd_stat_collector.exe 3. Логинимся в открывшемся окне браузера (закрывать другие версии браузера, разлогиниваться и проч. - не нужно, но у вас обязательно должен быть установленный Chrome) 4. Наблюдаем за тем, как скрипт собирает статистику со страниц с вашими моделями  5. В папке Result по пути скрипта ищем .csv с сегодняшней датой - открываем в excel и изучаем полную статистику продаж своих моделей за все время продаж  6.  Любуемся открывшимся в браузере графиком продаж.  7. При повторном запуске скрипт сработает уже намного быстрее и добавит в таблицу только последние изменения.

Ссылку на GitHub кидаю для того, чтобы сомневающиеся всегда имели возможность изучить открытый код каждой новой версии скрипта.   

Скрины полученных из скрипта данных - ниже в этом посте. 

Если что-то пошло не так (нет файла в папке Result, не появился график и проч.), то нажимаем в браузере F12, переходим во вкладку "Console" и ищем заголовок начинающийся с "!Python script error". Далее кидайте его в ветку или мне в личку и будем разбираться.  

Последняя рабочая версия:

GitHub V2.3: https://github.com/kophysty/3ddd-parser-selenium-v2.3 

 .exe V2.3:  https://yadi.sk/d/Rv7ImNsGdcdz_A 

---------------------------------------------------------------------------------------------

Всем привет! Начну с главного: речь пойдет о скрипте, который предназначен для сбора, анализа и хранения статистики продаж ваших моделей на 3ddd.

Лично для меня предложенная в профиле статистика очень неинформативна. Обладая небольшим количеством моделей (у меня их пока всего 7) всю статистику по продажам я переносил руками в excel. Но потом прикинул, что когда их будет 20, 30, 50 это будет уже не по приколу и нужно этот процесс либо автоматизировать, либо заканчивать заниматься ерундой.

В итого написал скрипт, который делает ЭТО. Вся доступная в профиле инфа по продажам собирается и выгружается в .csv файл в виде таблицы. Потом я подумал, что скрипт получился прикольный, а главное – полезный, и, скорее всего, он пригодится многим другим авторам. Так скрипт оброс дополнительными идеями, данными для сбора и добрался до бета-версии.

Общее описание скрипта

На данный момент он собирает в таблицу информацию, состоящую из двух основных блоков:

1.     Базовая первичная информация о моделях (собирается при первом запуске). Названия моделей, количество комментариев, лайков, дату загрузки, рендер, вес, количество продаж, сумму продаж с момента создания и до последнего вывода денег. Последний показатель – усредненный для каждой модели, он рассчитывается делением общей суммы выведенных средств на общее количество продаж и умножением на продажи каждой отдельной модели. На данный момент сортировка моделей происходит от наиболее прибыльной.    

2.     Накопительные данные о продажах – обновляются при каждом новом запуске. Это уже все точные цифры о продажах, которые доступны в профиле с момента последнего вывода гонорара в разделе «статистика продаж». Тут все просто: дата, сумма продажи и показатель количества продаж в день (подробнее об этом ниже). Данный блок обновляется после каждого запуска скрипта – он проверяет все новые данные по всем моделям и добавляет их к выгруженным ранее. Также после каждого запуска новые комментарии и лайки будут добавлены в скобках в соответствующих графах. Новые модели добавляются новым столбцом. Логично запускать скрипт каждый раз перед выводом денег, т.е. до «обнуления» информации в разделе «статистика продаж». Но можно это делать и чаще – скрипт просто обновит/добавит данные, если таковые есть.

Также для каждой модели добавил такой показатель как «продажи в день» – это, своего рода, дополнительный (на мой взгляд даже более важный и интересный) показатель эффективности модели помимо общего дохода – скорость продажи. Т.е. модель может за два года принести 10 000, а может за два месяца.

Вся эта информация сохраняется локально на компе пользователя в виде билдов в формате .csv после каждого запуска скрипта.      

Принцип работы и нюансы

Чтобы сразу развеять чьи-то возможные опасения скажу, что скрипт не хранит и не собирает личных данных пользователя, поэтому для запуска каждый раз нужно логиниться с вводом логина и пароля. Все данные о продажах также хранятся только локально на вашем компе. Т.к. вся информация выгружается в .csv файл, то таблица выводится без форматирования / стилизации. Такое полотно с данными, но на мой вкус вполне удобоваримое и читаемое. Если скрипт будет востребован, то в будущем, возможно, добавлю интерфейс с доп. настройками сортировки, экспорта и оформления данных для лучшего восприятия / читаемости. Пример, как выглядит таблица на основе моего аккаунта – во вложении. Деньги замазал, на всякий случай, вдруг какие-нибудь правила нарушу :)

Для работы скрипта нужно зарегистрироваться в сервисе rucaptcha.com, это сервис, который разгадывает каптчу. Без этого бот не сможет подключиться к аккаунту и загрузить данные. Одно разгадывание капчи стоит в сервисе 16 копеек. Т.е. даже если каждый день в течение года снимать статистику, то это обойдется примерно в 120 руб. Более элегантного решения пока не придумал.

Пока скрипт работает через командную строку. Принцип простой: запускаем exe-шник, скрипт подсказывает вам все, что требуется ввести, далее немного ждем и получаем .csv файл со всеми собранными данными.

Дальнейшие планы

Как я уже сказал выше, если скрипт будет востребован и появится какая-то дополнительная мотивация, то возможно добавлю более дружественный интерфейс с возможностью дополнительных опций, типов сортировки и прочего.  Также в планах есть добавить шифрование собираемых данных и привязку конкретной копии скрипта к макадресу.

Пока скрипт находится на стадии тестирования и его работа опробована только на моем аккаунте. Наверняка всплывут баги и ошибки. Поэтому для его дальнейшего развития требуются человек пять бета-тестеров, которые будут готовы в течение некоторого, неопределенного пока периода, протестировать его у себя, давать подробный фидбек, проверять полученные цифры, сообщать об ошибках, делиться идеями по улучшению. Желательно, чтобы у тестировщиков был большой объем моделей, чтобы проверить как скрипт справится с работой над сбором большого объема данных.  

Пока это все, что я хотел рассказать. Хотелось бы верить, что работа проделана не зря и скрипт будет востребован. Буду рад вашим комментариям, пожеланиям по функционалу, идеям. Добровольцев прошу откликнуться здесь же в теме, как наберется несколько человек – подготовлю инструкцию, как и что делать.  

бот подключается к моему аккаунту? серьезно?

... подожду когда Марат с Мишей что то запилят, "скоро"... 

Рак на горе уже два раза свистнул и слон в зоопарке сдох, а мы всё ждём статистику.

Даже если скрипт безвредный и пушистый, то вот такое отображение через Эксель это

Хотелось бы подробностей в этом месте.

Yehat

По слухам можно выбрать розовый фон

токен с рукаптчи, логин, пароль

на основе собранной информации такое сравнение в скрипте можно запросто реализовать. 

Количество покупок почти ничего не говорит о том, сколько принесла модель. Цены то разные по времени и по месту покупки.

Ну не знаю, чет как-то неее.

На мой взгляд excel - лучший инструмент для анализа данных и продаж. Возможность экспорта данных в excel, лично для меня - это очень удобная и полезная функция. 

Во-первых, как тут уже заметили выше, вы можете анализировать продажи по сезонности.

Во-вторых можно видеть какая модель популярнее на 3dsky, а какая на 3ddd

В-третьих вы можете увидеть, какая модель быстрее всего продавалась, а не больше всего принесла. На мой взгляд это даже более важный показатель. По этому показателю более правильно оценивать новые модели. Если у вас в топе продаж висит модель 5-летней давности, это уже не особо актуальная информация

В четвертых - анализировать продажи, это в принципе интересно. 

Вероятно, мое мнение измениться, когда у меня будет 250 моделей, как у вас и я вообще забью на анализ, но пока мне скрипт кажется очень полезным помощником.

Страшно, согласен. Надеюсь, что к обновлению 34 года прикрутят эту фишку на сайте.

.csv формат, в который собираются данные этим скриптом не поддерживает форматирования. Это просто сухая таблица, которую можно открыть в экселе, об этом я написал в первом посте.

Если бы было ради чего стараться, то скрипт мог и бы и красивые экселевские файлы с форматированием создавать и в виде собственного интерфейса с сортировками и фильтрами всю инфу отображать. Вопрос нужности и мотивации.

да это без проблем, можно и на github исходник выложить. В Ехе скомпилирован, чтобы пользоваться проще было: запустил - получил .csv с данными. Вряд ли кто-то из пользователей захочет себе доп библиотеки ставить, чтобы пользоваться скриптом. 

Поясните, пожалуйста, по поводу JS не очень понял, как вы это видите. Переписать можно, но это дольше, труднее и какой смысл? Сейчас он написан на phyton, если переписать, суть не изменится - в любом случае, чтобы данные парсить, скрипту нужен доступ к аккаунту, а для этого нужно разгадать каптчу, ввести пароль и логин, на каком бы языке он не был написан. Или у вас есть иное виденье, как можно доступ к статистике получить? 

Если доступ даст юзер (залогинится сам вручную), скрипт же может просто собрать инфу с нужных страниц, да? И капчу в баню, плиз, она вообще не при делах.

Круто бы ещё графики строить, это наглядней. Например, график общего дохода по месяцам от самого начала.

Странно, меня без капчи пускает.

В целом, идея более подробной статистики отличная. Хоть у меня и нет моделей, за которыми нужно следить, но ценность статистики  я понимаю. Хорошо бы ели б в ЛК была бы кнопочка "скачать CSV" .

По самому скрипту, я вижу две проблемы:

1) Логин и пароль. Как многие здесь писали, логином и паролем не особо то и хочется делится. Да, конечно, все понимают, что без этих данных не удастся получить доступ к статистике, но всё же вводить их в какие-то скрипты почему-то не особо хочется.

2) rucaptcha.com - вы серьёзно? Капча - это защита от ботов. А Ру-капча это сервис, который обходит эту защиту. И вы на этом форуме, предлагаете скрипт (по сути бота), который обходит систему защиты этого форума. Так до бана не далеко. Причём и для вас и для тех, кто использует скрипт.

Если найдёте способ как решить две этих проблемы, тогда найдётся люди, которые захотят пользоваться.

Может стоит предложить этот скрипт разработчикам, чтоб они его в ЛК интегрировали?

Цитата Yehat:

Поясню. На данный момент сбор статистики происходит путем непосредственного обращения скрипта к серверу через requests. Это самый быстрый способ собрать статистику. В этом случае ему нужно обязательно залогиниться на сервер, так же как пользователю, загрузить текстовую информацию, обработать, проанализировать и сохранить в заданном виде в формат .csv файла. Соответственно, решение каптчи неотъемлемая часть этого процесса, а сам скрипт решить ее не может, поэтому подключаем рукаптчу. 

Подумал, что есть еще второй вариант, который будет намного медленнее, особенно если у пользователя 100+ моделей, но избавит от необходимости использовать сторонние сервисы. Через библиотеку Selenium можно работать непосредственно с браузером пользователя, тогда пользователь будет сам логиниться и вводить свои данные через стандартную форму в браузере. Далее при пользователе скрипт начнет последовательно перебирать все страницы, с которых нужно собрать информацию. Опять же потребуется время, чтобы переписать и протестировать скрипт в таком варианте. Но хотелось бы, прежде оценить потребность в этих доработках, насколько вообще стоит этим заниматься. 

да, это все можно реализовать даже в .csv файле. И картинки моделей подтягивать для наглядности. 

потому что, каптча невидимая

да, все верно, именно это я и предлагаю - скрипт-бота, который помогает пользователю собрать данные в .csv файл )

Подумаем над вторым вариантом, который я озвучил. 

И, как обещал, выложу все на GitHub. Чтобы все было прозрачно.