Сбор статистики продаж на 3ddd

Автор
Сообщение
На сайте c 14.06.2012
Сообщений: 14948
Москва
Цитата kophysty:
Подумал, что есть еще второй вариант, который будет намного медленнее, особенно если у пользователя 100+ моделей, но избавит от необходимости использовать сторонние сервисы. Через библиотеку Selenium можно работать непосредственно с браузером пользователя, тогда пользователь будет сам логиниться и вводить свои данные через стандартную форму в браузере. Далее при пользователе скрипт начнет последовательно перебирать все страницы, с которых нужно собрать информацию. Опять же потребуется время, чтобы переписать и протестировать скрипт в таком варианте. Но хотелось бы, прежде оценить потребность в этих доработках, насколько вообще стоит этим заниматься.

Так это и должен быть основной вариант. Вы же понимаете, что никто в своём уме не согласится скармливать неизвестному экзешнику свою учётку.

А в целом я не знаю, почему сам сайт не даст такую статистику в профиле юзера. Уверен там её выше крыши и два прицепа ещё.

На сайте c 02.10.2015
Сообщений: 1901
Одесса
Mozart:
Политика

Пожизненный бан

Тут кто-то продаёт что-то?

На сайте c 28.05.2015
Сообщений: 141
Москва
Цитата Slazzo:
JS скрипт можно запустить уже в залогиненую сесию

Такой вариант подходит для решения разовых задач, но навскидку пользовательский JS-скрипт не поможет решить нашу задачу, т.к. в формате обсуждаемого варианта мы храним и обрабатываем статистику локально на компе пользователя. Если мы будем запускать JS-скрипт в залогиненной сессии, мы не сможем брать информацию из локальных .json файлов, в которых хранится информация от предыдущих сессий. Аналогичная проблема встает и с передачей собранной статистики обратно на комп пользователя для сохранения в .json, обработки и выгрузки в .csv.   

Selenium под phyton будет делать все примерно то же самое, но только с компа пользователя и без костылей, которые нас ожидают в случае с JS.

Исходник текущего скрипта: https://github.com/kophysty/3ddd_parse.git 

Выложу тут обновленную версию скрипта, когда будет готова. 

буду рад взаимодействовать с администрацией сайта, если будет какая-то обратная связь и работать в озвученных условиях, а пока - решаем вопрос, как можем 

На сайте c 14.12.2007
Сообщений: 842
Краснодар
Цитата mr.spoilt:

страшно, согласен. Надеюсь, что к обновлению 34 года прикрутят эту фишку на сайте.

что делать если я верю в биток к 34ому году, больше чем в статистику к 34ому году?! думаю ответ вы знаете )))

На сайте c 19.06.2021
Сообщений: 29
Для подобной задачи надо экстеншен для браузера писать ну или на край заставить юзера раз в n месяцев открыть dev tools (F12) и скопировать PHPSESSID куку для того, чтобы софтина могла залогиниться и парсить данные из аккаунта.
На сайте c 28.05.2015
Сообщений: 141
Москва
Цитата pocmok:
заставить юзера раз в n месяцев открыть dev tools (F12) и скопировать PHPSESSID куку

Да что вы!  Тут разгадывание капчи бурю негодования вызвало, а вы про поиск и копирование пользователем данных из dev tools своими руками говорите. Facebook по F12 большими красными буквами предупреждает, что это опасно.    

Кроме того, расширение для браузера столкнется с теми же проблемами, что и скрипт на JS, которые я описал выше – невозможность обновлять локальные файлы на пользовательском компе (вернее это возможно, но это будет уже нарушение правил безопасности браузера). А хранение данных статистики пользователей где-то кроме их компа я даже не рассматриваю по ряду очевидных причин.  

На самом деле скрипт уже переписан на selenium и отлично у меня работает, так что скоро выложу его тут для тестирования, осталось только видос записать с демонстрацией работы.   

На сайте c 14.06.2012
Сообщений: 14948
Москва
Цитата kophysty:
На самом деле скрипт уже переписан на selenium и отлично у меня работает, так что скоро выложу его тут для тестирования, осталось только видос записать с демонстрацией работы.

На сайте c 28.05.2015
Сообщений: 141
Москва
Цитата Slazzo:
видно что даже не интересовались вопросом прежде чем сделать выводы, есть Client-side storage как раз для JS, есть также возможность сгенерироывть файл предложить узеру сохранить в файл без никаких плагинов все уже в браузерах

Не хочу ни с кем соревноваться и на звание гуру в JS не претендую. Но спасибо за ваше участие, приятно, что все большей людей предлагают разные варианты решения задачи.

Речь шла именно об автономном сохранении файлов самой софтиной по заданной структуре папок. Я понимаю, что пользователь может и сам указать путь для сохранения файла и этот вариант удобен в случае, если нужно сохранить один-два отдельных файла. Но логика моего скрипта построена так, что он анализирует локальные .json файлы, сохраненные ранее, затем сохраняет новый .json и после этого снова перебирает локальные .json-ы, чтобы сохранить финальный .csv. Есть еще ряд сценариев, которые также, скорее всего, вызовут трудности. Можете заглянуть в мой Github за подробностями, если вам действительно интересно. Соответственно пользователю нужно будет указывать пути и расположения .json-ов при каждой итерации или обращении скрипта к файлам. А т.к. в перспективе возможно сохранение и добавление в .csv имиджей для каждой модели, которые тоже нужно будет сначала сохранить локально, генерирование графиков и проч., то и для этого также потребуются доп. действия от пользователя. Как по мне, то все это очень сложно. Пока мне эта схема видится тупиковой.   

Поэтому на данный момент скрипт написан именно на python. Да, есть свои нюансы, но пока я считаю, что для парсинга/анализа это оптимальный вариант.

На сайте c 23.01.2021
Сообщений: 70
Nightt:
политика

Пожизненный бан

вот если бы ты придумал статистику у кого что лучше продается - и самое важное "КАК" ото было бы веселее)Я бы даже сказал саму идею - а не написание - я бы на питончике тебе бы нашкрябал бы кодишку.. А так штука 50:50. Он то систематизирует все продажи в картину -  но ведь согласишь куда интересней что лучше продаеться у соседа)smiley-biggrin.gif

или еще лучше) статиску по запросам в поисковике)Запросы - днязапросы - неделизапросы - месяца ))

На сайте c 19.06.2021
Сообщений: 29

Вот только как будут сравниваться продажи моделей загруженных в разный период времени. Первая модель продавалась с 50% отчислениями, а вторая к примеру с 55% и бОльшая сумма с ее продаж может ввести в заблужение.

На сайте c 28.05.2015
Сообщений: 141
Москва

Как обещал, обновил скрипт и записал видео с демонстрацией его работы.

Открытый код скрипта можете посмотреть / скачать с моего репозитория на GitHub: https://github.com/kophysty/3ddd-parser-selenium 

Готовый к работе скомпилированный exe-шник с рабочей структурой папок можно скачать здесь:https://disk.yandex.ru/d/IU099FZV2mjujQ 

Видео с демонстрацией работы: https://www.youtube.com/watch?v=2st2JEMZ_yY 

Хотел сначала затереть цифры в видео, но без них, на мой взгляд, смысл демонстрации убивается напрочь. Плюс, подумал я, может быть, сделаю приятное кому-то, кто так хотел посмотреть на чужую статистику продаж. Мне особо хвастаться не чем, но с драной овцы – хоть шерсти клок ) 

Еще раз в двух словах основное по работе скрипта:

1.     Запускаем скрипт

2.     Логинимся в браузере, нажимаем букву ‘y’ и затем Enter

3.     Скрипт собирает статистику продаж из вашего аккаунта

4.     В папке “Result” cохраняется .csv файл со всей собранной информацией

5.     При повторном запуске скрипт сравнивает сохраненное ранее с текущими обновлениями в аккаунте и создает новый файл с новой датой. (если скрипт повторно запущен в этот же день, то .csv с текущей датой просто перезаписывается)          

* теперь берегите папку “dates”, так в ней хранится вся ваша собранная ранее статистика. Перед созданием .csv файлов скрипт анализирует именно ее.

На сайте c 14.06.2012
Сообщений: 14948
Москва
* а если не уберёг? Не фатально же?
На сайте c 28.05.2015
Сообщений: 141
Москва
Цитата Yehat:
* а если не уберёг? Не фатально же?

да нет, конечно. Просто тогда во-первых: статистика продаж опять рассчитается исходя из усредненных значений, а не точных; второй момент: нельзя будет составить сравнительную характеристику продаж на 3ddd и 3dsky за предыдущий период. Я планирую добавить такой показатель для каждой модели в ближайшее время 

На сайте c 20.04.2014
Сообщений: 1445
Россия!

Оно вроде интересно, но вроде и бесполезно, потому что текущие данные очень неточные.

Точными их можно сделать, если спарсить и работать с данными, во вкладке "История операций", там при клике по транзакции открывается таблица с точными данными, датой продаж и ценой продажи.

Я веду полный учет по всем стокам с 2012 года, правда все это в экселе, но есть ряд проблем, которые я пока не решил, просто потому что эксель уже плачет, когда я его заставляю все считать. 

Может у Вас есть идеи, в чем можно реализовать учет большого количества моделей? Я вот на Access смотрю, но там надо мне разбираться.

На сайте c 28.05.2015
Сообщений: 141
Москва
Цитата mr.spoilt:

Точными их можно сделать, если спарсить и работать с данными, во вкладке "История операций", там при клике по транзакции открывается таблица с точными данными, датой продаж и ценой продажи.

Вау. Спасибо вам за этот пост, вы мне просто глаза открыли (вероятно, не только мне). Я, честно, не знал, что все продажи по всем моделям хранятся на сайте в таком виде. Я представляю, каким дьявольским смехом смеялись админы, когда наблюдали за нашими потугами рассчитать ранние продажи.  

Что ж. Придется снова переписать скрипт, но уже основываясь на точных данных продаж всех моделей. 

А по поводу скорости работы excel, думаю, проблема решится, т.к. все цифры в этом случае у нас будет считать python, а не excel. Кроме того, .csv сам по себе легче, чем .xlsx, поэтому открываться тоже быстрее будет.   

На сайте c 19.06.2021
Сообщений: 29
Цитата mr.spoilt:
эксель уже плачет, когда я его заставляю все считать.
Чтож у вас за объем данных такой? Или может какие-то формулы сильно сложные?
На сайте c 28.05.2015
Сообщений: 141
Москва
Цитата Slazzo:
только у меня в "История операций" только вывод средств значится, и в "Статистике продаж" только история после последнего вывода?  

все транзакции - это активные ссылки, внутрь проваливаетесь и там продажи будут

На сайте c 20.04.2014
Сообщений: 1445
Россия!
Цитата pocmok:
Цитата mr.spoilt:
эксель уже плачет, когда я его заставляю все считать.
Чтож у вас за объем данных такой? Или может какие-то формулы сильно сложные?

Много тысяч продаж, на разных стоках, по каждой модели идет расчет ее стоимости, при этом сеты разбиты пропорционально на индивидуальные модели, в общем, у меня по модели график продаж можно увидеть, окупаемость, потому что я также работаю по таймеру и на каждые модели у меня есть затраченное время, также у меня часть работы выполнялась помощницей и она с продаж совместных моделей имеет свой процент, поэтому и процент высчитывается. Также я считаю комиссии и чистую прибыль, короче, там много всего. Может показаться, что это все пустая трата времени и тут я промолчу, но на все это я потратил совсем немного времени, а внесение данных вручную без парсера - дело двух минут для каждого стока и это обычно я делаю в день выплаты. К тому же я еще с двумя организациями работаю по другой деятельности, там тоже учет выполненного, авансы, зп, в общем, ненавижу бухгалтерию, но пришлось ее вести.  

На сайте c 14.06.2012
Сообщений: 14948
Москва
За графики плюсик!
На сайте c 20.04.2014
Сообщений: 1445
Россия!
Цитата Slazzo:
Цитата kophysty:
все транзакции - это активные ссылки, внутрь проваливаетесь и там продажи будут

примерно 200 линий JS скрипт с графиками и парсерами, пока что не доделанный но уже рабочий,

и у меня к сожеленю только одна модель на продаже но должно работать хоть с сотнями,

разделение по цветам и фильтр вроде тоже есть, вертикальные маркеры это сума и время вывод бабосов,

если есть желание допилить отпишитесь я уже на это потратил часиков 4 и опоздал в паб  

) Нормально. 4 Часа, ну даже если увеличить срок в 10 раз на тесты, баги, допиливания, что-то мне говорит, что администрация просто не делает статистику для пользователей, не потому что сложно, а потому что потому.

Это Расширение для браузера?

Читают эту тему: