plugin.program.bscfusion и google analytics - събиране на данни за нашата активност

[nikolay]

Здравейте колеги,
Наскоро публикувах тема за актуализации на мапинг скрипта за tvheadend 4.2 и понеже бях прекарал известно време разглеждайки кода, реших да погледна и какво прави самата коди приствка. За мое голямо учудване, видях, че зависимостта на пристваката от 'script.module.garepobg' е само и единствено заради изпращането на нашата потребителска активност на сървърите на гугъл за анализиране на данни.

Ако погледнете тук, ще видите как google analytics частта се изпраща към ga.py от 'script.module.garepobg', която пък качва вашата активност към този акаунт: UA-61449088-3.

Какво точно се качва?
При първоначално стартиране на HTTP сървъра от адона, се изпраща 'start', и в последствие, всяка една интервенция с него също се записва, най-често превключването на каналите. Накратко:
{'dl': None, 'ea': 'start', 'ec': 'bsc_serv', 'an': 'Fusion TV', 'av': '0.0.2w', 'ev': '1'}
{'dl': None, 'ea': '/id/btv', 'ec': 'bsc_serv', 'an': 'Fusion TV', 'av': '0.0.2w', 'ev': '1'}
...
и така нататък.

Накрая, в гугъл анализатора тези данни, заедно с вашето местоположение - град, държава, дата и час на всяка една от вашите активности от плъгина(в колко часа сте превключили кой канал), Интернет доставчика ви, както и уникално генерирания за вас client ID от плъгина се съхраняват. Тези от вас, които имат гугъл анализатор акаунт могат да си представят какъв вид справки и профилиране може да се прави с тази информация...

Темата е доста сложна и няма да навлизам в подробности. Като цяло, според мен това което се събира не може да се класифицира като PII(Personal Identifiable Information), но за хора от по-малки градчета има хипотетична възможност някой да успее да ги идентифицира.

И така, събирането на тази наша активност не е толкова голям проблем, но си мисля, че можеше разработчиците поне да предупредят потребителя и въпреки, че не са длъжни да искат разрешение, тъй като проекта попада под GPL-3.0 лиценза, то би било много добре да го правеха и да даваха опция (един слайдер) дали такава активност да се изпраща към гугъл анализатора или не. И всеки сам да си решава.

Понеже аз не одобрявам такъв тип събиране на данни и създателите са били така любезни да разкрият сорс кода, ще направя едно ново разклонение в github, където тази част ще отсъства напълно, както и зависимостта към 'script.module.garepobg'.

За тези, които се интересуват как най-лесно да спрат подаването на данните от техните инсталации преди разклонението да е готово, можете просто да коментирате линия 54 от вашия service.py файл:
https://github.com/kodi1/plugin.program....ice.py#L54

#ga().update(payload, crash)


Това ще спре подаването на статистиката към гугъл, но все пак ще се хаби изчислителна мощ за да се генерират данните и да се минава през 'update' функцията всеки път като стартирате коди или сменяте канали.

Щом е готово разклонението с всичко за google analytics премахнато, ще актуализирам тази тема с линка.

Поздрави и дано съм помогнал на някой.

А ако разработчиците четат този форум, мога да ги помоля сами да направят събирането на тези данни и качването им към гугъл по избор на потребителя!

Поздрави!
-Н

[shantros]

Мен, ако си се задълбочил достатъчно вероятно си установил, че и "script.module.requests" не е необходим за да се случват нещата при тази версия   . По-лесно ще ти е да напишеш друга отколкото да кърпиш скъсаният чорап.

Поздрави за ентусиазма, повече ползватели са дали доброволно още по-големи правомощия на много сайтове да бъдат шпионирани, така че това не е проблем за тях.

[shantros]

Ако се разровиш малко по-здраво ще откриеш и готов скрипт който ще ти позволи по-добро качество от това до (960 х 540) с FPS 25, a за някой канали 50. Ако се захванеш да "обработваш" бокса им тогава ще достигнеш (1280 х 720) , този скрипт не съм го срещал в публичен вариант.

[kodi_dev]

Това е с цел по-бързо и лесно откриване на проблеми, също както при андроид телефона или виндовса ти.
Ако те бърка да споделяш дебуг информация, просто ползвай фусион апп-а на андроид бокс или аппле тв.
А опцията си я има:

[nikolay]

Здравейте,

Отговорям по ред на номерата...

Към №2 и №3: Темата е относно гугъл анализатор кода в плъгина и какво се изпраща към track id записано в garepo. Ако искаш да споделиш мнението си за script.module.requests или по-високи резолюции, много ще се радвам да го опишеш в отделна тема и да свържеш поста си тук за да го научим и ние. Така ще се получи нещо градивно и качествено, вместо това, което стана сега.

Към №4, първо да изкажа голяма благодарност за труда и елегантното решение! Евала! Няма как да не ти благодаря, ако ти си този, който е направил дизайна и програмирал решението като цяло. И да поясня, това, за което пиша аз не се котролира от дибъг цъкалката. Можеш да го провериш сам. Аз не говоря за:
   update('exception', str(e.args[0]), sys.exc_info())
от service.py, който наистина би предал дибъг информация към гугъл(също независещо от дибъг настройката). Това, което имам в предвид не зависи от никакви флагове, има го в service.py:

def _ch_cb(d):
 update('bsc_serv', d)

и както виждаш не се контролира от никакви настройки на адона. Функцията се предава и в server обекта, така че да се използва и при смяна на каналите...

server.ch_cb = _ch_cb

Това е генериран лог със спрян дибъг в плъгина, печатам paylod променливата:
{'dl': None, 'ea': '/id/канал', 'ec': 'bsc_serv', 'an': 'Fusion TV', 'av': '0.0.2w', 'ev': '1'}

Този 'payload' заминава към ga.py и от там в гугъл към по-горе споменатия track ID.

Поздрави и дано да съм пояснил...
-Н

[kodi_dev]

Явно има бъг, ще го проверя когато ми остане време.

[nikolay]

Явно има бъг, ще го проверя когато ми остане време.

Здравей kodi_dev,

Това няма нищо общо с бъг ;-). Това е код, написан с цел - следене на активността на потребителите! Напълно съзнантелно! Освен това, имената на методите са такива, че на мен ми изглежда сякаш авторът се е опитвал да прикрие тази активност... дори и след публикуването на сорс кода.

Дибъг информацията и прихванатите грешки трбява да ходят в лог файл на локалната файлова система, а не в гугъл анализатор. Така се прави обикновено.

Ако ти не знаеш за този UA-61449088-3 идентификатор, чудя се кой го използва тогава?

Надявам се да успееш да сложиш цъкалка, която да дава право на избор на потребителя. И както гледам, този проследяващ идентификатор се ползва и в други коди адони... колибка, а може би и други... 

https://pastebin.com/Nqpa1YS7

Поздрави!
-Н

[Majide]

nikolay, разбирам желанието ти да живееш в един наистина свободен от следене и други неща свят. Аз също имам такива мечти, но в днешната действителност, те клонят повече към утопия. Хубаво е човек да е предпазлив, но не бива да се изпада в крайности. Лесно можеш да се ориентираш "кои са замесените лица" по това, в чии addon-и е поставен въпросният код. Също като теб предпочитам да не се използват такива методи за събиране на статистическа и дебъг информация и затова моите приставки използват минимален брой зависимости, излишни допълнителни библиотеки и разни такива "утечки". Позволявам си единствено да събирам относителния брой изтегляния на EPG файла в съответния проект, за да може екипа да осигури достатъчен брой сървъри, способни "да захранят" потребителите на PVR IPTV Simple Client. Който не желае да попада в статистическите извадки, може да използва директния линк към load-balancer-a за разписанието: http://epg.kodibg.org/dl.php. По темата, според мен няма защо толкова да се безпокоиш в случая.

[shantros]

nikolay, никога не се знае каква е причината девелопер да публикува своя разработка, мога да ти дам пример с наш сънародник който администрираше форум за емиграция в чужбина (изполваше ник "ssttoo") той направи обстоен анлиз на мотивите за емиграция и го публикува в 20 страници който бяха забелязани от Гугъл и получи предложение за работа при тях. Вече е GEO в такава голяма организация. Както и преди мен са споменали аз също не виждам нищо опасно, използването на Фейс Бук или Смарт Телевизор носи доста по-сериозни последствия от това което си забелязъл тук.
Относно Булсат при него има 3 качества на картината:

1) това което е във визираният от теб адон използващо апликацията за Самсунг



2) това което може да изпеглиш от приложението за Андроид телефоните



3) това което има във Fusion box



Всичко е въпрос на интерес и старст да достигнеш по-далеч, не е целесъобразно да се предоставя на готово защото така се прецаква ловната страст, а и повечето потребители тук нямат високи критерии и са съгласни на всичко което е на аванта 

[kodi_dev]

Къде да се съхраняват логовете, си е решение на автора.
Ако това негово решение, не те устройва, може да ползваш другите алтернативи.
Опцията за спране съществува, и ако не работи както се очаква това е бъг.