Day-by-Day, 2016.03.12-13, выходные. Дайджест Телеком и Роботы

Курсы валют в пятницу  (БКС) 71.0928 руб/USD и 77.9817 руб/евро.  

Vimpelcom Ltd. ждет массированная виртуализация, включая Билайн

Технический директор компании Yogesh Malik рассказал об этом на MWC2016. Первым кандидатом на виртуализацию назван EPC, затем под NFV уйдут сетевые функции, а на закуску - буйный огород VAS. Г-н Малик говорит, что виртуализация - опорный элемент стратегии Vimpelcom. В феврале vEPC были запущены в Кыргызстане и Лаосе, в 2016 году планируется виртуализовать также ядра сети компании в Узбекистане, Армении и Таджикистане. /  mobileeurope.co.uk
Мое отношение к виртуализации - дело безусловно необходимое, в стратегическом плане. В тактическом меня смущает, что начали это делать в 2016 году. На мой взгляд, технология еще недостаточно отработана, возможны проблемы на этапе внедрения, которые крайне нежелательны для российского бизнеса. Я бы перенес эту "массированную виртуализацию" на 2017 год.

++

МегаФон продал Nokia устаревшее оборудование Ericsson?

Интересной информацией делится fontanka.fi со ссылкой на Iltalehti. Вы ведь знаете, что такое swap? Это договоренность оператора о, как правило, бесплатной замене существующего оборудования оператора в том или ином регионе или на всей сети на собственное оборудование. Вроде бы зачем нужно заниматься такой благотворительностью? Бывает нужно, например, если для оператора важно нарастить долю рынка или из других соображений.

Судьба заменяемого оборудования бывает различной - под списание или оператор может попробовать продать его куда-нибудь в Африку. Иначе поступили в МегаФон - судя по сообщению, проверить достоверность которого для меня без знания финского затруднительно, железо Ericsson, которое было установлено на московской сети МегаФон было продано компании Nokia, а затем вывезено в Финляндию в 2005-2006 годах для демонтажа в Оулу. За немалую сумму в 43 млн евро. Всего фуры перевезли 230 тонн "железа" конкурента!

Если это правда, то сделка, конечно, замечательная - старое оборудование не просто заменялось на новое, а еще и с доплатой МегаФону. Интересно, что финансовым гарантом выступали государственные структуры Финляндии через компанию Finnvera.

Причина такой подозрительной доброты Nokia связаны с тем, что в 2005 году компания получила от МегаФон большой рамочный контракт со сроком действия в 10 лет - на поставку оборудования Nokia на общую сумму до 1.3 млрд евро. Правда, контракт предусматривал солидную отсрочку платежа, но это обычная практика для продаж операторам железа.

В Финляндии, тем не менее, написали запрос в полицию с требованием расследовать обстоятельства данной сделки.  Запасаемся попкорном? Или никому не будет интересно копаться в делах столь давних?

+ +

Netbynet получил разрешение ФАС на покупку 90% сети Экспанет

10 марта 2016 года ФАС приняла решение об удовлетворении ходатайства о получении ООО Нэт Бай Нэт Холдинг в собственность основных производственных средств ООО Экспанет.

Источник: http://solutions.fas.gov.ru/ca/upravlenie-regulirovaniya-svyazi-i-informatsionnyh-tehnologiy/ag-13786-16

Подгребают активы. Сейчас это все проще - высокая конкуренция и низкая доходность не оставляют "независимым" сетям места на рынке.

+ +

МТС, LTE, Apple

Почему это еще не сделано? Какие-то проблемы с сетями LTE, которые не дают возможности получить сертификацию от Apple? В общем, смущает это отсутствие. Возникает ощущение, что у МТС с LTE что-то не так.

Отсутствие сертификации оказывает влияние на пользовательский опыт владельцев iPhone 6. Абоненты, подключившие свои iPhone 6 к сети МТС не получают так называемый "операторский бандл". Т.е. у них нет настроек APN. Сейчас это не очень критично, скажем, из-за этого не работает встроенная в iPhone визуальная голосовая почта, что вряд ли волнует многих. Хуже станет ограничением после запуска МТС поддержки VoLTE, т.к. скорее всего в этом случае iPhone 6s и 6s plus не будут работать в режиме VoLTE.
+ +

Варианты использования LTE-Broadcast aka e-MBMS

На картинке показано, как их видят в Ericsson

Приведу также варианты использования функциональности LTE-B со страницы http://www.mforum.ru/news/article/106062.htm

- Онлайн-ТВ, видеостримы и другой контент, направляемый на мобильные устройства в HD-режиме, без буферизации в реальном времени или в рамках "канала"

- Обновления ПО для смартфона - ОС, фирменного обеспечения, приложений - быстро и эффективно

- Трансляция спортивных и музыкальных событий на стадионах или в режиме open-air, включая видео с других плошадок, идущие одновременно матчи и т.п. - авто, вело и мотогонки, скачки, теннис и т.п.

- Дистрибуция локального контента в отелях, тематических парках, аэропортах и т.п.

- Системы общественной безопасности, приоритетные сервисы для служб чрезвычайного положения

- Система вещания контента в кампусе, включая рассылку конспектов лекций, корпоративной информации для персонала и т.п.

- Использование для IoT - рассылка конфигурирующей информации на сенсоры, актуаторы, включая умные счетчики, системы управления освещением и т.п.

- Рассылка digital signage (видеорекламы) на местном уровне, региональном или федеральном

- Услуги для водителя или пассажиров автомобиля, включая данные в реальном времени о трафике, помощь с поиском парковки, автоматические апдейты спутниковых навигаторов, улучшенные услуги безопасности (например видеостримы, показывающие, что делается впереди машины), развлекательное вещание и т.п.

- общественная информация транспортной тематики (карты, расписания, информаци об изменениях), вещаемая по всей сети на экраны потребительских устройств
Сейчас в мире только у южнокорейцев и американцев действует внедренная поддержка LTE-B, в этом году вероятно будет еще несколько запусков. От российских операторов особо не ожидаю развития этой темы, да и не готов российский рынок к подобным услугам, коммерческого спроса на них нет. Может быть что-то увидим в 2017 году, вряд ли ранее.

+ +

Роботы и Беспилотники

Toyota усиливает команду разработчиков робомобилей специалистами Jaybridge Robotics

Toyota усилила свою команду, занимающуюся разработкой ИИ для робомобилей 16 специалистами стартапа Jaybridge Robotics, который работал в Кембридже, Массачусетс. Специалисты пополнят команду созданного в ноябре 2015 года Toyota Research Institute, работающего в Кремниевой долине над проектом создания автопилота для наземных транспортных средств. Toyota выделила на развите данного проекта - $1 млрд. Руководит институтом Gill Pratt, выходец из DARPA. Директор Jeybridge Robotics Jeremy Brown рассказал, что стартап сформировался в Массачусетском технологическом университете 7 лет тому назад и первоначально занимался промышленными приложениями ИИ в таких областях, как сельское хозяйство и шахтная добыча полезных ископаемых. Подробнее по теме.

+ +

В этом году роботы Toshiba задействуют для очистки ядерной электростанции Фукусима

Вы наверняка помните, что в третьем блоке реакторе, пострадавшего в аварии 2011 года, остается еще немало отработанных топливных сборок, к которым людям мешает приблизиться сильный радиационный фон. Надежды справиться с проблемой сегодня связывают только с роботами. В Toshiba разрабатывают трех роботов, которые должны помочь в устранении последствий, от совсем небольших исследовательских до весьма масштабного робота-амфибии для разбора завалов размерами с небольшой дом.
Подробнее об этом http://robotrends.ru/pub/1610/v-etom-godu-roboty-toshiba-zadyaystvuyut-dlya-ochistki-yadernoy-elektrostancii-fukusima

+ +

Наконец расширена страница, посвященная военным беспилотникам на RoboTrends.ru: http://robotrends.ru/robopedia/katalog-voennyh-bespilotnikov

+ +

Airnamics R5, Slovenia Airnamics - интересный пример беспилотника для киносъемок и видеостриминга с высокой грузподъемностью и повышенной надежностью. Вот только компактным его не назовешь.

+ +

ВВС Израиля планируют удвоить число беспилотников Heron TP до конца года

Об этом сообщает Defence News со ссылкой на официальный журнал ВВС Израиля.  Ударный беспилотник Heron TP, известный также как Eitan, регулярно выпускается с 2011 года. Серьезная машинка весом 4.5 тонны, разработанная Israel Aerospace Industries, способная держаться в воздухе до 60 часов и нести полезную нагрузку в 1 тонну. Стоит на вооружении Израиля и поставляется в ряд стран Европы и Азии. В прошлом году в Индии решили закупить десяток этих машин для использования в Кашмире и вдоль границы с Китаем. В январе 2016 года Министерство обороны Германии решило взять в лизинг 3-5 беспилотников Heron-TP вместо американских Predator-B - на вооружение машины поступят в начале 2018 года.

В Израиле эти машины использует эскадрон Белый Орел. Беспилотники Heron TP получили боевое крещение в военной кампании в Газе в 2009 году. К 2020 году планируется увеличить эскадрон в три раза.

IAI предлагает покупателям своих изделий услуги школы пилотов дронов.

+ +

Французская Delair-Tech получила $14.5 млн инвестиций и теперь попробует свои силы в США и Китае

Delair - это разработчик беспилотников, планирующий расширение бизнес-активности в Европе. Самый недорогой из ее беспилотников которых стоит порядка $33 тысячи, весит менее 2 кг и способен оставаться в воздухе около 2 часов. Компания планирует не только продавать свои беспилотники, но и сдавать их в аренду в комплексте с соответствующим ПО для анализа собираемых беспилотником данных.

Рынок Европы весьма конкурентен - есть выбор и дронов, и ПО для них, однако комплексные предложения, включающие и беспилотник и необходимое для анализа ПО, встречаются реже, что позволяет Delair надеяться на успех на рынке. Потребители уже понимают, что сама по себе аэросъемка - это только часть процесса, им требуется также извлечь данные из полученных фотографий для чего необходимо программное обеспечение. Сегодня потребитель хочет получить весь пакет услуг, как единое целое и с минимумом расходов времени и денег.

подробнее по ссылке http://robotrends.ru/pub/1610/francuzskaya-delair-tech-poluchila-$14.5-mln-investiciy-i-teper-poprobuet-svoi-sily-v-ssha-i-kitae

+ +

F16 сможет выстреливать стаи дронов

Испытания были проведены еще в июне 2015 года на Аляске, когда с борта F-16 через обычный выбрасыватель тепловых ловушек было выпущено несколько десятков небольших автономных беспилотников. В момент "отстрела" крылья беспилотников сложены. После того, как небольшой парашют за несколько секунд гасит избыточную скорость дрон он отсоединяется, раскрываются его крылья и запускается вращение небольшого пропеллера, приводящего устройство в движение.

Дрон получил не слишком благозвучное для русскоговорящих название Perdix. Это очередная разработка пентагоновского Strategic Capabilities Office. Идея разработки в том, что неожиданно выпущенное самолетом облако из 30 беспилотников может затруднить работу с целью вражеской радиолокационной системы. К облаку дронов можно подключиться и управлять ими по радиоканалу.

Дроны напечатаны на 3D-принтере из кевлара и углепластика, питание микродвигатель получает от литий-ионной батареи. Запускать дроны можно с F-16, F/A-18 и других боевых самолетов.

подробнее по ссылке: http://robotrends.ru/pub/1610/f16-smozhet-vystrelivat-stai-dronov

+ +

Роботизированные апартаменты адаптируются под своего владельца

В то время как все больше компаний включаются в гонку по созданию беспилотных автоматизированных автомобилей, в американском стартапе Brain of Things задумались над созданием роботизированных апартаментов. Компания уже начала строительство “умных домов” в трех точках в Калифорнии. Пока речь не идет об андроидных роботах, вроде Rosie или Pepper, которые развлекали бы гостей, однако апартаменты напичканы сенсорами и приборами, учитывающими привычки своих обителей. Если вы, например, решили ночью пройти на кухню, интеллектуальные системы зажгут приглушенный свет. Автоматика определяет время, когда человек обычно ложится спать и встает. В зависимости от этого, она опускает или поднимает занавески. Диагностические элементы оповестят владельца в случае, если случится утечка воды, или возникнут проблемы в системах отопления и кондиционирования. “Умный дом” может покормить питомца, пока вы на работе, или перевести видеопоток с камеры в домофоне на ваш телефон. Читать далее: http://robotrends.ru/pub/1610/robotizirovannye-apartamenty-adaptiruyutsya-pod-svoego-vladelca

Действительно приятные сервисы, которые, к сожалению, в России стоят столько, что они доступны где-нибудь 1-3% населения. Надеюсь, что постепенно этот ценовой барьер будет снижаться. У меня свет в одной комнате управляется по Wi-Fi, да стоят беспроводные датчики утечки воды, способные перекрыть воду. Удобно, но хочется, конечно, единый центр управления с удобным голосовым управлением и куда более объемную автоматизацию. А на выставках показывают уже совсем фантастические вещи типа помещений, где роботизированные перегородки могут менять конфигурацию комнат так, как этого требует момент. Блестящая идея, которая далека от нас пока что как полеты на Марс.

+ +

Day-by-Day, 2016.03.11, пятница. Дайджест Телеком и Роботы

Курс доллара на сегодня (БКС) 71.0928 руб/USD и 77.9817 руб/евро.  

Строительство Билайн сетей LTE в России

Вчера не успел уделить внимание этой теме, между тем, она того достойна.

Итак, прежде всего повторюсь, что значимыми на этой картинке являются цифры 40% и 30% - доля LTE трафика в общем трафике мобильного ШПД Билайн, соответственно, в Москве и в С.Петербурге. Цифры прекрасные, значительные! Говорят они, по-идее, о значительном числе пользователей LTE у Билайн в Москве. Поскольку в противном случае, учитывая, что трафик абонента LTE в среднем вдвое больше, чем трафик абонента 2G/3G, не набрать эти 40%. А это говорит о удаче тарифов ВСЁ, стимулирующих подключаться к Билайн.

Остальные цифры. Вы знаете мою позицию о числе базовых станций, что оно само по-себе мало что значит. Билайн говорит о росте в 1.5 раза год к году. Это в любом случае неплохо.

58 субъектов РФ с LTE в Билайн на конец года. То есть за год прирост составил 15 регионов. Это также отличный результат, достаточно сравнить с результатами конкурентов - МТС за год добавила 7 регионов, МегаФон - 4.  Хорошо выступила также Tele2, которая за год запустила LTE в 14 регионах РФ. В абсолюте Билайн по числу регионов - на третьем месте. Что говорит в том числе о желании компании инвестировать разумно и экономически эффективно.

Рост трафика в 4 раза - это очень высокий показатель! Конечно, не будем забывать, что в начале 2015 года и в его конце Билайн проводил акции с анлимами для абонентов LTE. Но это, как правило, дает прирост трафика не более, чем вдвое. Так что в основном этот рост обеспечен, как добавлением 15 новых регионов, так и ростом числа абонентов в регионах, где оператор уже присутствует, а также ростом потребления всех абонентов.

В 3.3 раза выросло число устройств с LTE на сети. Да, не все эти устройства задействованы пользователями в режиме мобильного ШПД в сетях LTE, но и число пользователей, вероятно, выросло в той же пропорции, что является безусловно высоким результатом. Не возьмусь называть точное число пользователей LTE в Билайн, но по моей оценке их число уже превысило 2 млн.

Цифра охвата населения Московской области покрытием сети LTE - 75%.

Добавим к этому договоренности на RAN-sharing с МТС и МегаФон - отличный ход Билайн в рамках smart-инвестирования.

+ +

МегаФон скорректировал условия тарифов Всё включено

В разных регионах размер коррекции различен, в среднем МегаФон говорит о возможности сэкономить до 25%.

Пресс-релиз компании по московскому региону

Основная фишка - условия пакетных тарифов теперь действуют не только на домашний регион, но и в других регионах страны. То есть теперь не нужно подключать опции для звонков в национальном роуминге.

Вот пример для Костромской области. 

В общем мы наблюдаем попытку ответа на последние инициативы Билайн с пакетами ВСЁ.

Но без фиксированного интернета за 1 рубль и без ВСЁ Семейный.

+ +

МегаФон начал сотрудничество с платежной системой Мир

Реальной потребности в этом у абонентов компании на сегодня нет. Вам нужна национальная платежная система, карточки которой принимают не все банки даже внутри страны? Я в такой системе потребности не ощущаю, возможностей Master Card более, чем хватает.

Оператор говорит, что число пользователей услугой Автоплатеж (автоматическое пополнение баланса банковской картой) превысило 5 млн. 

+ +

МегаФон купил у КРОК два ветроэлектрогенератора для базовых станций в Мурманской области

Работы по проектированию, монтажу и пуско-наладки выполнены специалистами компании КРОК. В комплект поставки также входят АКБ, устройства естественного охлаждения и электрощитовое оборудование. Система автоматизирована. Ранее был проведен пилотный проект с КРОК. / telecomblog.ru

Проектами использования "альтернативных источников электропитания" в России балуются все операторы большой тройки еще с начала нулевых годов. Причем пробовали уже и солнечную энергию и топливные элементы. Широкого распространения эта практика не получила, речь сегодня идет о единицах площадок, суммарно о десятках подключений по всей стране, не наберется даже 1% таких сайтов. Подробнее о практике применения "альтернативных источников электропитания" оборудования базовых станций можно почитать у меня на MForum.ru.

+ +

Vimpelcom Ltd. поменяет название

В Ведомостях слышали, что это будет в конце 2016 - начале 2017 года. Среди называемых причин такого решения - уход от имиджа компании, замешанной в коррупцию (Узбекистан), а также замена названия на более понятное на Западе с "прицелом" на digital. Я далеко не всегда считаю ребрендинг разумной мерой. Сейчас отношение к теме двойственное - с одной стороны старый бренд не слишком удачен для освоения рынка Италии, с другой - компания сейчас находится не в том положении, чтобы тратиться на "перекраску", да и после создания СП в Италии название компании уже не столь важно. Коррупционный конфликт в качестве причины для ребрендинга я бы не рассматривал.  В общем, я пока не готов одобрить это решение, если оно принято.

+ +

МТС сообщает о контрактах на услуги для чиновников на 8 млн руб в республике Коми

"По итогам государственных тендеров МТС в 2016 году обеспечит услугами связи сотрудников Республиканского Управления Федеральной службы безопасности, Главного Управления МЧС России по Республике Коми, Управления Федеральной службы судебных приставов, Следственного управления Следственного Комитета, Главного Управления Федеральной службы исполнения и наказания Республики Коми, Прокуратуры Республики Коми, Арбитражного суда Республики Коми, Управления Росреестра, ФГУП «Государственная корпорация по организации воздушного движения в Российской Федерации». Общая сумма заключенных контрактов составила порядка восемь миллионов рублей".

+ +

МТС стал доверенным у ФНС

Оператор получил паспорт доверенного оператора электронного документооборота, что позволит оператору передавать документацию в электронном виде для корпоративных клиентов. Пользование ЭДО МТС не требует установки специального ПО. Действующим клиентам МТС обещает полгода бесплатного пользования услугой.

+ +

Робототехника

Миниатюрные топливные элементы смогут заменить беспилотникам аккумуляторы?

В перспективе, возможно. Корейцы исследуют твердооксидные элементы SOFC-типа на водородно-водяной смеси, не требующие платинового катализатора. И получают неплохие результаты - 560 мВт с куб. см. Из минусов новинки, ее рабочая температура - 550 градусов. Пока это прототип, дойдет ли до его коммерческого использования пока что прогнозировать сложно. А вот то, что беспилотники будут летать в том числе на топливных элементах, даже сомнений нет, современные литий-ионные батареи дают слишком мало энергии. / RoboTrends.ru

+ +

Day-by-Day, 2016.03.10, четверг. Дайджест Телеком и Роботы

Курс доллара на сегодня (БКС) 72.3775 руб/USD и 79.4488 руб/евро. И замечательно теплое солнышко в Москве. 

Билайн не нашел понимания у коллег и вернулся к безлимитам для пользователей LTE

Не так давно мы слышали высказывания Михаила Слободина, гендиректора Билайн, о бесперспективности использования безлимитных тарифов на российском рынке. Предложение услышано и поддержано коллегами не было, так что теперь, чтобы не терять конкурентных позиций, Билайн вновь возвращается к безлимитам для пользователей тарифов ВСЁ!, причем как в домашнем регионе, так и во внутресетевом роуминге!  

Предложение адресовано абонентам, которые используют постоплатную систему расчетов. Постоплатников в Билайн традиционно любят - им предоставляется вполь до 20% больше минут, чем в аналогичных тарифах ВСЕ! предоплатной системы расчета. При равной абонплате. 

Предложение на подключение действует до 1 июня 2016 года. Предложение действует не только на LTE, но и на 2G, 3G, LTE. Исключения: Таймырский и Долгано-ненецкий муниципальные районы, ЕМО Норильска и Игарки, Камчатский край, Магаданская область, Чукотка и т.п.

Ударное предложение, на фоне которого уже совсем иначе смотрятся и тарифы семейства Yota, и Smart NonStop. 

Абоненты Tele2 в праздники говорили 515 млн минут

Такие данные компания приводит по итогам работы сети 8 марта и 23 февраля. Абоненты сделали 209 млн звонков и отправили более 156 млн сообщений. В среднем на абонента приходилось 3 вызова.

8 марта вызовов было больше - 111 млн, 23-го меньше - 97 млн.


Билайн отчитался за развитие LTE в 2015 году

Сейчас уже не успею написать свое мнение по-поводу. Основная  цифра, которая действительно является по-настоящему крутым достижением - это 40% доля трафика LTE в Москве относительно всего трафика 2G/3G/LTE в Москве. Хороший показатель, говорящий в пользу сравнительно высокой доли пользователей LTE-устройствами  в абонбазе (сравнительно высокой, разумеется, т.к. она менее 10%).

Робототехника

Гостиничные роботы - это уже не новость http://robotrends.ru/robopedia/gostinicy-i-roboty , а вот применение в этом качестве известного робота Nao компании Aldebaran Robotics, снабженного экспертной системой IBM Watson, - это новость: http://robotrends.ru/pub/1610/gostinichnye-roboty-uluchshat-opyt-prebyvaniya-postoyalcev  

Day-by-Day, 2016.03.09, среда. Дайджест Телеком и Роботы

Курс доллара на сегодня (БКС) 72,6 руб/USD и 79,69 руб/евро. Прогноз курса ЦБ на завтра - снижение курса доллара и рубля относительно 5 марта.

На совете директоров МегаФон 16 марта 2016 года будут обсуждаться сделки, сумма которых превысит $50 млн.  PDF  Пресс-служба компании почему-то не комментирует, что за сделки.

С 18 марта 2016 года вступят в силу новые Условия оказания услуг связи ПАО МегаФон. PDF.

Для защиты от "токсичных услуг", пусть и не всех, но хотя бы контентных, у МегаФон есть бесплатная услуга "Контентный счет". Описание здесь:   moscow.megafon.ru

+ +

ОЗПП подала иск в суд против МегаФон

Вы наверняка догадались, что тема иска - списания денег за несостоявшиеся звонки. Иск подан в Замоскворецкий суд Москвы. Процитирую фрагмент пресс-релиза ОЗПП.

В соответствие с Законом О связи ст.54 «Не подлежат оплате иные услуги связи, технологически неразрывно связанные с услугами подвижной радиотелефонной связи и направленные на повышение их потребительской ценности, в том числе контентные услуги, оказанные с нарушением требований, установленных настоящим Федеральным законом». Согласно п.8 ст.68, «операторы связи несут ответственность перед абонентами за нарушение требований, установленных п.5 ст.44 настоящего Федерального закона».

Информирование абонента о невозможности соединения вызываемого абонента «абонент недоступен» в рамках действующего законодательства не может являться услугой связи для потребителя и противоречит правилам предоставления услуг связи, т.к. оператор связи не устанавливает соединения связи с другим абонентом. Фактически, плата взимается за прослушивание автоматического информационного сообщения о невозможности факта соединения. Оплата данной услуги, если данное информирование можно признать таковой, не включена в договор мобильного оператора с абонентами Мегафон.

Расчет оператора был прост - абоненты из-за малых сумм списаний в суд обращаться не будут. Но от нашелся защитник в лице ОЗПП. Будем следить за ситуацией с иском к зарвавшемуся оператору. / ozpp.ru

+ +

МТС сообщает о частичном обнулении трафика при пользовании соцсетями

Суть нововведения в том, что при пользовании тремя соцсетями - Facebook, ВКонтакте и Одноклассники, трафик пользователя не тарифицируется и не списывается из пакета, при условии, что пользователь подключен к тарифу из линейки Smart или ULTRA.

Есть подводные камни. Это касается только 3 ГБ трафика (в месяц? из текста пресс-релиза это не ясно), т.е. как только вы посмотрите 2-3 фильма в режиме стриминга, скорость будет ограничена до 512 Кбит/с - это позволит проверить текстовые обновления, но кино так уже не посмотреть. Акция действует до 1 июня 2016 года. Тем, кто захочет попользоваться предложением оператора, нужно будет отправить USSD-запрос *345# , или подключить опцию в ЛК и приложении Мой МТС. Не забудьте ее отключить до 1 июня, иначе есть шанс "налететь" на начисления за трафик.

Пресс-релиз компании:

+ +

Позитив: МТС расширила географию услуги Электронная подпись для B2B клиентов

Теперь кроме Москвы и Кургана это возможно также в Новосибирске, С.Петербурге, Нижнем Новогороде, Екатеринбурге, Карснодаре и Владовостоке. В других регионах обещают до конца 2017 года. По данным МТС в России сервисом ЭП пользуется уже почти 70% компаний. Для компании это отличный бизнес - услуга выдачи ЭП со сроком действия 1 год приносит компании 2999 руб. (на носителе МТС) или 1999 руб. - на носителе клиента.  Об этом сообщает CNews.ru.

+ +

MTS-India вероятно сможет не заплатить чиновникам $520 млн

Бизнес Системы-Телеком в Индии - оператор SSTL - это не самый удачный проект в области сотовой связи. Те, кто следят за его развитием, знают, что оператор планирует создать объединенную компанию с Rcom (Reliance Telecom), которая также располагает сетями CDMA. Это позволит совместному оператору увеличить пул частот 800 МГц с принадлежащих SSTL 3.75 МГц до какого-нибудь стандартного значения, и запустить LTE-сети на территории 10 округов Индии. Планам мешало требование регулятора доплатить $520 млн за возможность объединения частот. В марте отраслевой арбитражный суд TDSAT вынес решение, согласно которому SSTL должна быть освобождена от требований выплаты $520 млн за право объединить частоты с Rcom. В целом этот проект Системы не кажется успешным, и даже положительное решение суда вряд ли его существенно оживит. Рынок Индии одновременно низкодоходный и высококонкурентный, а проект напоминает чемодан без ручки - нести тяжело, бросить - жалко. / CNews.ru
+ +

РАЕК предлагает изменения Законопроекта 1003299-6 об упрощенной аутентификации

Суть предлагаемых изменений - упростить идентификацию, повысить суммы для которых идентификация не требуется до 40 тыр. и не требовать проводить идентификацию представителя и/или выгодоприобретателя клиента.

О предлагаемых изменениях полностью можно почитать на MForum.ru, .DOC


+ +

Для любителей "танчиков" предлагается акция по покупке игрового золота с помощью мобильного платежа МТС (Россия)   

/ wot-news.com

+ +

МегаФон может стать генеральным партнером российского футбола

Соответствующие переговоры идут с РФС (Российский футбольный союз). При этом РФС уже должна холдингу Усманова. В холдинге согласились отсрочить выплату долгов. / vspro.info

Всегда, когда читаю такие новости, хочется сказать - лучше бы связью занимались. Но это было бы не объективно, современный телеком без активного маркетинга/рекламы существовать не может. Вот только все эти расходы, в том числе и на футбол, в конечном итоге перекладываются на абонентов компании.

+ +

МегаФон рассказывает как настроить модем для пользования услугой "Экспресс-офис PRO"



В названии опечатались, спешили...

+ +


Очередные штрафы для операторов выписали в Саратове

В Управлении Роскомнадзора по Саратовской области выписали штраф мобильным операторам Билайн и МТС за использование незарегистрированных радиоэлектронных средств. Каждому на 33 тыр, "по фактам незаконного использования РЭС без регистрации и разрешений на использование радиочастот". / 4vsar.ru

Как правило, ранее основания для таких штрафов возникали потому, что в России много лет действовал нелепый разрешительный порядок регистрации РЭС, а не уведомительный, который исключил бы основания для таких "нарушений". Разрешительная процедура при этом была забюрократизирована до того, что получение всех необходимых бумажек могло занимать у оператора много месяцев, расчеты ЭМС, которые заказывали на стороне, обходились в немалые средства. Не удивительно, что операторы готовы были идти на нарушения и выплачивать штрафы (своего рода налоги?) за вынужденные "нарушения".
Но с 1 января 2015 года вроде бы вступил в действие приказ Минкомсвязи, позволяющий вводить сети связи в эксплуатацию в уведомительном порядке и без обязательной экспертизы. Почему же и сейчас возникают основания для штрафов. Не знаю, было бы интересно узнать - может быть кто-то напишет в комментариях о причинах такого явления. 

+ +

Робототехника

Новый стандарт ISO описывает работу коллаборативных систем

Внедрению коллоборативных роботов в практику производства должен поспособствовать выход гайденса ISO/TS 15066, цель которого - обеспечить разработчиков, производителей и интеграторов рекомендациями по безопасному использованию коллаборативных робототехнических систем. Напомню, что в отличие от традиционных промышенных роботов, коллаборативные системы предназначены для применения не в выгороженных рабочих зонах, а в непосредственной близости от людей, рядом с ними и вместе с ними. / RoboTrends.ru

+ +

BMW представила концепт автомобиля будущего Vision Next 100

Источник иллюстрации: wsj.com 

Это робот с колесами, при необходимости автономный.

+ +

Не только da Vinci - робот-ассистивная система Virtual Incision первый раз задействована в операции

В области робот-ассистивной хирургии Северная Америка серьезно оторвалась от других стран мира - именно здесь делают лучшие на сегодня робототехнические комплексы для хирургов. И если до недавнего времени комплекс da Vinci был едва ли не безальтернативным решением, то сейчас палитра робото-ассистивных систем становится все более насыщенной. Новинка Virtual Incision начала использоваться для реальных операций. Пока что в Парагвае.  http://robotrends.ru/pub/1610/robot-virtual-incision-provel-pervuyu-operaciyu 

+ +

Реклама: Новости современной робототехники - RoboTrends.ru

Конспекты: Вебинар VoLTE - технологии передачи голоса в LTE сети

Видеозапись вебинара по VoLTE была опубликована еще в мае 2015 года. Вполне актуальна и на сегодняшний день. Рассказывает о VoLTE - Владимир Суконкин, инженер подразделения фокусной технической поддержки Cisco. 

Презентацию Владимира Суконкина по VoLTE можно скачать здесь, PDF 

Видео презентации доступно на Youtube

Устаревшую статистику я заменил в конспекте на актуальную на январь 2015 года. В частности, списки операторов, запустивших VoLTE и списки смартфонов, которые могут поддерживать VoLTE приведены на MForum.ru http://www.mforum.ru/092651.htm  

Обеспечение услуги передачи голоса пока что дает операторам в среднем половину всех доходов. Гонять голос в сетях 2G/3G неудобно и дорого. VoLTE предназначена для того, чтобы постепенно уйти от старой инфраструктуры.

В мире запущено более 480 сетей LTE в коммерческую эксплуатацию (список можно посмотреть на MForum.ru http://www.mforum.ru/news/article/116363.htm) - практически все операторы планируют внедрение VoLTE. 46 операторов в 29 странах мира уже запустили поддержку VoLTE в коммерческом режиме, это примерно 10% от сетей. MForum.ru по данным GSA.

Сдерживающие факторы - недостаточное распространение смартфонов с поддержкой LTE. С каждым месяцем их разнообразие увеличивается, тем не менее их число уже в прошлом году достигало 198, а общее число абонентских устройств с LTE достигало 219.  MForum.ru по данным GSA.

Важно отметить, что телефон с VoLTE потребляет меньше энергии на обеспечение разговора, нежели телефон без VoLTE, обращающийся к традиционным схемам передачи голоса.

Отличие сети LTE - в ней нет curcuit switch домена. MME - обрабатывает роуминг, хендовер, аутентификацией, через него идет только сигнализация. SGW занимается собственно передачей трафика.

CSFB/IWF - разработка Cisco, позволяющая снизить расходы на модернизацию существующей 3G сети.

CSFB, как вы знаете, позволяет переключаться в сети 2G/3G при обработке голосового вызова. Необходимо, например, поскольку покрытие LTE не достигает покрытия 2G/3G.

Собственно, описание работы VoLTE начинается с 26-й минуты вебинара. Приведу "раскадровку", чтобы вы могли при необходимости обратиться сразу к нужному фрагменту вебинара.

22'33". Как работает CSFB и CSFB/IWF при обработке голосовых вызовов.

26'52". Voice over LTE (VoLTE) - структура

28'16". GSMA One Voice / IR.92 - стандарт передачи голоса в IMS (минимальный набор требований в отношении передачи голоса поверх LTE сети).

30'39". IMS Feature Set

32'06". Single Radio - Voice Call Continuity (SR-VCC). Опять же важно для обеспечения сохранности вызовов при его выходе из покрытия LTE в покрытие 2G/3G. Обеспечивает минимизацию задержки при переключении сервиса.

35'00". VoLTE QoS. EPS Bearer.

37'22". Стандартизованные характеристики качества обслуживания QCI / 3GPP TS 23.203

40'24". Типичный сценарий для VoLTE

41'26". Архитектура VoLTE

44'55". LTE Radio Access Network (E-UTRAN)

45'28". Evolved Packet Core / Mobility Management Entity

46'29". Evolved Packet Core / Serving Gateway

47'13". Evolved Packet Core / PDN Gateway

48'00''. IP Multimedia System Core / Proxy Call Session Control Function

49'24". IP Multimedia System Core / Interrogation Call Session Control Function

50'42". IP Multimedia System Core / Serving Call Session Control Function

50'34". IP Multimedia System Core / Emergency Call Session Control Function

52'56". IP Multimedia System Core / Access Border Gateway

53'50". Support Functions / Home Subscriber Server

55'07". Support Functions / Policy Charging and Rule Function

55'54". VoLTE Application Servers

57'03". Подключение к ТфОП (PSTN) / Breakout Gateway Control Function

57'39" PSTN Interworking / Media Gateway Control Function / Media Gateway

58'56" Как UE выбирает P-CSCS?

1:00:43 Использование PCO IE для выбора P-CSCF

1:02:37 Информация о P-CSCF пре-конфигурирована

1:03:07 Как P-CSCF выбирает I / S-CSCS?

1:04:45 Взаимодействие P-CSCF c DNS

1:06:24 Маршрутизация вызовов на S-CSCF

1:07:54 E.164 NUmber Mapping (ENUM)

1:08:35 Выбор сервера приложений: Application Server (AS)

1:12:45 Формат сообщения SIP

1:15:42 Коды ответов SIP

1:16:33 Формат SDP

1:18:31 Регистрация в IMS: Call Flow

1:30:14 Mobile-to-mobile VoLTE Call Flow - ориджинирующая сторона

1:32:04 Mobile-to-mobile VoLTE call flow - терминирующая сторона

+ +

Конспекты. Data-MBA для менеджеров. Занятие 4. Рекомендательные системы

Уже не раз писал, что занимаюсь сейчас на двух курсах, посвященных теме BigData и машинного обучения - один для программистов, с практикой расчетов, второй для менеджеров - обзорного плана. Некоторые у меня периодически спрашивают - что там у тебя на занятиях Data-MBA происходит, насколько это интересно и полезно? Надеюсь, конспект ответит на такие вопросы. 

Сразу предупрежу, конспект не полный, все же речь идет о платном курсе, а не о публичных чтениях. Поэтому приведу фрагмент конспекта занятия, примерно на 1 час 10 минут времени двухчасового занятия.  


Рекомендательные системы, Школа данных Билайн, курс Data-MBA, 

Сергей Марин (СМ), основатель Школы данных Билайн, открыл встречу.

СМ: Один из первых распиаренных примеров в области рекомендательных систем, это кейс - "пиво и памперсы". В США проанализировали чеки - кто и что покупает. Было замечено, что пиво нередко покупают в комбинации с памперсами. После чего в магазине стали выставлять дорогие сорта пива рядом с памперсами. Также провели исследование с тем, чтобы понять, почему так происходит, и выявили, что пиво покупают мужчины, которые приходят в магазин для того, чтобы приобрести памперсы. Так исследование позволило повысить доходы магазина от продажи пива.

Другой случай раннего использования рекомендательных систем носит немного скандальный характер. В США провели анализ на больших выборках данных и выявили, какие товары женщины начинают покупать в период беременности. Скандал случился когда одной несовершеннолетней девушке пришло рекламное сообщение из которого было ясно, что поскольку девушка беременна, магазин рекомендует ей приобрести также вот такой-то товар. Папа девушки немедленно обратился в суд, который в ходе слушаний выяснил, что девушка действительно беременна. А реклама пришла в связи с тем, что девушка покупала именно те товары, которые, как выявило ранее исследование, с высокой долей вероятности покупают только беременные.

То есть одна из основных задач, которые стоят перед рекомендательными системами - это выявление закономерностей в покупках, связей - что с чем обычно люди приобретают. А также выявление групп людей по схожести покупок, поскольку это позволяет делать выводы, что если А и Б в целом схожи по группе покупок, то можно рекламировать для Б то, что купил А, ожидая, что Б это тоже заинтересует, и наоборот.

Сегодня мы поговорим о современном статусе рекомендательных систем, о том, как они работают, какие данные необходимы для того, чтобы построить рекомендательную систему. Поговорим о том, чем отличаются РС и как измерять качество работы РС (о метриках качества). Подумаем над вопросом - стоит ли писать РС самостоятельно (это возможно, это не rocket science) или лучше приобрести готовое решение. Сколько это может потенциально стоить, во что предстоит инвестировать. Немного поговорим об алгоритмах, чтобы понимать, как примерно это работает (основной - это SVD). О специалистах, которые для этого нужны. И о направлениях развития.


Александр Крот (АК), преподаватель Школы данных Data-MBA Билайн продолжил тему.

АК: Как рекомендательные системы получили распространение? Сергей уже привел пару примеров,  я расскажу еще о некоторых. С 2006 по 2009 года компания Netflix проводила конкурс на улучшение своей рекомендательной системы, который стал весьма популярен. В этот период фильмы распространялись не через интернет, а на кассетах. Компания несла значительные затраты, связанные с логистикой. Возникла идея, что человеку, который заказал какую-то кассету, можно предложить еще несколько, но, разумеется, не случайным образом, а с тем, чтобы вероятность того, что их купят, была высокой.

К 2006 году Netflix уже располагала самописной рекомендательной системой, но компания хотела повысить качество ее рекомендаций хотя бы на 10%. Был объявлен конкурс, победителю обещали $1 млн. Несмотря на немалый интерес к теме и немалое число участников, почти за три года ни одна из команд, которые приняли участие в конкурсе, не смогли достичь цели - повысить качество рекомендаций на 10%. И буквально за 20 минут до окончания конкурса сразу две разных команды послали решения, которые пробили эту отметку. Удивительно, но тот уровень качества, который обеспечивали решения этих двух команд, был равен с точностью до четвертого знака после десятичной запятой.

Эта история придала основательный импульс теме развития рекомендательных систем. Их внедрением стали интересоваться самые разные компании. Многие стали задумываться, что рекомендовать можно не только фильмы, но музыку, веб-страницы и так далее.

Известным сервисом сегодня является Pandora - этот сервис подстраивается под музыкальные предпочтения человека и со-временем радио начинает играть для него в основном то, что человеку нравится.

Другой известный сервис - это Amazon, который подбирает книги на основе схожести спроса.


В теме "рекомендательные системы" есть три основных понятия, которые следует помнить. Во-первых, это пользователи (users), второе - это товары (items), третье - события (events) . События состоят в том, что пользователю U понравился (или не понравился) товар I. Можно также говорить об оценке, которая характеризует степень, насколько товар понравился или не понравился. То есть событием r[u,i] может быть то, что U поставил товару I оценку R. Это "базовая механика" рекомендательной системы.

Основная задача рекомендательной системы заключается в том, чтобы по каким-то имеющися у нас данным для каждого пользователя предсказать, какую оценку R он поставит каждому из товаров. Зная оценки, мы сможем давать какие-то рекомендации. Например, если мы прогнозируем, что для товара I пользователь U поставит высокую оценку, то стоит этому пользователю об этом товаре рассказать. Скажем, если у нас есть некий набор товаров, то мы можем их отранжировать по прогнозируемым R, затем выбрать Топ-5, исходя из максимума R, и предложить эти Топ-5 товаров вниманию пользователя.


Как это может работать?

Данные о пользователях, товарах, событиях/оценках удобно держать в виде матрицы. Например, по строкам - пользователи, по столбцам - товары, в пересечениях - оценки. Проблемой является запуск рекомендательной системы - ведь в момент начала ее работы у нас, скорее всего, нет ни одной оценки.

Давайте пока что представим, что ситуация несколько иная, что у нас уже заполнено примерно 40-50% ячеек таблицы. В этом случае задачей рекомендательной системы будет восстановление всех пропушенных  в таблице значений. Делать это можно различными способами.

Начнем с простых алгоритмов, которые на уровне идеи понятны многим из вас. Первая очевидная идея заключается в том, что похожие люди смотрят похожие фильмы (покупают похожие товары).  И наоборот, люди, покупающие похожие товары, вероятно, похожи. Соответствующие методы получили название Content-based или Item-based.

Как они работают?

- Пользователю рекомендуют объекты, похожие на те, которые этот пользователь уже употредил
- Похожесть оценивается по признакам содержимого объектов (о ней мы уже говорили на прошлом занятии).
- Сильная зависимость от предметной области, полезность рекомендаций ограничена. Т.е. рекомендательные системы для фильмов и для музыки будут разными.

Есть более универсальный способ - это так называемая коллоборативная фильтрация или алгоритм SVD.

Для рекомендаций используется история оценок, как самого пользователя, так и других пользователей. Это более универсальный подход, который часто дает лучший результат. На сегодня он наиболее распространен, в том числе и в силу понятности, а также потому, что он хорошо сводится к задачам машинного обучения (ML). У метода есть свои проблемы, в частности, "холодный старт". Что делать в этой ситуации?

Пользователей можно разбить на множество небольших групп. И считать, что внутри группы у пользователей вкусы схожие, что они интересуются одними и теми же товарами. И если кто-то в группе что-то купил или оценил, то можно эти данные использовать для всех членов группы.

Важно понять, что даже если вы не пишете решение с нуля, а покупаете готовое, то придется потрудиться с его настройкой - например, правильными описаниями объектов, "холодным стартом" и другими проблемами.

СМ: Netflix - это хороший пример, но давайте вспомним что-то, с чем мы знакомы лучше, из местной практики. Ozon, Яндекс.Радио. Как вы думаете, что является оценкой пользователя в Яндекс.Радио?

- Дослушивают ли до конца ту или иную композицию

СМ: Верно. Т.е. важно понимать, что является метрикой в каждом конкретном случае.
Несмотря на то, что рекомендательные системы - это уже проработанная тема, такие системы внедрены не везде. И сегодня зачастую наличие рекомендательной системы является дифференциатором компании, ее услуг. Знаком ли вам сайт okko.tv ? У него очень качественный рекомендательный движок.

АК: Вернемся к примеру с Netflix, стоит отметить, что для построения рекомендательных систем сравнимого масштаба компании, вероятно, придется создавать какую-то инфраструктуру для хранения данных. Данных много, работать с ними с использованием стандартного КИХ (корпоративного хранилища информации) может быть сложно.

У Netflix на момент внедрения системы были такие показатели: 0.5 млн пользователей, 18 тысяч фильмов, 100 млн оценок (от 1 до 5). Если умножить 0.5 млн на 18 тыс, то получим 9 млрд ячеек в матрице. Т.е. матрица была очень слабо заполненной.  Что не помешало им сделать очень высококачественную рекомедательную систему, которая помогла заработать дополнительные деньги.



АК: Рассмотрим кейс крупного интернет-магазина. Примерно по такой схеме работает, например, рекомендательная система Озона.

Какие объекты есть в процессе - есть пользователи, есть товары, есть события. Ясно, что нужно собрать как можно больше данных о товарах, о пользователя и о действиях пользователя. Данные пользователя на первом этапе - это данные его регистрационной анкеты, в частности. Данные о товаре магазин, как правило, получает от поставщика вместе с товаром, либо из других источников.  С ними, как правило, проблем нет. В частности, в нашем примере речь идет примерно о 8 млн постоянно обновляемых товарах, их описаниях, цене, доступности. Для их хранения хватит и обычной информационной базы предприятия. То же и данные о пользователях, анкетные данные могут храниться в обычной таблице, в реляционных базах данных, в SQL сервере, который есть у любого магазина.

Иное дело - данные о транзакциях, о действиях пользователей. Пользователь отобрал товар в корзину. Пользователь поставил лайк. Пользователь просмотрел каталог. Таких действий очень много - это примерно в среднем 100 событий в секунду, такой поток данных по примерной оценке "весит" 15 ГБ/день. Для хранения таких объемов данных желательна уже какая-то продвинутая система.

Откуда берутся данные о действиях пользователей? Вы знаете, что практически на всех сайтах стоят счетчики, фиксирующие практически любые действия пользователей.  Эти данные поступают в очередь и складываются в Hadoop-кластер, в нашу файловую систему HDFS через такие инструменты очереди, как RabbitMQ и Flume. Hive в этой системе позволяет простыми запросами получать необходимые выборки из распределенной файловой системы.

Такая рекомендательная система, это уже пример работы с Big Data. Алгоритм работает с данными в Hadoop-кластере, куда также добавляются через Sqoop данные о пользователях и товарах.

Сформированные рекомендации складывают в базу данных, которую называют Cassandra в данном магазине. Это известное решение, особенность которого - быстрая выдача результатов. Скорость выдачи важна потому, что пользователь должен еще быть на сайте в момент, когда его данные обработаются и ему будут выданы рекомендации.

СМ: Hadoop кластер не обязательно строить внутри компании. Впрочем, сейчас часто компания считает, что это ее конкурентное преимущество и предпочитает его создать у себя.

Для интернет-компании проблемой является идентификация пользователя, ходящего по страницам сайта. Для этого удобны, например, карты лояльности или что-то подобное. Идентификация даже более сложная задача, нежели построение ИТ-системы.

АК: Вернемся к инструментам - как это было сделано. Изначально систему писали на языке Java. Выбор был обусловлен тем, что Java - это язык, на котором написан Hadoop, логично было бы, чтобы и алгоритм реализовывался на этом же языке. Кроме того, тогда еще не было Spark и других современных средств.

Ожидаемый плюс был бы - быстрота работы. Минусы просматривались такие: программировать на Java достаточно непросто, язык "многословный", математикам трудно принимать участие в работе - расширять или улучшать алгоритм по мере надобности. Кроме того, в Java бедный MapReduce API. Например, а каждый tuple (кортеж) приходится заводить свой класс.

В итоге решили взять Apache Spark.

Почему сейчас столь популярен Spark? Представьте, что у вас есть кластер Hadoop, в частности, есть HDFS-система, в которой лежит множество логов. И вы хотите делать какие-то итеративные вычисления. Что-то взять, посчитать что-то по этим данным, а затем положить результат обратно. Все алгоритмы машинного обучения итеративны - для них это оптимальная схема работы. Многие из вас знают, что читать данные с диска в ОЗУ, и затем выгружать данные на диск - это достаточно дорогие операции.

Что позволяет делать Spark? В вашем кластере помимо большого числа недорогих жестких дисков есть оперативная память. Фреймворк Spark грузит данные в оперативную память и в ней работает. На диск будет затем записан только конечный результат множества различных операций. Это серьезно сокращает число операций I/O.  Это обеспечило Spark немалую популярность. Из других плюсов - Spark очень неплохо подключается к Hive-таблицам, можно прямо из Spark доставать данные из кластера. Код на Spark лаконичный. В Spark есть немало библиотек, в частности в нем есть модуль "рекомендательная система", которой можно "скормить" ту таблицу о которой мы ранее говорили (пользователи/фильмы/оценки), и этот модуль выдаст некие рекомендации.

Есть, конечно, и минусы - проект пока сырой, не все работает из коробки, на задачах большого размера может работать неустойчиво.

Рекомендательную систему решили написать на языке Hive. SQL-запросы поверх больших таблиц писать проще, они выразительнее и понятнее, чем даже Python-код на Spark.

Все, что можно сформулировать в виде SQL-запроса считается алгоритмом быстро. Минус в том, что если в SQL-виде запрос написать не получается, то придется писать UDF (User-Defined Function) на Java.

В результате опытным путем сложилось представление, какие инструменты можно использовать при построении рекомендательной системы. В частности хорошо работает следующая комбинация:

40% Apache Spark (Python) + 50% Hive on TEZ + 10% Hive UDF (Java)

Плюсы такого подхода. Удобно парсить данные в Spark на Python. Далее эти данные можно сложить в Hive-таблицу и работать с ними SQL-запросами. И поскольку данные хранятся в кластере, с ними можно вести любые ETL-работы, готовить их так, как нам необходимо. Это занимает чуть не половину всего времени и делается инструментом Hive, который близок аналитикам, знакомым с SQL-запросами к корпоративному хранилищу.
Если возникают сложности, то пользуются Hive UDF, для сложных преобразований.

Достигается 70% переиспользование кода на пути от прототипа к продакшену, как правило, на UDF переписываются только критичные по производительности и не очень сложные функции, которые универсальны. В отличие от ML, где зачастую прототип приходится затем переписывать на продуктовой стадии на других языках программирования, в случае с Apache Spark мы изначально работаем с производительной структурой и потому формируемый алгоритм, как только он начинает работать, можно будет довести до продуктивного решения сравнительно быстро.

Математики могут улучшать алгоритм, если конечно они знают Python и SQL!

У каждого инструмента есть минусы, это нужно иметь в виду и уметь пользоваться плюсами.

СМ: Какая мораль из всех этих технических знаний? Когда к вам придет консультант по рекомендательным системам, расскажет, что у него есть мега-суперская рекомендательная система, покажет даже пару клиентов, которые ее используют... вы будете готовы ее купить. Следует задаться двумя вопросами.

Во-первых, как этот человек будет интегрировать свой алгоритм с вашими данными? Если он не сможет об этом уверенно говорить, не сможет это на пилоте показать, то у вас могут возникнуть проблемы. Основное время, которое у вас уйдет на внедрение готовой рекомендательной системы, уйдет как раз на интеграцию с вашими данными.

Второе. Все начиналось с Hadoop/Java. Но Java - это время. В смысле - большие затраты времени. На Java программировать долго. Да, она стабильна, она надежна. Но когда система динамически меняется, а это с рекомендательными системами случается сплошь и рядом, то Java - не лучший инструмент. Но другие инструменты практически все "в процессе развития".

Поэтому ваш второй вопрос к консультанту - как будет осуществляться поддержка системы? Потому что система почти наверняка будет "глючить", и нужно будет эти глюки устранять. Кроме того в систему, в алгоритм, нужно будет вносить изменения.

Следует помнить об этих вопросах, если соберетесь внедрять такую систему.


АК:  Перейдем к теме "Как оценить качество работы рекомендательной системы"?

Рассмотрим матрицу Item-User, где в ячейку на пересечении пишется оценка пользователя.

Нам нужно прогнозировать, какую оценку поставил пользователь u фильму i ? Т.е. нам нужно уметь спрогнозировать число. Т.е. это задача регрессии. Как оценить прогноз, который сделает наш алгоритм.

Здесь r с крышкой - это прогнозное значение и r ui - это которое изначально было. Метрика позволяет понять, насколько далеко наши прогнозы отклонились от того, что известно, насколько мы ошибаемся в прогнозах.  Значение отклонения должно быть минимальным.

Минусы такой метрики - в предсказании высокой оценки и низкой оценки ошибка имеет одинаковый вес - это не всегда удобно.  Эта метрика не учитывает также то, например, что есть люди, которые принципиально не ставят высокие оценки.

Поэтому всякий раз, когда речь идет о задачах машинного обучения, желательно смотреть не на одну, а на несколько различных метрик. В частности на известные метрики Precision и Recall. Для множества рекомендованных объектов R и множества объектов, которые на самом деле нравятся пользователю:

Precision - доля объектов, которые мы верно рекомендовали. Обе эти метрики должны быть как можно больше. Если Precision большой, но при небольшом значении Recall, это не очень хорошо. Пока что нет готовых алгоритмов оптимизации рекомендательных систем, которые бы оптимизировали напрямую обе эти метрики. Поэтому на практике обычно оптимизируют RMSE, а затем смотрят, какими при этом получаются Precision и Recall.

СМ: При покупке рекомендательной системы всегда просите, чтобы вам сделали dashboard, где вы сможете наблюдать за показателями Precision и Recall. Не смотрите на то, что вначале показатели будут выглядеть не идеально, вашей системе еще предстоит обучиться. Важно, чтобы метрики не падали. Если вы заметите падение, это значит, что что-то пошло не так и нужно вмешиваться.

АК: Поговорим о проблемах, с которыми приходится сталкиваться при запуске рекомендательных систем. Первая проблема - это так называемая проблема "холодного старта". Если ваши пользователи еще не давали никаких оценок фильмам или товарам, то откуда вам взять соответствующие данные? Возникают вопросы - что показывать первым пользователям, которые появляются на сайте? Второй вопрос - кому рекомендовать вновь добавленные фильмы?

Рассмотрим решение проблемы "холодный старт для пользователей". Пользователь только пришел на сайт, зарегистрировался, что ему предложить?  Прежде всего проводим анализ - что мы знаем о пользователе - это основа. Во-первых, пользователь уже заполнил какую-то анкету, возможно он указал имя, возраст, пол. Какие-то демо-данные, которые обычно используются при регистрации. Во-вторых, можно использовать данные пользователя из соц.сетей.

(АБ: АК рассказывает о кликджекинге. Пропущу в конспекте)

АК: Далее возможны варианты. Например, можно экспертным путем определить стереотипы, пример - предлагать мультфильмы только людям моложе X лет. Некоторые до сих пор так работают.

Второй путь - применение машинного обучения, а именно кластеризации. Взять всех пользователей и провести для них кластеризацию. Всю пользовательскую базу условно бьем на кластеры. В качестве признаков для кластеризации берем демографические признаки. Например, у нас в первом кластере - женщины, второй мужчины, третий - пожилые люди, четвертый - дети. Далее при появлении нового пользователя мы имеем все характеристики для того, чтобы отнести его к одному из кластеров, соответственно рекомендуем ему то, что рекомендуется для кластера.

Третий путь. Как вы помните у нас есть матрица товары/пользователи. И мы умеем прогнозировать некоторую оценку R. Эти алгоритмы способны доубучаться. Для демографических данных экспертно мы проставили исходно некоторое количество оценок. Далее обучаем алгоритм на основании этих неточных данных и проведем прогноз для всей совокупности людей. Теперь у нас больше данных, и мы можем провести дообучение.


АБ: на этом завершу конспект, выше я представил первые 70 минут занятия, осталось еще 50 минут, которые оставляю "за кадром". Курс коммерческий и выкладывать его весь в открытый доступ было бы некорректно.

О чем было дальше - в основном о том, как найти в соц.сети ВКонтакте Топ-100 пользователей за 1 минуту.

Надеюсь, вы получили представление, если не о курсе data-MBA в целом, то хотя бы о 4-м занятии этого курса.

+ +

Что еще я писал о занятиях.

Data-MBA для менеджеров.

- Анонс: Data MBA для менеджеров и бизнесменов
- Что было на втором занятии (Машинное обучение, методы, метрики, инструменты анализа "малых данных", инструменты анализа Big Data, бизнес-процесс работы с Big Data, подготовка специалистов в области Big Data, кейс Титаник, обработка текстов).
- Третье занятие "Анализ текста", Петр Ермаков, краткий конспект
- Четвертое занятие "Рекомендательные системы", Александр Крот, фрагмент полного конспекта (см. выше).

Школа данных Билайн. Машинное обучение и Big Data

- Завтра у меня первое занятие в Школе данных Билайн (анонс)
- Анонс Школы данных Билайн на хабре
- Как прошло мое первое занятие
- Как прошло мое третье занятие
- Краткий конспект по теме Patter Mining. Частые множества и ассоциативные правила