Статистика в веб-аналитике, или как стать data scientist

Установка

Шаги:

Нажмите кнопку Пуск и выберите Панель управления.
На панели управления выберите Программы, а затем Включение и отключение компонентов Windows.
В диалоговом окне «Компоненты Windows» нажмите Службы IIS, а затем кнопку ОК.

Конфигурирование

Настройка веб-узла по умолчанию:
При установке IIS настроен для использования в качестве веб-узла по умолчанию; тем не менее может потребоваться изменить некоторые настройки. Чтобы изменить основные параметры для веб-узла и имитировать действия, которые требуются для настройки Apache в первый раз с помощью файла конфигурации:

Войдите в систему на компьютере веб-сервера с правами администратора.
Нажмите кнопку Пуск, выберите Настройка и щелкните Панель управления.
Дважды щелкните значок Администрирование, а затем дважды щелкните значок Диспетчер служб Интернета.
Щелкните правой кнопкой мыши веб-узел, который необходимо настроить, на левой панели и выберите команду Свойства.
Перейдите на вкладку веб-узел .
В поле Описание введите описание веб-узла.
Введите адрес Internet Protocol (IP) для веб-узла или оставьте значение по умолчанию все (не назначено) .
Измените порт протокола управления передачей (TCP), соответствующим образом.
Перейдите на вкладку Домашний каталог.
Чтобы использовать папку на локальном компьютере, выберите каталог на данном компьютере и нажмите кнопку Обзор, чтобы найти папку, которую требуется использовать.
Чтобы использовать папку, общий ресурс с другого компьютера в сети, выберите параметр Общая папка другого компьютера и затем введите путь или нажмите кнопку Обзор, чтобы выбрать общую папку.
Нажмите кнопку Чтение предоставить доступ на чтение к папке (обязательно).
Нажмите кнопку ОК, чтобы принять свойства веб-сайта.

Создание нового веб-узла:

Чтобы создать новый веб-узел на сервере Apache, необходимо настроить виртуальный узел и настроить отдельные параметры для узла. Если используются службы IIS, можно создать новый веб-узел путем перевода следующих терминов в эквивалентные термины IIS:

Apache термин	Термин IIS
Корень документа	Каталог домашней страницы веб-узла IIS
Имя_сервера	Заголовок узла IIS
Прослушивание	IIS IP-адрес и TCP-порт

Чтобы создать новый веб-узел в IIS, выполните следующие действия:

Войдите в систему на компьютере веб-сервера с правами администратора.
Нажмите кнопку Пуск, выберите Настройка и щелкните Панель управления.
Дважды щелкните значок Администрирование, а затем дважды щелкните значок Диспетчер служб Интернета.
Щелкните Действие, выберите пункт Создать и выберите веб-узел.
После запуска мастера создания веб-узла, нажмите кнопку Далее.
Введите описание веб-узла. Это описание используется для идентификации веб-узла в диспетчере служб Интернета только для внутренних целей.
Выберите IP-адрес для веб-узла. Если выбрать все (без значения), веб-узел будет доступен для всех интерфейсов и всех настроенных IP-адресов.
Введите номер порта TCP, чтобы опубликовать на нем сайт.
Введите имя заголовка узла (реальные имя, которое используется для доступа к этому узлу).
Нажмите кнопку Далее.
Введите путь к папке, которая содержит документы веб-узла, или нажмите кнопку Обзор, выберите папку и нажмите кнопку Далее.
Укажите права доступа для веб-узла и нажмите кнопку Далее.
Нажмите кнопку Готово.

Диспетчер служб iis в windows 10

Итак, службы iis в windows 10 по умолчанию, находятся в выключенном состоянии, а точнее, данный компонент не установлен из коробки, сделано это специально, чтобы не тратились ресурсы компьютера и лишние сокеты не крутились на нем. Чтобы нам добавить нужный компонент, сделайте вот что. Нажмите сочетание клавиш Win+R и введите в окне выполнить:

control panel

В результате чего у вас откроется панель управления Windows. Сделаем в ней представление значков в формате «Крупные значки»

Далее находим пункт «Программы и компоненты»

Переходим в пункт «Включение или отключение компонентов Windows», мы с вами это уже делали, устанавливая telnet клиент

Находим среди множества пунктов «Службы Интернета», ставим на против них галку и нажимаем ок. У вас начинается установка IIS windows 10.

Компонент веб сервер IIS, будет добавлен в считанные секунды, после чего я вам советую перезагрузить вашу операционную систему Windows 10.

Как и писал выше, перезапустим систему.

Кстати, как только вы все установили, перед запуском не поленитесь поискать свежие обновления в центре обновления Windows, так как могут быть свежие заплатки. Теперь смотрите, как вы можете теперь открыть диспетчер IIS. Есть несколько способов, первый, нажмите WIN+R и введите inetMgr. У вас откроется нужная оснастка.

Второй метод, это открыть кнопку пуск и в папке «Средства администрирования» найдите «Диспетчер служб IIS»

Вот так вот выглядит оснастка. Далее я вам советую почитать, про создание сайтов.

Настройка IIS под 1С

Добавление пользователя IUSR в группу IIS_IUSRS

Для настройки прав доступа необходимо добавить пользователя IUSR в группу IIS_IUSRS, иначе при попытке публикации 1С на сервер Вы будете получать ошибку

Запускаем оснастку управление компьютером Win+R -> compmgmt.msc или через меню пуск:

В оснастке выбираем: Локальные пользователи и групп -> Группы -> IIS_IUSRS открываем свойства группы двойным щелчком ЛКМ

В эту группу нам необходимо добавить пользователя IUSR, для того чтобы предоставить необходимые права доступа, для этого жмем кнопку Добавить

Набираем имя пользователя IUSR и нажимаем кнопку Проверить имена, если пользователь будет найден, то он станет подчеркнутым, нажимаем ОК. Если пользователь не находится нажмите кнопку Размещение… и смените место поиска.

Проверяем, что наш пользователь появился и жмем ОК

Настройка сайта и приложения в IIS

Запускаем Диспетчер служб IIS удобным для Вас способом, например: Win+R -> InetMgr

В левой части экрана раскрываем ветку с сайтами. Останавливаем сайт по умолчанию Default Web Site или модифицируем его, я предпочитаю делать отдельный.

Жмем ПКМ на сайты и выбираем пункт Добавить веб-сайт

Заполняем параметры сайта

Вместе с сайтом так же должен был создаться пул приложений с таким же названием.Переходим выше по ветке в раздел Пулы и приложений и находим наше приложение, в данном случае 1с

Выбираем наш пул приложений 1с и нажимаем в правой части Дополнительные параметры…

В Дополнительных параметрах находим строки:Версия среды .NET Framework — выбираем версию v.4.0+Разрешены 32-разрядные приложения и выбираем значение TrueВнимание! Если Вы будете публиковать x64 битную платформу 1С данное значение оставляем False,иначе будете получать ошибку 0x800700c1(Эта проблема возникает из-за неверного сопоставление сценариев. Убедитесь в том, что сопоставление сценария указывает на ISAPI DLL-файл, который может обработать запрос

Чтобы сделать это, выполните следующие действия.)Режим управляемого конвейера — выбираем значение Classic

Настройка доступа для группы IIS_IUSRS

Если группа найдена она станет подчеркнутой, жмем ОК.

Далее проставляем галочки необходимых прав:

Тоже самое с правами, мы делаем для каталога куда установлена 1с и каталога куда развернута наша файловая база

Если Вы используете базу SQL, то Вам НЕ нужно задавать права на каталог с базой.Обращаем внимание, что для каталога с базой так же нужны права на запись!. Расположение файловой базы Вы можете посмотреть запустив 1С Предприятие

Расположение файловой базы Вы можете посмотреть запустив 1С Предприятие

Запускаем 1с Предприятие -> Конфигуратор -> Администрирование -> Публикация на веб-сервере…

Выбираем каталог где будут файлы сайта и жмем Опубликовать

Ресурсы IIS, которые вы должны знать

Есть много разных источников ценной информации IIS. Ниже мы перечислили некоторые из лучших, чтобы вы могли больше узнать о работах IIS:

1. iis.net2. microsoft.com3. Канал 9.msdn.com 4. stackify.com5. tecadmin.net6. Accelebrates.com 7. forums.iis.net

1. IIS.net

Если вы ищете информацию о IIS, этот сайт должен быть в верхней части вашего списка. Это официальный Microsoft Сайт IIS, на котором можно загрузить новости, обновления и руководства по использованию Microsoft IIS.

Существует почти 30 различных загрузок, поддерживаемых Microsoft, с сайта. Это включает Сжатие IIS, Установщик веб-платформы, яIS CORS Модуль, HttpPlatformHandler v1.2, Диспетчер IIS для удаленного администрирования 1.2, Расширение WinCache для PHP, Пакет администрирования, Расширенное ведение журнала, и Модуль инициализации приложения для IIS 7.5.

Записи блога на этом веб-сайте включают командлеты IIS PowerShell, начало работы с модулем IIS CORS и использование журнала активности Azure для проверки хода выполнения операции замены слотов развертывания.

2. Microsoft

Еще один отличный ресурс для загрузки IIS является Microsoft сам сайт. Microsoft веб-сайт имеет ряд загружаемых файлов IIS и специальный курс IIS для вас, чтобы улучшить ваш опыт IIS. Некоторые из наиболее полезных загрузок перечислены ниже:

Диспетчер баз данных IIS — позволяет управлять локальными и удаленными базами данных через диспетчер IIS.
Оснастка IIS PowerShell — позволяет автоматизировать администрирование создания и настройки веб-сайта.
Пакет администрирования для IIS 7.0 — предоставляет ряд инструментов и расширений с дополнительными возможностями администрирования
IIS Advanced Logging — добавляет ведение журнала в реальном времени на стороне клиента и сервера, а также дополнительные возможности сбора данных

К сожалению, мы могли найти только один курс, касающийся IIS, но он все еще является ценным ресурсом, когда вы начинаете с IIS. Название курса — 10972B Администрирование роли веб-сервера (IIS) Windows Server. Курс доступен в течение пяти дней в классе или предоставляет вам трехмесячный онлайн-доступ если вы решите сделать это онлайн

4. Стекировать

Когда дело доходит до технического контента по IIS, вам будет сложно победить Stackify. Stackify — это компания, которая специализируется на предоставлении специализированных инструментов и контента для разработчиков и других ИТ-специалистов. В настоящее время существует более 100 статей и учебных пособий по IIS. Живые статьи включают в себя:

Что такое IIS Express: как это работает, учебные пособия и многое другое
Как читать и настраивать файлы журнала IIS
Как отслеживать производительность IIS: от основ до расширенного мониторинга производительности IIS

5. тэкадмин

Techadmin — это технический блог, который был начато в 2013 году Рахулом Кумаром. Сайт был разработан специально, чтобы помочь Windows и Linux Сетевые администраторы, чтобы получить максимальную отдачу от своих инструментов. На сайте есть несколько различных статей по IIS, которые предлагают некоторые из наиболее доступных руководств, которые вы можете найти в Интернете. Прошлые статьи по IIS включают в себя:

Как установить IIS на Windows 8 и Windows 10
Как установить документ по умолчанию в IIS
Как создать сайт в IIS на Windows
Как перезапустить IIS через командную строку

6. Accelebrates

Еще один отличный ресурс Accelebrates Обучение IIS. На веб-сайте Accelebrate есть несколько курсов IIS с средний рейтинг 4,66 из 5. Эти курсы на основе 60% лабораторных и 40% лекций так что вы получите правильный баланс построения ваших теоретических и практических знаний. Это платные курсы, поэтому вам нужно напрямую связаться с компанией, чтобы запросить цену. Accelebrate-х IIS курсы следующие:

Администрация IIS 10
Администрация IIS 8

в Курс администрирования IIS 10 студенты будут учиться как спланировать и установить установку IIS, а также наращивание знаний об общей архитектуре IIS. Вы также узнаете, как выполнять повседневные задачи администрирования, используя IIS Manager, PowerShell, и Appcmd.

7. forums.iis.net

Хотя это технически является частью сайта IIS, форум заслуживает отдельного раздела, основанного на том, насколько он полезен сам по себе. Здесь вы можете найти обширную информацию о IIS и различных функциях. Форум предоставляет информацию о общие проблемы IIS, расширения, безопасность, конфигурации, веб-фермы, производительность, и исправление проблем. Поэтому, если у вас есть вопрос, на который вам нужно ответить, поездка на форумы IIS, скорее всего, будет включать в себя то, что вам нужно.

Датасет и Pandas для статистического анализа

В качестве анализа возьмем датасет c моллюсками вида abalone, доступный на сайте Kaggle — онлайн-площадке соревнований по машинному обучению. Датасет содержит физические параметры моллюсков: рост, диаметр, высоту, вес раковины и т.д. Также присутствует один категориальный признак — пол моллюска. Ключевым атрибутам является количество колец у моллюска, определяющего его возраст.
Для чтения данных будем использовать pandas. C основами работы pandas вы можете ознакомиться тут.

import pandas as pd
data = pd.read_csv('abalone.csv')
data.head()

Первые строчки выглядят следующим образом:

Первые пять строчек DataFrame

Установите IIS с помощью графического интерфейса

Это метод «укажи и щелкни» для настройки веб-сайта в IIS. Это идеальный метод, если вы не изучили команды PowerShell или Windows.

Начните вводить «включить окна» в строке поиска. В результате появится утилита Turn Windows on / off. Нажмите здесь.

Откроется окно «Функции Windows». Загрузка различных функций может занять некоторое время. Когда это произойдет, установите флажок рядом с Internet Information Services, а затем нажмите кнопку OK.

Установка начнется и может занять несколько минут. По завершении нажмите кнопку «Закрыть».

Чтобы убедиться, что IIS установлен и работает, введите IIS в строке поиска рядом с кнопкой «Пуск». В результате вы увидите Диспетчер информационных служб Интернета. Нажмите на это, чтобы открыть его.

Когда диспетчер IIS откроется, посмотрите в левой части окна в разделе «Подключения». Раскрывайте древовидное меню, пока не увидите веб-сайт по умолчанию. Это сайт-заполнитель, который устанавливается вместе с IIS. Нажмите на него, чтобы выбрать его.

Справа от диспетчера IIS смотрите в разделе «Просмотр веб-сайта». Нажмите на Обзор *: 80 (http). Это откроет веб-сайт по умолчанию в веб-браузере по умолчанию.

Вы увидите веб-страницу, подобную следующей

Обратите внимание, что в адресной строке написано localhost. Это адрес, который нужно ввести, чтобы перейти на ваш новый веб-сайт.

Установите IIS с помощью графического интерфейса

Начните вводить «включить окна» в строке поиска. В результате появится утилита Turn Windows on/off. Нажмите здесь.
Откроется окно «Функции Windows». Загрузка различных функций может занять некоторое время. Когда это произойдет, установите флажок рядом с Internet Information Services, а затем нажмите кнопку OK.
Установка начнется и может занять несколько минут. По завершении нажмите кнопку «Закрыть».
Чтобы убедиться, что IIS установлен и работает, введите IIS в строке поиска рядом с кнопкой «Пуск». В результате вы увидите Диспетчер информационных служб Интернета. Нажмите на это, чтобы открыть его.
Когда диспетчер IIS откроется, посмотрите в левой части окна в разделе « Подключения» . Раскрывайте древовидное меню, пока не увидите веб-сайт по умолчанию. Это сайт-заполнитель, который устанавливается вместе с IIS. Нажмите на него, чтобы выбрать его.
Справа от диспетчера IIS смотрите в разделе «Просмотр веб-сайта». Нажмите на Обзор *:80 (http). Это откроет веб-сайт по умолчанию в веб-браузере по умолчанию.
Вы увидите веб-страницу, подобную следующей

Обратите внимание, что в адресной строке написано localhost. Это адрес, который нужно ввести, чтобы перейти на ваш новый сайт.

Проверка публикации

Для публикации информационной базы нужно открыть конфигуратор конкретной базы от имени администратора и перейти в пункт меню «Администрирование». После этого выбрать «Публикация информационной базы».

В окне публикации указать имя публикации и по желанию определить каталог, где будут находиться настройки публикации. Его также можно оставить по умолчанию.

После этого требуется нажать кнопку «Опубликовать» и дождаться окончания операции.

Имя вашего сервера (например, server1)
Имя публикации базы (которое было указано в окне настройки публикации)

Для таких параметров ссылка будет иметь вид:

https://server1/test_1c_iis

Если все хорошо, то откроется страница с вашей информационной базой.

Построение моделей — анализ

Существует большое количество алгоритмов машинного обучения и их описание выходит за рамки данной статьи. Каждый из них имеет свои ограничения и решает определенный класс задач. На практике, чаще всего добиться успеха можно, комбинируя методы анализа.

В целом, можно дать следующие, не зависящие от Data Mining алгоритма, рекомендации по построению моделей:

Уделить большое внимание очистке данных. Собрав данные в нужном объеме, нельзя быть уверенным, что они будут хорошего качества

Чаще всего, оно оставляет желать лучшего, поэтому необходимо их предобработать. Для этого есть множество методов: удаление шумов, сглаживание, редактирование аномалий и прочее.

Комбинировать методики анализа. Это позволяет шире смотреть на проблему. Более того, использование различных методов для решения одной и той же задачи может помочь выявить интересные закономерности, выходящие за рамки применимости одного алгоритма;

Не гнаться за абсолютной точностью. Желательно начать использование при получении первых приемлемых результатов. Все равно идеальную модель построить невозможно. Полезный, пусть не идеальный результат, позволяет раньше получать выгоду от применения машинного обучения. При этом можно и нужно параллельно работать над совершенствованием модели с учетом полученных на практике результатов;

Начинать с более простых моделей. Правильно собранные данные позволяют получить выгоду от применения даже самых простых моделей. Если несколько методов анализа дают примерно одинаковый результат, всегда стоит выбрать наиболее простой из них. Простые методы более надежны, они менее требовательны к качеству данных, их легче интерпретировать и модифицировать. Применение сложных алгоритмов должно быть обосновано достаточной выгодой, оправдывающей повышенные затраты на их построение и развитие.

При невозможности построения качественной модели следует вернуться на предыдущие шаги Data Mining процесса. К сожалению, ошибки могут быть допущены на любом шаге: может быть некорректно сформулирована первоначальная гипотеза, могут возникнуть проблемы со сбором необходимых данных и прочее. К этому нужно быть готовым, т.к. Data Mining — это исследование, т.е. процесс поиска ранее неизвестных закономерностей.

Для оценки адекватности полученных результатов необходимо привлекать экспертов в предметной области. Интерпретация модели, так же как и выдвижение гипотез, может и должно делаться экспертом, т.к. для этого нужно глубокое понимание процесса, выходящее за пределы анализируемых данных.

Кроме того, нужно воспользоваться и формальными способами оценки качества модели: тестировать построенные модели на различных выборках для оценки их обобщающих способностей, т.е. способности выдавать приемлемые результаты на данных, которые не предоставлялись системе при построении модели.

Дело в том, что некоторые механизмы анализа могут «запоминать» предъявленные ей данные и на них демонстрировать прекрасные результаты, но при этом полностью терять способность к обобщению и на тестовых (из неизвестных системе ранее) данных выдавать очень плохие результаты. При формальной оценке можно отталкиваться от идеи, что если на тестовых данных модель дает приемлемые результаты значит она имеет право на жизнь.

При получении приемлемых результатов нужно начать использование полученных моделей, но необходимо понимать, что начало применения не является завершением Data Mining проекта. Работать над совершенствованием моделей нужно всегда, т.к. по прошествии времени обязательно наступит момент, когда придется опять проходить описанный цикл. К тому же, после получения первых удовлетворительных результатов, обычно встает вопрос о повышении точности.

Необходимо периодически оценивать адекватность модели текущей ситуации, потому что даже самая удачная модель со временем перестает соответствовать действительности.

Другие материалы по теме:

Смещение

Аналогично тому, как производится выборка из генеральной совокупности, дата-сайентисты из готового датасета выделяют тренировочный набор. Именно на этой «выборке второго порядка» модель учится делать предсказания.

Прочитайте нашу статью о создании простой модели машинного обучения. Она предсказывает город, в который вероятнее всего поедет турист, на основании его возраста, пола, места жительства, дохода и транспортных предпочтений. Такая рекомендательная система на минималках.

Смещение происходит, когда модель недооценивает или переоценивает какой-либо параметр. Представим, что модель из статьи выше отправляет всех краснодарцев в Париж — независимо от их дохода, предпочтений и других параметров. В этом случае мы скажем, что модель переоценивает значение параметра «Город проживания».

Чаще всего причиной смещения являются:

неправильный сбор данных в датасет: например, в него попали только краснодарцы — любители Парижа;
неправильное формирование тренировочного набора из датасета;
неправильное измерение ошибок.

Когда мы неверно собираем данные, говорят о систематической ошибке отбора. Например, в прошлом веке многие считали, что во Вселенной больше голубых галактик, — впечатление возникало потому, что плёнка была более чувствительна к голубой части спектра.

О доброте дельфинов мы знаем только от спасённых ими людей. Фото: Pixabay

Другая ошибка — ошибка меткого стрелка — происходит, когда мы вольно или невольно отбираем в выборку только схожие между собой данные, то есть фактически рисуем мишень вокруг места, куда попадём.

Причин, вызывающих смещение, так много, что Марк Твен заметил: «Существует три вида лжи: ложь, наглая ложь и статистика». Например:

Эффект низкой/высокой базы. Если в финансовом отчёте найти самый низкий показатель прибыли, то на его фоне любой другой результат будет выглядеть как достижение. И наоборот: если хотите показать, что ученик перестал прогрессировать, сравнивайте текущие оценки с его лучшими результатами за все годы обучения.
Сокращение рассматриваемого периода. Если хочется доказать, что рекламная кампания не приносит результатов, надо просто найти период, когда деньги уже потрачены, а эффекта ещё нет. И рассматривать только его.
Исключение из выборки. Если вы измеряете результативность методики снижения веса, то можно выкидывать из выборки участников, которые отказались от методики, не дойдя до конца. Это существенно «повысит» эффективность методики.
Ну и, конечно же, классика: «Интернет-опрос населения показал, что 100% населения пользуются интернетом».

Эти и другие ошибки смещения трудно выявить статистическими методами, поэтому нужно стараться избежать их до того, как вы начнёте сбор данных.

Если пить «Боржоми» уже поздно (датасет уже сформирован), обязательно спросите себя: «Не смещены ли мои данные?» — а они наверняка смещены, «Куда и почему они смещены?» и «Можно ли с этим жить?»

Конфигурация прокси-сервера использует протокол HTTP и токен связывания

Применяется только к размещению вне процесса.

Прокси-сервер, созданный между модулем ASP.NET Core и Kestrel, использует протокол HTTP. Отсутствует риск перехвата трафика между модулем и Kestrel из расположения за пределами сервера.

Токен связывания гарантирует, что полученные Kestrel запросы были переданы через прокси-сервер IIS, а не из какого-либо другого источника. Этот токен создается и задается модулем в переменную среды (). Он также задается в заголовке () каждого запроса, переданного через прокси-сервер. ПО промежуточного слоя IIS проверяет каждый получаемый запрос, чтобы убедиться, что заголовок с токеном связывания соответствует значению переменной среды. Если значения токена не совпадают, запрос заносится в журнал и отклоняется. Переменная среды с токеном связывания и трафик между модулем и Kestrel недоступны из расположения за пределами сервера. Не зная значение токена связывания, злоумышленник не может отправлять запросы, обходящие проверку в ПО промежуточного слоя IIS.

Заключение

Data Science — не просто комбинирование модных моделей в Jupyter-ноутбуке. Профессионалы в этой области глубоко понимают природу данных и то, как они могут помочь в принятии конкретных бизнес-решений.

Всё это изучалось в статистике задолго до того, как первый дата-сайентист набрал свой первый import pandas as pd. Статистика — фундамент всей современной науки о данных, включая машинное обучение, глубокие нейросети и даже искусственный интеллект.

В нашем курсе «Профессия Data Scientist» статистике уделено самое пристальное внимание. Вы не ударите в грязь лицом ни на тусовке статистиков, ни на настоящем DS-собеседовании

Приходите!