целью каких задач являются расчет параметров характеристик обработка данных

ОСНОВНЫЕ КОМПОНЕНТЫ В АЛГОРИТМИЗАЦИИ И ПОСЛЕДОВАТЕЛЬНОСТЬ РЕШЕНИЯ ЗАДАЧИ ОБРАБОТКИ ДАННЫХ

ЦЕЛИ И ЗАДАЧИ ОБРАБОТКИ ДАННЫХ

Сбор данных производится с соблюдением целостности, достоверности. Обработка данных использует следующие виды типовых операций:

Вычисления производятся с использованием стандартных функций, являющихся инструментарием специальных программных продуктов исследователя.

Укрупнение, или агрегирование, служит для уменьшения количества данных и реализуется в формах расчетов итоговых или средних значений.

Хранение данных осуществляется в различного вида информационных емкостях — базах данных, хранилищах данных, в облаке.

Трансформация данных — комплекс методов и алгоритмов, направленных на оптимизацию представления и форматов данных с точки зрения решаемых задач и целей анализа. Трансформация данных не ставит целью изменить информационное содержание данных. Ее задача — представить эту информацию в таком виде, чтобы она могла быть использована наиболее эффективно. Типичные средства трансформации:

Настройка набора данных. Позволяет изменять имена, типы, метки и назначения полей исходной выборки данных.

Табличная подстановка значений. Позволяет производить замену значений в исходной выборке данных на основе таблицы подстановки. Таблица подстановки содержит пары исходное значение — новое значение.

Вычисляемые значения. Иногда для анализа требуется информация, которая отсутствует в явном виде в исходных данных, но может быть получена на основе вычислений над имеющимися значениями.

Нормализация позволяет преобразовать диапазон изменения значений числового признака в другой диапазон, более удобный для применения к данным тех или иных аналитических алгоритмов, а также согласовать диапазоны изменений различных признаков.

Последовательность решения задачи обработки данных. Это процесс приведения данных к виду, удобному для использования. Обработка данных предполагает выполнение операций в следующей последовательности:

Последовательность решения задачи обработки данных представляется следующим образом:

Один из этапов обработки данных — агрегирование. Статистическая обработка данных, приведение их к сопоставимому виду, использование специальных инструментальных средств для преобразования данных, методов и алгоритмов факторного и кластерного анализа, методик аналитической обработки в реальном ремени (online analytical processing, О LAP) и облачных технологий позволяет решать задачи обработки данных в соответствии с поставленной задачей исследования.

К целям обработки данных относятся следующие:

• собрать всю доступную информацию, представленную в данных различной природы;

Эти цели в свою очередь приводят к постановке задач обработки данных. Общие задачи обработки данных — это:

Алгоритм обработки. Он выглядит так: исходная информация — исполнитель обработки — итоговая информация. Процесс перехода от исходных данных к результату представляется процессом обработки. Различают два типа обработки информации:

удобную для ее хранения, передачи, обработки, используется в технических средствах хранения, обработки и передачи информации.

Структурирование данных — упорядочивание данных в информационных емкостях различного вида, классификация, каталогизация данных.

Информационный поиск в некоторой информационной емкости данных, удовлетворяющих условиям поиска (запросу). Алгоритм поиска зависит от способа организации информации в информационной емкости.

Существенными представляются принципы обработки данных с технологической (аппаратной, программной) точки зрения.

Источник

Обработка данных

При этом данные, по сути, являются формой представления информации вне сознания отдельного человека.

Содержание

Типичные цели обработки данных

Эти цели, в свою очередь, приводят к постановке задач обработки данных

Общие задачи обработки данных

Описание структуры обработки данных (пример различных направлений математического и графического устройства (CPU & GPU)

Прикладные области обработки данных

Нетрудно вообразить себе и множество других примеров.

Полезное

Смотреть что такое «Обработка данных» в других словарях:

обработка данных — Систематическое осуществление операций над данными. [ИСО/МЭК 2382 1] [ГОСТ Р 52292 2004] обработка данных Технологическая операция, в результате которой изменяет свое значение хотя бы один из показателей, характеризующих состояние данных (объем… … Справочник технического переводчика

Обработка данных — процесс выполнения последовательности операций над данными. Обработка данных может осуществляться в интерактивном и фоновом режимах. По английски: Data processing Синонимы английские: Performing data См. также: Обработка данных Данные Финансовый… … Финансовый словарь

Обработка данных — [data processing, information proces­sing] процесс приведения данных к виду, удобному для использования. Независимо от вида информации, которая должна быть получена, и типа оборудования любая система О.д. выполняет три основные группы операций:… … Экономико-математический словарь

ОБРАБОТКА ДАННЫХ — (data processing, DP) Класс компьютерных операций, состоящих в манипулировании большими объемами информации. В бизнесе к таким операциям относят бухгалтерский учет, калькуляции платежных ведомостей и общую регистрацию поступающей информации.… … Словарь бизнес-терминов

ОБРАБОТКА ДАННЫХ — ОБРАБОТКА ДАННЫХ, систематизированная последовательность операций, совершаемых с ДАННЫМИ, прежде всего в компьютере, для получения новой информации путем вычислений, пересмотра и уточнения имеющейся информации, хранящейся на магнитном или… … Научно-технический энциклопедический словарь

обработка данных — 7.1.1 обработка данных: Систематическое осуществление операций над данными. (ИСО/МЭК 2382 1) [1] Источник: ГОСТ Р 52292 2004: Информационная технология. Электронный обмен информацией. Термины и определения … Словарь-справочник терминов нормативно-технической документации

обработка данных — duomenų apdorojimas statusas T sritis automatika atitikmenys: angl. data handling; data processing vok. Datenbehandlung, f; Datenverarbeitung, f rus. обработка данных, f pranc. traitement de données, m; traitement de information, m; traitement… … Automatikos terminų žodynas

обработка данных — duomenų apdorojimas statusas T sritis fizika atitikmenys: angl. data processing; handling of data vok. Datenverarbeitung, f rus. обработка данных, f pranc. traitement de données, m … Fizikos terminų žodynas

ОБРАБОТКА ДАННЫХ — один из этапов социологич. исследования. Включает ряд компонентов, каждый из к рых требует решения организационных, технич., методич., а подчас и теоретич. проблем. Необходимо подчеркнуть взаимосвязь этапа О.д. с др. этапами исследования. Многие… … Российская социологическая энциклопедия

ОБРАБОТКА ДАННЫХ — комплекс процедур, направленных на преобразование и обобщение данных социологического исследования. В отечественной социологии термин трактуется очень широко. Обычно к О.Д. относят процедуры проверки и кодирования заполненного инструментария, в… … Социология: Энциклопедия

Источник

Цели обработки экспериментальных данных

Основные показатели АСОИУ, например, показатели производительности и надежности, носят вероятностный характер и не могут быть непосредственно измерены [2, 6]. Для их оценки следует применять косвенные способы на основе регистрации соответствующих первичных параметров и последующей обработки накопленных данных с привлечением специальных математических методов. Иначе говоря, ЭД представляют собой лишь наборы возможных случайных значений показателей, зарегистрированных в некоторые моменты времени. Например, продолжительность наработок до отказа некоторой совокупности однотипных устройств можно рассматривать как множество возможных случайных значений показателя «наработка до отказа». Именно по наработкам и необходимо оценить значение этого показателя. Сам показатель как случайная величина характеризуется законом распределения, моментами распределения или другими параметрами, которые и следует определить.

Основными целями обработки ЭД являются следующие:

оценка значений показателей качества средств, комплексов или системы в целом. На стадиях создания такая оценка проводится в интересах обоснования принимаемых решений по построению объектов, проверки показателей на соответствие требованиям, выявления существенных факторов, влияющих на функционирование объектов, выявления причин несоответствия требованиям. На стадии эксплуатации обработка ЭД проводится также для решения задач управления объектом: изменения режимов работы объекта; изменения порядка обработки информации; обоснования данных для модернизации объекта (изменения конфигурации технических и программных средств); адаптации объекта к условиям функционирования;

сжатие информации о функционировании объекта, ее обобщение для последующего применения в интересах исследования подобных объектов, обоснования данных для создания новых систем; выявление закономерностей функционирования объекта в конкретных условиях эксплуатации, т. е. установление зависимостей между параметрами объекта, внешней среды и показателями качества объекта. Выявленные закономерности применяют для поиска оптимальных значений параметров при синтезе новых систем, для упрощенного описания объекта в модели суперсистемы; выявление существенных параметров системы и внешней среды; изучение типологии объектов (распознавание образов, классификация объектов); прогнозирование развития объектов в интересах организационного и технологического управления.

Следует помнить, что результаты обработки ЭД не гарантируют достоверного описания неизвестных показателей или закономерностей, их необходимо рассматривать только лишь как более-менее удачную аппроксимацию соответствующих характеристик.

Необходимость сбора и обработки ЭД обусловлена объективными обстоятельствами, так как действительные значения показателей качества сложных объектов обычно существенно отличаются от рассчитанных на стадиях проектирования. Эти различия являются следствием ряда причин: на стадиях проектирования нет достаточно полных и точных представлений о характеристиках процессов, протекающих в объекте и во внешней среде, поэтому при проектировании приходится вводить существенные допущения и ограничения. На практике часть принятых допущений оказывается не вполне справедливой; с вводом в действие объекта внешняя среда постепенно меняет свои характеристики, например, меняются стиль и методы работы пользователей, появляются дополнительные потребности в решении задач. Такие изменения заранее предусмотреть невозможно; условия эксплуатации, квалификация обслуживающего персонала в разных организациях имеют свою специфику; в ходе эксплуатации изменяются характеристики технических, программных и информационных средств, меняется их взаимное отображение. Эти обстоятельства приводят к изменению характеристик потоков запросов на решение задач и параметров их обслуживания.

Таким образом, фактические значения показателей качества не только отличаются от расчетных, но и меняются с течением времени, имеют свои особенности для одних и тех же типов объектов, эксплуатируемых в различных организациях, претерпевают колебания, зависящие от времени, характера выполняемых на объекте работ.

В зависимости от стадии жизненного цикла АСОИУ задачи обработки ЭД имеют ряд особенностей. На стадии создания имеется принципиальная возможность проведения активных и пассивных экспериментов. Понятие «активный» подразумевает возможность выбора объема экспериментов, последовательности и значений характеристик воздействий на объект по желанию исследователя. Проведение активных экспериментов позволяет расширить диапазон условий, при которых проводится оценивание качества. A специальным образом подобранные условия проведения исследования и порядок задания внешних воздействий, т. е. рационально обоснованные планы экспериментов, обеспечивают взаимную статистическую независимость результатов испытаний. Эти обстоятельства значительно облегчают обработку ЭД, повышают качество получаемых оценок, позволяют разделить влияние различных факторов при построении модели функционирования объекта. Активные эксперименты в основном проводятся на завершающих стадиях создания в виде испытаний опытных образцов, фрагментов систем и т. п. Вопросы постановки активных экспериментов, методов обработки их результатов изучаются в рамках специальной теории планирования экспериментов.

Реальные условия эксплуатации объекта в конкретной организации могут отличаться от предполагаемых при проведении испытаний. В связи с этим, показатели, установленные в ходе испытаний, несут в себе известную долю абстракции. На стадии создания время испытаний весьма ограничено, что не дает возможности сформировать большой объем ЭД для полноценной оценки искомых показателей.

В пассивных экспериментах количество наблюдений, последовательность и значения воздействий определяются реальной обстановкой использования объектов. Иначе говоря, исследователь практически лишен возможности управления качеством и количеством ЭД.

На стадии эксплуатации возможности проведения активных экспериментов значительно ограничены или вообще отсутствуют, что обычно приводит к взаимной зависимости результатов наблюдений. Наличие такой зависимости затрудняет обработку полученных данных, а игнорирование данного обстоятельства приводит к смещению значений получаемых оценок, невозможности разделения влияния различных факторов на показатели функционирования и к другим нежелательным последствиям. Нестационарные условия эксплуатации, влияние на объекты периодических или нерегулярно изменяющихся воздействий (трендов) обусловливают необходимость рассмотрения характеристик не как случайных величин, а как случайных функций. Однако из-за слабой разработанности методов и средств оценки параметров случайных процессов по результатам наблюдения обычно предполагается, что процесс функционирования объекта носит стационарный или кусочно-стационарный характер.

Источник

Анализ данных — основы и терминология

В этой статье я бы хотел обсудить базовые принципы построения практического проекта по (т. н. «интеллектуальному») анализу данных, а также зафиксировать необходимую терминологию, в том числе русскоязычную.

Анализ данных — это область математики и информатики, занимающаяся построением и исследованием наиболее общих математических методов и вычислительных алгоритмов извлечения знаний из экспериментальных (в широком смысле) данных; процесс исследования, фильтрации, преобразования и моделирования данных с целью извлечения полезной информации и принятия решений.

Говоря чуть более простым языком, я бы предложил понимать под анализом данных совокупность методов и приложений, связанных с алгоритмами обработки данных и не имеющих четко зафиксированного ответа на каждый входящий объект. Это будет отличать их от классических алгоритмов, например реализующих сортировку или словарь. От конкретной реализации классического алгоритма зависит время его выполнения и объем занимаемой памяти, но ожидаемый результат его применения строго зафиксирован. В противоположность этому мы ожидаем от нейросети, распознающей цифры, ответа 8 при входящей картинке, изображающей рукописную восьмерку, но не можем требовать этого результата. Более того, любая (в разумном смысле этого слова) нейросеть будет иногда ошибаться на тех или иных вариантах корректных входных данных. Будем называть такую постановку задачи и применяющиеся при ее решении методы и алгоритмы недетерминистическими (или нечеткими) в отличии от классических (детерминистических, четких).

Алгоритмы и эвристики

Описанную задачу распознавания цифр можно решать пытаясь самостоятельно подобрать функцию, реализующую соответствующее отображение. Получится, скорее всего, не очень быстро и не очень хорошо. С другой стороны, можно прибегнуть к методам машинного обучения, то есть воспользоваться вручную размеченной выборкой (или, в других случаях, теми или иными историческими данными) для автоматического подбора решающей функции. Таким образом, здесь и далее (обобщенным) алгоритмом машинного обучения я буду называть алгоритм, так или иначе на основе данных формирующий недетерминистический алгоритм, решающий ту или иную задачу. (Недетерминистичность полученного алгоритма нужна для того, чтобы под определение не подпадал справочник, использующий предварительно подгруженные данные или внешний API).

Таким образом, машинное обучение является наиболее распространенным и мощным (но, тем не менее, не единственным) методом анализа данных. К сожалению, алгоритмов машинного обучения, хорошо обрабатывающих данные более или менее произвольной природы люди пока не изобрели и поэтому специалисту приходится самостоятельно заниматься предобработкой данных для приведения их в пригодный для применения алгоритма вид. В большинстве случаев такая предобработка называется фичеселектом (англ. feature selection) или препроцессингом. Дело в том, что большинство алгоритмов машинного обучения принимают на вход наборы чисел фиксированной длины (для математиков — точки в ). Однако сейчас также широко используются разнообразные алгоритмы на основе нейронных сетей, которые умеют принимать на вход не только наборы чисел, но и объекты, имеющие некоторые дополнительные, главным образом геометрические, свойства, такие как изображения (алгоритм учитывает не только значения пикселей, но и их взаимное расположение), аудио, видео и тексты. Тем не менее, некоторая предобработка как правило происходит и в этих случаях, так что можно считать, что для них фичеселект заменяется подбором удачного препроцессинга.

Алгоритмом машинного обучения с учителем (в узком смысле этого слова) можно назвать алгоритм (для математиков — отображение), который берет на вход набор точек в (еще называются примерами или samples) и меток (значений, которые мы пытаемся предсказать) , а на выходе дает алгоритм (=функцию) , уже сопоставляющий конкретное значение любому входу , принадлежащему пространству примеров. Например, в случае упомянутой выше нейросети, распознающей цифры, с помощью специальной процедуры на основе обучающей выборки устанавливаются значения, соответствующие связям между нейронами, и с их помощью на этапе применения вычисляется то или иное предсказание для каждого нового примера. Кстати, совокупность примеров и меток называется обучающей выборкой.

Список эффективных алгоритмов машинного обучения с учителем (в узком смысле) строго ограничен и почти не пополняется несмотря на активные исследования в этой области. Однако для правильного применения этих алгоритмов требуется опыт и подготовка. Вопросы эффективного сведения практической задачи к задаче анализа данных, подбора списка фичей или препроцессинга, модели и ее параметров, а также грамотного внедрения непросты и сами по себе, не говоря уже о работе над ними в совокупности.

Общая схема решения задачи анализа данных при использовании метода машинного обучения выглядит таким образом:

Цепочку «препроцессинг — модель машинного обучения — постпроцессинг» удобно выделять в единую сущность. Часто такая цепочка остается неизменной и лишь регулярно дообучается на новопоступивших данных. В некоторых случаях, особенно на ранних этапах развития проекта, ее содержимое заменяется более или менее сложной эвристикой, не зависящей напрямую от данных. Бывают и более хитрые случаи. Заведем для такой цепочки (и возможных ее вариантов) отдельный термин и будем называть мета-моделью (meta-model). В случае эвристики она редуцируется до следующей схемы:

Эвристика — это просто вручную подобранная функция, не использующая продвинутых методов, и, как правило, не дающая хорошего результата, но приемлемая в определенных случаях, например на ранних стадиях развития проекта.

Задачи машинного обучения с учителем

В зависимости от постановки, задачи машинного обучения делят на задачи классификации, регрессии и логистической регрессии.

Классификация — постановка задачи при которой требуется определить, какому классу из некоторого четко заданного списка относится входящий объект. Типичным и популярным примером является уже упоминавшееся выше распознавание цифр, в ней каждому изображению нужно сопоставить один из 10 классов, соответствующий изображенной цифре.

Регрессия — постановка задачи, при которой требуется предсказать некоторую количественную характеристику объекта, например цену или возраст.

Логистическая регрессия сочетает свойства перечисленных выше двух постановок задач. В ней задаются совершившиеся события на объектах, а требуется предсказать их вероятности на новых объектах. Типичным примером такой задачи является задача предсказания вероятности перехода пользователя по рекомендательной ссылке или рекламному объявлению.

Выбор метрики и валидационная процедура

Метрика качества предсказания (нечеткого) алгоритма — это способ оценить качество его работы, сравнить результат его применения с действительным ответом. Более математично — это функция, берущая на вход список предсказаний и список случившихся ответов , а возвращающая число соответствующее качеству предсказания. Например в случае задачи классификации самым простым и популярным вариантом является количество несовпадений , а в случае задачи регрессии — среднеквадратичное отклонение . Однако в ряде случаев из практических соображений необходимо использовать менее стандартные метрики качества.

Прежде чем внедрять алгоритм в работающий и взаимодействующий с реальными пользователями продукт (или передавать его заказчику), хорошо бы оценить, насколько хорошо этот алгоритм работает. Для этого используется следующий механизм, называемый валидационной процедурой. Имеющаяся в распоряжении размеченная выборка разделяется на две части — обучающую и валидационную. Обучение алгоритма происходит на обучающей выборке, а оценка его качества (или валидация) — на валидационной. В том случае, если мы пока не используем алгоритм машинного обучения, а подбираем эвристику, можно считать, что вся размеченная выборка, на которой мы оцениваем качество работы алгоритма является валидационной, а обучающая выборка пуста — состоит из 0 элементов.

Типичный цикл развития проекта

В самых общих чертах цикл развития проекта по анализу данных выглядит следующим образом.

Заключение

На этом пока все, следующий раз мы обсудим какие конкретно алгоритмы применяются для решения задач классификации, регрессии и логистической регрессии, а о том, как сделать базовое исследование задачи и подготовить его результат для использования прикладным программистом уже можно почитать здесь.

Источник

Общие сведения об экспериментальных исследованиях

Введение

В настоящее время жизнь человека настолько насыщена различного рода информацией. Мы изучаем те или иные объекты исследуем их, а затем пытаемся объяснить с помощью математических формул и графиков, что мы получили.

Кроме того, при проведении эксперимента мы стараемся автоматизировать его обработку, тем самым деятельность человека переходит из реального мира в электронный формат.

Многочисленная литература по обработке экспериментальных данных сводится к статистическому расчету этих данных с помощью математической модели. Более того, часто вводятся новые термины, порой не определяемые или имеющие разные названия в различных источниках. Много отдельных вопросов по обработке данных опубликованы в научных журналах, сложным математическим языком и со сложными математическими выкладками.

Следует отметить, что сейчас есть много всевозможных программ, которые не требуют таких академических знаний математики, для обработки полученных результатов вполне хватит знаний высшей школы и знания работы с программным продуктом.

Эксперимент, как таковой ничего не значит, если его правильно не обработать. После проведения эксперимента начинается самая сложная часть, это обработка его. Для того чтобы эксперимент считался законченным его необходимо просчитать. Как и каким способом сделать расчет? А затем представить его результаты, и поможет данная книга. Кроме того, в нее включены задания по лабораторным работам и варианты практических работ по исследованию того или иного объекта.

Общие сведения об экспериментальных исследованиях

Цель лекции: Уяснить необходимость экспериментальных исследований наряду с теоретическими выводами. Ознакомиться с основными требованиями, которые предъявляются к экспериментальным исследованиям и обработке экспериментов с помощью математической модели. Рассмотрение требований, которые выполняются при проведении статистических наблюдений.

Эксперимент является важнейшим средством получения новых знаний не только в области естественных и технических наук, но и в экономике, социологии, политике, психологии, литературоведении и в других отраслях. Экспериментальные исследования дают критерии оценки обоснованности и приемлемости на практике любых теорий и теоретических предположений. Одним из основных этапов любого эксперимента является обработка экспериментальных данных. Она необходима для получения ответа на вопрос: «Достоверны ли полученные опытные данные в пределах требуемой точности или допусков?».

В зависимости от целей эксперимента (исследование, управление, контроль ) могут быть использованы различные методы анализа объекта или явления. Это необходимо для прогнозирования состояния в разных условиях функционирования, оптимизации отдельных параметров, а также для решения каких-то других специфичных задач. Особенно важна тщательная математическая обработка результатов экспериментов, подтверждающая теоретические выводы и построения по диссертациям на соискание ученых степеней.

Применение различных методов обработки экспериментальных данных, критериев достоверности и адекватности моделей, изучаемым процессам или явлениям, оценка точности и надежности результатов эксперимента требует знания основных положений теории вероятностей и математической статистики, умелого использования принципов и приемов программирования. Кроме того, в связи с усложнением алгоритмов обработки данных необходимы глубокие знания основных вычислительных методов.

Конечной целью любой обработки экспериментальных данных является выдвижение гипотез о классе и структуре математической модели исследуемого явления, определение состава и объема дополнительных измерений, выбор возможных методов последующей статистической обработки и анализ выполнения основных предпосылок, лежащих в их основе.

Остановимся на определении математической модели (М.м.).

Математическая модель – это приближённое описание какого-либо класса явлений внешнего мира, выраженное с помощью математической символики. М. м. — мощный метод познания внешнего мира, а также прогнозирования и управления. Анализ М. м. позволяет проникнуть в сущность изучаемых явлений. Процесс математического моделирования, то есть изучения явления с помощью М. м., можно подразделить на 4 этапа.

Первый этап — формулирование законов, связывающих основные объекты модели. Этот этап требует широкого знания фактов, относящихся к изучаемым явлениям, и глубокого проникновения в их взаимосвязи. Эта стадия завершается записью в математических терминах сформулированных качеств, представлений о связях между объектами модели.

Второй этап — исследование математических задач, к которым приводят М. м. Основным вопросом здесь является решение прямой задачи, то есть получение в результате анализа модели выходных данных для дальнейшего их сопоставления с результатами наблюдений изучаемых явлений. На этом этапе важную роль приобретают математический аппарат, необходимый для анализа М. м., и вычислительная техника.

Третий этап — выяснение того, удовлетворяет ли принятая гипотетическая модель критерию практики, то есть выяснение вопроса о том, согласуются ли результаты наблюдений с теоретическими следствиями модели в пределах точности наблюдений. Если модель была вполне определена — все параметры её были заданы, — то определение уклонений теоретических следствий от наблюдений даёт решения прямой задачи с последующей оценкой уклонений. Если уклонения выходят за пределы точности наблюдений, то модель не может быть принята.

Четвёртый этап — последующий анализ модели в связи с накоплением данных об изучаемых явлениях и модернизация модели. В процессе развития науки и техники, данные об изучаемых явлениях, всё более и более уточняются, и наступает момент, когда выводы, получаемые на основании существующей М. м., не соответствуют нашим знаниям о явлении. В таком случае возникает необходимость построения, более совершенной математической модели.

Для разработки современной М.м. необходимо решить некоторые частные задачи, среди которых можно выделить следующие:

Следует отметить, что в зависимости от конечных целей исследования, сложности изучаемого явления и уровня априорной информации о нем объем задач, выполняемых в ходе предварительной обработки, может существенно изменяться. То же самое можно сказать и о соотношении целей и задач, которые решаются при предварительной обработке и на последующих этапах статистического анализа, направленных на построение модели явления.

Так, например, если целью эксперимента является изменение значения неизвестной, но заведомо постоянной величины путем прямых многократных измерений с помощью средства измерений с известными характеристиками погрешностей, то полная обработка результатов измерения ограничивается простейшей предварительной обработкой данных (оценкой математического ожидания). В то же время, если измеряемая величина является переменной, а закон распределения погрешностей измерительного прибора неизвестен, то для решения конечной задачи потребуется проведение, как предварительной обработки данных, так и применение статистических методов исследования физических зависимостей.

Источник