что значит понятие достижение требуемой воспроизводимости
С более узкой областью в вычислительных науках была введена воспроизводимость : любые результаты должны быть задокументированы, сделав все данные и код доступными таким образом, чтобы вычисления можно было выполнить снова с идентичными результатами.
Термины воспроизводимость и повторяемость используются в контексте воспроизводимости, см. Ниже.
СОДЕРЖАНИЕ
История
Воспроизводимость, повторяемость
Эти родственные термины в широком или в общих чертах являются синонимами воспроизводимости (например, среди широкой публики), но их часто полезно дифференцировать в более точных смыслах, как показано ниже.
К сожалению, термины воспроизводимость и воспроизводимость иногда встречаются даже в научной литературе в обратном значении, когда исследователи не могут добиться более точного использования.
Меры воспроизводимости и повторяемости
Воспроизводимое исследование
Воспроизводимый метод исследования
Чтобы сделать любой исследовательский проект воспроизводимым с помощью вычислений, в общей практике все данные и файлы должны быть четко разделены, помечены и задокументированы. Все операции должны быть полностью документированы и автоматизированы, насколько это возможно, без ручного вмешательства, где это возможно. Рабочий процесс должен быть спроектирован как последовательность более мелких шагов, которые объединяются таким образом, чтобы промежуточные результаты одного шага непосредственно служили входными данными для следующего шага. Следует использовать контроль версий, поскольку он позволяет легко просматривать историю проекта и прозрачным образом документировать и отслеживать изменения.
Базовый рабочий процесс воспроизводимого исследования включает сбор данных, обработку данных и анализ данных. Сбор данных в первую очередь состоит из получения первичных данных из первичного источника, такого как опросы, полевые наблюдения, экспериментальные исследования или получение данных из существующего источника. Обработка данных включает в себя обработку и анализ необработанных данных, собранных на первом этапе, и включает в себя ввод данных, обработку данных и фильтрацию и может выполняться с использованием программного обеспечения. Данные должны быть оцифрованы и подготовлены для анализа данных. Данные могут быть проанализированы с использованием программного обеспечения для интерпретации или визуализации статистики или данных для получения желаемых результатов исследования, таких как количественные результаты, включая рисунки и таблицы. Использование программного обеспечения и автоматизации повышает воспроизводимость методов исследования.
Воспроизводимые исследования на практике
Психология стала свидетелем возобновления внутренних опасений по поводу невоспроизводимых результатов (см. Статью о кризисе воспроизводимости, где приведены эмпирические результаты об успешности репликации). Исследователи показали в исследовании 2006 года, что из 141 автора публикации эмпирических статей Американской психологической ассоциации (APA) 103 (73%) не предоставили свои данные в течение шести месяцев. В ходе последующего исследования, опубликованного в 2015 году, было обнаружено, что 246 из 394 авторов статей в журналах APA, с которыми связались, не предоставили свои данные по запросу (62%). В документе 2012 года было предложено, чтобы исследователи публиковали данные вместе со своими работами, и набор данных был выпущен в качестве демонстрации. В 2017 году в статье, опубликованной в журнале Scientific Data, говорилось, что этого может быть недостаточно и что следует раскрыть весь контекст анализа.
В экономике высказывались опасения по поводу достоверности и надежности опубликованных исследований. В других науках воспроизводимость считается фундаментальной и часто является предпосылкой для публикации исследований, однако в экономических науках она не рассматривается в качестве первостепенной важности. Большинство рецензируемых экономических журналов не принимают никаких существенных мер для обеспечения воспроизводимости опубликованных результатов, однако ведущие экономические журналы переходят на обязательные архивы данных и кодов. У исследователей мало или вообще нет стимулов для обмена своими данными, и авторам придется нести расходы по компиляции данных в формы для повторного использования. Экономические исследования часто невозможно воспроизвести, поскольку только часть журналов имеет адекватную политику раскрытия информации о наборах данных и программном коде, и даже если они и есть, авторы часто не соблюдают их или издатель не навязывает их. Изучение 599 статей, опубликованных в 37 рецензируемых журналах, показало, что, хотя некоторые журналы достигли значительных показателей соответствия, значительная их часть соблюдала только частично или не выполняла вовсе. На уровне статей средний уровень соблюдения требований составил 47,5%; а на уровне журнала средний уровень соответствия составлял 38%, от 13% до 99%.
Исследование 2018 года, опубликованное в журнале PLOS ONE, показало, что 14,4% выборки исследователей общественного здравоохранения поделились своими данными или кодом, или и тем, и другим.
Заслуживающие внимания невоспроизводимые результаты
В марте 1989 года химики из Университета штата Юта Стэнли Понс и Мартин Флейшманн сообщили о выделении избыточного тепла, которое можно объяснить только ядерным процессом (« холодный синтез »). Отчет был поразительным, учитывая простоту оборудования: по сути, это была электролизная ячейка, содержащая тяжелую воду и палладиевый катод, который быстро абсорбировал дейтерий, образующийся во время электролиза. Средства массовой информации широко освещали эксперименты, и эта статья была на первых полосах многих газет по всему миру (см. « Наука в пресс-конференции» ). В течение следующих нескольких месяцев другие пытались повторить эксперимент, но безуспешно.
Другие примеры, свидетельствующие об обратном, опровергающие первоначальное утверждение:
Чего хотят конференции: воспроизводимость экспериментов в data science
Ведущие научные конференции просят воспроизводимости экспериментов. И это нужно для повышения доверия к работам, для извлечения пользы (повторной используемости и цитируемости), ну и «тренд» (согласно опросу журнала Nature).
Ожидания растут, в 2021 уже 9 из 10 конференций предлагают авторам провериться на воспроизводимость. Сдать тест, заполнить опросник, привести свидетеля и т. д.
О чем речь, зачем нужна воспроизводимость, какие проблемы нужно решать, обсудим в этой статье.
Эксперименты в машинном обучении
Под экспериментом понимают процедуру для проверки и опровержения гипотез. Будь то гипотезы о наличии закономерностей в данных или выборе параметров модели.
Провести эксперимент не так просто, как может показаться. При желании, даже в типовом эксперименте со случайным перемешиванием и разделением данных на train, test и повторением несколько раз можно обнаружить применение рандомизации в постановке эксперимента.
Еще у эксперимента есть цель, план, критерии принятия или опровержения гипотез, использованные данные и ожидаемые результаты. Если порядок проведения эксперимента разбит на этапы и указана последовательность их исполнения, то говорят, что задан пайплайн (pipeline) эксперимента.
Проведенные измерения подвергаются анализу и делается вывод об успешности эксперимента, и можно ли принять или отвергнуть гипотезы.
Так вот, анализ представленных статей на конференции AAAI 2014, AAAI 2016, IJCAI 2013 и IJCAI 2016 показывает, что доля экспериментальных работ составляет более 80% — в разы выше чисто теоретических!
Ожидается, что результаты экспериментов будут повторяемы
Вот список конференций и требования по повторяемости результато на апрель 2021 года. Список получен по GuideToResearch (Top 100), поиском по категории Machine Learning, Data Mining & Artificial Intelligence. Уровни и ссылки собраны вручную.
Название
Требования к публикациям
Уровень
В таблице указаны вот такие уровни требований:
Not found — требования по воспроизводимости не найдены в CFP или инструкциях автору.
Reminder — организаторы просят авторов предоставлять воспроизводимые результаты.
Encouraged — авторам предоставлен чеклист и настоятельно рекомендуется предоставить оценку соответствия ему, будет влиять на оценку работ.
Required — выполнение требований по воспроизводимости обязательно для подачи работы.
Что это значит и что такое воспроизводимость?
Пока не заметно, чтобы от рецензентов требовали воспроизводить результаты авторов. На это, скорее всего, им не хватит времени, если только эксперимент изначально не автоматизирован. Могут попросить опубликовать код, заполнить чеклист, или уже отдельно проводят трек с повторением экспериментов. Наиболее распространены два чеклиста (пример раз от NeurIPS, пример два по мотивам исследований Gundersen et al.).
Таким образом, нужно быть готовым ответить на пару десятков вопросов и проверить, что ответы на них адекватно отражены в подаваемой статье.
При этом гипотеза, что соответствие чеклистам или устаналиваемым правилам повышает воспроизводимость все еще не подтверждена. Более того, по состоянию на 2020-2021 в области машинного обучения нет устоявшейся терминологии и, тем более, ее перевода на русский. Вот что используют в ACM при выдаче бейджей о воспроизводимости, в вольном переводе:
Повторяй за мной (repeatable experiment / повторяемый эксперимент)
Авторы могут получить те же результаты в пределах погрешности, используя заготовленные артефакты эксперимента.
Артефактами (artifact) здесь называются статья, экспериментальный стенд или его части, исходный код, инструкции к его запуску, данные или способ их получения и так далее, что можно идентифицировать и связать с экспериментом.
Делай вместо меня (reproducible / повторяемые результаты)
Другие исследователи могут получить те же результаты, используя артефакты от авторов.
Думай как я (replicable / воспроизводимые исследования)
По описанию эксперимента другие исследователи могут реализовать артефакты и сделать те же выводы из результатов.
Важно, что использование чеклистов для самопроверки поможет с «Повторяй за мной», но вряд ли с более высокими уровнями воспроизводимости.
Постпозитивист и автор теории потенциальной фальсифицируемости Карл Поппер пишет в середине XX века:
— Popper, K. R. 1959. The logic of scientific discovery. Hutchinson, London, United Kingdom.
То есть единичные невоспроизводимые события не имеют значения для науки. Так то.
Для чего еще — повторное использование
Воспроизводимость и повторная используемость эксперимента оказывается полезной не только при подготовке публикации.
Примеры: для своей новой работы нужна часть кода из прошлой статьи, откуда его брать? По-умолчанию, это копирование тетрадки, ячеек или блокнотик с заготовками и сниппетами (отпишитесь, кто так делает). В каких условиях использовался этот код ранее, какую задачу решал и с каким результатом?
Еще примеры: нужно сделать демо результатов после эксперимента, нужен код построения модели еще и в пайплайне, еще тот же код нужен для других специальных экспериментов. Можем ли использовать код эксперимента в разных условиях, с различными входными данными? Как его нужно структурировать для этого и не забыть про описание? А теперь представим, что нужна доработка или исправление дефекта в коде, скопированном для всех кейсов!
Если мы повторно используем часть эксперимента или эксперимент целиком, получим ли мы ожидаемые результаты?
С другой стороны. Например, нашли очень интересную статью на том же arxiv.org или paperswithcode.org. Будет ли полезно для проекта? Есть ли код? Есть ли данные? Могу ли повторить? Не могу. «Без кода вообще не смотрю», — цитата с круглого стола по воспроизводимости экспериментов.
И еще — provenance
То есть прослеживаемость. Вообще важная вещь! Есть даже Prov-ML модель предметной области проведения экспериментов в науках о данных. Корректность UML 2 подтверждена (кроме указания стереотипов в двойных угловых скобках, вместо
Вот что пишут, какой исследовательский код «достаточно хороший» на StackOverflow или StackExchange. «Исследовательский код должен корректно реализовывать алгоритм, который является результатом в статье. Код эксперимента — не код программного продукта, к нему не нужно предъявлять тех же требований. С другой стороны, вряд ли получат много доверия результаты, в представлении которых честно сказано, что код не проверен, скорее всего содержит ошибки, работает не понятно, каким образом.»
На упомянутом ранее круглом столе среди сложностей разработки исследовательского кода и причин невоспроизводимости экспериментов на его основе также указаны противоречия и конкуренция внутри организации, первенство в идеях, желание сохранить ноу-хау, ресурсные барьеры.
Повторяемость результатов на практике
Что позволено Юпитеру, не позволено быку
В статье про воспроизводимость Jupyter Notebooks, найденных на GitHub, указывается, что без ошибок и с повторением сохраненных результатов выполнились только 4% из полутора миллионов тетрадок.
Среди запусков тетрадок, завершившихся с ошибкой, топ ошибок такой:
Первое место — проблемы с зависимостями в библиотеках и зависимостями в зависимостях. Часть репозиториев использовали requirements.txt, часть setup.py. Не всегда помогает из-за транзитивных зависимостей.
Второе место — порядок исполнения. Тетрадка сохранена без прогона вчистую, порядок не сохранен и некоторые переменные объявлены или иницилизированы после использования.
Третье место — нет нужных данных, например, указаны абсолютные пути или данных вообще нет в репозитории.
В другом эксперименте, в тетрадках, которые проходят без ошибок, результаты все равно могут не совпадать по следующим причинам:
Неуправляемая случайность в данных или алгоритмах (40%)
Зависимость вывода и результатов от функций времени (13%)
Различия отображения на графиках (некорректное использование matplotlib в том числе) (52%)
Недоступны внешние данные (3%)
Различия в выводе чисел с плавающей запятой (3%)
Непостоянный порядок обхода словарей и др. контейнеров в python (4%)
Различия в среде исполнения (27%)
А что с неЮпитером? Например, исследование повторяемости на R показывает примерно 44% воспроизводимости результатов (это как сравнивать красное с квадратным, но тем не менее). Аналогично указывается список причин, почему не удалось повторить результаты.
Как быть?
Причем похоже, что для воспроизводимости уровня «Думай как я» нужно уметь писать хороший текст и еще его уметь читать (см. «навык чтения статей по DL» вакансия в сами знаете какой компании, google it).
Или учиться проведению экспериментов. Повышать качество своей работы.
Если в индустрии — см. построение пайплайнов и версионирование (a.k.a. MLOps), разобраться с исследовательским анализом данных (Exploratory Data Analysis, EDA) и делать его автоматическим, изучать тему, помогая опен-сорс проектам.
Если в академической среде — см. постановка эксперимента, оформление статьи, архивирование и публикация результатов.
Если в начале изучения ML — обсудить с научным руководителем или наставником и изучить курсы по статистической проверке гипотез, и познакомиться с правилами проведения экспериментов в доказательной медицине (hardcore).
P.S. FAIR принципы
Несмотря на то, что принципы находимых (Findable), доступных (Accessible), переносимых (Interoperable) и повторно используемых (Reusable) результатов исследований (FAIR) были представлены еще в 2016 году, большинство опрошенных исследователей все еще не понимают или не применяют их в своих работах.
Ссылки и полезности
[1] Круглый стол по вопроизводимости экспериментов в науках о данных с научной конференции МФТИ.
[6] Полезные слайды про проведение экспериментов и воспроизводимость.
[7] Статья по разработке исследовательского кода, Best Practices for Scientific Computing.
Что такое воспроизводимость и повторяемость?
Воспроизводимость и повторяемость они являются основными принципами научного метода; С помощью обоих можно подтвердить эксперименты, а также установить международные и национальные стандарты измерений. Воспроизводимость связана с тиражированием теста в руках научного сообщества данной отрасли..
Даже считается, что эта изменчивость ниже, поскольку она более точная. В любом случае, оба метода считаются важными опорами для проверки гипотез в таких дисциплинах, как инженерия, статистика, химия, физика и другие науки..
Что такое исследование воспроизводимости и повторяемости?
Исследования воспроизводимости и повторяемости подтверждаются статистикой для оценки дисперсии результатов, полученных после эксперимента..
Именно поэтому предпочтительным является последующий анализ независимых исследовательских групп, который подтвердит уровень воспроизводимости и повторяемости проведенного теста..
Ввиду вышесказанного необходимо отметить некоторые важные особенности в каждом из процессов:
воспроизводимость
Это указывает на различия, вызванные измерительным оборудованием, которое использовалось во время испытания, которое должно сохранять те же условия и тех же операторов или членов исследовательской группы. Изменение будет дано условиями измерения.
Хотя в некоторых дисциплинах эта концепция может быть более или менее строгой, в целом считается, что важна определенная степень согласованности результатов. Вот некоторые соображения, которые следует учитывать в этом случае:
-Важно указать, какие есть вариации в ходе процесса, среди которых выделяются принцип измерения, метод, оператор, используемый прибор, место, время и общие условия лаборатории..
-Результаты должны быть выражены количественно.
-В научном сообществе это считается относительно простым процессом и легко тиражируется, хотя и предполагает постоянный обзор результатов..
стабильность
Как упомянуто выше, повторяемость указывает отклонение, которое может произойти из-за измерительного прибора, используемого во время эксперимента. Поэтому его точность оценивается, когда тест повторяется в тех же условиях и в течение определенного периода времени..
Также мы можем выделить некоторые соображения, которые следует учитывать во время проведения исследования:
-Вы должны попытаться уменьшить вариации, которые могут быть вызваны оператором.
-Должна использоваться одна и та же измерительная система и один и тот же оператор.
-То же место, где проводился эксперимент, необходимо учитывать.
-Необходимо сделать несколько повторений за данный промежуток времени.
-Результаты должны быть отражены количественно.
С другой стороны, хотя оба метода обсуждаются в области наук, они также применяются в социальных науках, хотя результаты могут отличаться из-за изменений, которые всегда присутствуют в предметах исследования..
Другие элементы
В дополнение к вышесказанному, исследование воспроизводимости и повторяемости зависит от других факторов, одинаково важных:
Точность измерения
Указывает близость результата измерения и измеряемой величины.
Цифровой измерительный прибор
Это инструмент, который будет отражать результат в цифровом виде. На этом этапе стоит упомянуть, что важно детализировать работу этих типов устройств, чтобы они не влияли на процесс эксперимента..
Рабочий шаблон
Он включает в себя компоненты, которые являются частью процедуры калибровки и измерения. Это связано непосредственно с приборами в лаборатории..
калибровка
Это отношения, которые существуют в значениях, полученных с помощью оператора и / или измерительных приборов, между процессами, предусмотренными в схеме работы.
Точность инструментов
Это связано с точностью, которая ожидается от инструментов, используемых для теста.
чувствительность
Это связано с изменением измерения инструмента из-за некоторых изменений во время теста.
результаты
Этот конкретный момент важен, потому что он зависит от тщательного анализа, поскольку он подтвердит или нет успех применяемого экспериментального дизайна.
В этом случае не все результаты получены из измерительного прибора, но они также могут зависеть от оператора, различных измерений или от того, был ли результат исправлен или нет..
Воспроизводимость в метрологии
Воспроизводимость позволяет уменьшить неопределенность в измерительной системе, поэтому она стремится к максимальной точности. Поскольку он использует воспроизведение одного и того же результата в нескольких условиях, он зависит от исследований, проведенных в данный период времени..
Аналогично, это применимо к нескольким областям, таким как разработка, статистика, промышленность и даже право. Именно поэтому это считается важным фактором, поскольку позволяет устанавливать национальные и международные стандарты..
Некоторые используемые инструменты варьируются от самых простых, таких как правила и компасы, до инструментов с более высоким уровнем сложности, таких как микроскопы и телескопы..
Применение воспроизводимости также подтверждается в так называемом Международном словаре метрологии или VIM, который отражает измерения, установленные и понятые на международном уровне..
Воспроизводимость в химии
Процедура воспроизводимости в химии также требует ряда шагов для получения измерений и других результатов..
Вы можете взять в качестве примера определение массы элемента:
1- взвешивающая чаша помещается на вес, чтобы получить определенное значение.
2. Затем будет сделано то же самое, но с объектом или элементом, о котором идет речь. Таким образом, будут получены два разных результата, которые необходимо сопоставить. Именно на этом этапе, когда калибровка значений проявляется.
3- Выполните эту же процедуру в течение следующих нескольких дней, так как она поможет найти существующие варианты.
В этом, как и в любом другом случае, касающемся воспроизводимости, важно не игнорировать ценность статистики в процессе, поскольку она будет служить элементом контроля в эксперименте и результатах..
Воспроизводимость результатов
61. Воспроизводимость результатов
Мера разброса результатов в параллельных опытах
Смотри также родственные термины:
3.9 воспроизводимость результатов анализа: Степень близости друг к другу независимых результатов анализов, полученных в условиях воспроизводимости одним и тем же методом, на идентичных объектах, в разных лабораториях, разными операторами, с использованием различного оборудования.
3.1.19. воспроизводимость результатов измерений: Степень близости результатов измерений одного и того же измеряемого параметра, выполненных при измененных условиях измерений (рисунок 6) [1].
1. В настоящем стандарте измененные условия включают в себя только изменение оператора.
2. При более общем анализе воспроизводимости результатов измерений измененные условия вместо оператора могут содержать:
— методику выполнения измерений;
— средство измерительной техники;
— место проведения измерений и т.д.
Достоверное установление воспроизводимости требует констатации изменившихся условий измерения.
3. Воспроизводимость может быть выражена количественно в виде дисперсионных характеристик результатов измерений.
2.19.1 воспроизводимость результатов испытаний: Степень близости друг к другу независимых результатов испытаний, полученных одним и тем же методом на идентичном материале в разных лабораториях, разными операторами, с использованием различного оборудования [3].
Разделы 2, 3 (Измененная редакция, title=»Изменение № 1, ИУС 1-2003″).
3.4 воспроизводимость результатов испытаний: Характеристика результатов испытаний, определяемая близостью результатов испытаний одного и того же объекта по единым методикам в соответствии с требованиями одного и того же нормативного документа с применением различных экземпляров оборудования разными операторами в разное время в разных лабораториях.
3.3, 3.4 ( title=»Поправка, ИУС 8-2002″, ИУС 8-2002).
3.3 воспроизводимость результатов испытаний: Характеристика результатов испытаний, определяемая близостью результатов повторных испытаний объекта.
3.19 воспроизводимость результатов испытаний :Характеристика результатов испытаний, определяемая близостью результатов испытаний одного и того же объекта по единым методикам в соответствии с требованиями одного и того же нормативного документа с применением различных экземпляров оборудования разными операторами в разное время в разных лабораториях (ГОСТ Р 51672, [51]).
3.19 воспроизводимость результатов испытаний :Характеристика результатов испытаний, определяемая близостью результатов испытаний одного и того же объекта по единым методикам в соответствии с требованиями одного и того же нормативного документа с применением различных экземпляров оборудования разными операторами в разное время в разных лабораториях (ГОСТ Р 51672, [51]).
Пункт 4.2 дополнить примечанием:
Пункт 4.5 Первый абзац после слов «государственных нужд» дополнить словами: «в том числе для нужд сферы обороны и безопасности»; после слов «утвержденных типов» исключить слова: «в соответствии с ПР 50.2.009 [1]».
Пункт 4.6 после слов «используемых в качестве» дополнить словами:
«средств испытаний или в составе»; после слов «испытательного оборудования» исключить слова: «или в его составе»;
«Типы средств измерений, встраиваемых в испытательное оборудование, применяемое для испытаний продукции, поставляемой для нужд сферы обороны и безопасности, должны быть утверждены в установленном для данной сферы порядке»;
«4.7 Транспортируемое в процессе использования испытательное оборудование подлежит первичной аттестации только при вводе его в эксплуатацию в соответствии с 4.2 настоящего стандарта».
Пункт 5.2 дополнить абзацем:
«Программы и методики аттестации испытательного оборудования, применяемого при испытаниях продукции, поставляемой для нужд сферы обороны и безопасности, должны пройти метрологическую экспертизу в установленном для данной сферы порядке».
Пункт 5.3 дополнить словами: «и при наличии информационное обеспечение (например, компьютерное, программное обеспечение и (или) обеспечение алгоритмами функционирования»).
Пункт 5.5. Первый абзац после слов «проводит комиссия» дополнить словами: «назначаемая руководителем предприятия (организации) по согласованию с государственным научным метрологическим центром и (или) органом государственной метрологической службы (32 ГНИИИ МО РФ), если их представители должны участвовать в работе комиссии»;
четверили абзац. Заменить слова: «для нужд Вооруженных Сил» на «для нужд сферы обороны и безопасности»;
дополнить абзацем (после четвертого):
два последних абзаца исключить;
«5.5.1 Первичную аттестацию испытательного оборудования (за исключением испытательного оборудования, применяемого для испытаний продукции, поставляемой для нужд сферы обороны и безопасности) могут проводить на договорной основе аккредитованные в соответствии с title=»ГСИ. Порядок аккредитации головных и базовых организаций метрологической службы государственных органов управления Российской Федерации и объединений юридических лиц» [1] головные и базовые организации метрологической службы (согласно области их аккредитации).
Первичную аттестацию испытательного оборудования, применяемого для испытаний продукции, поставляемой для нужд сферы обороны и безопасности, могут проводить на договорной основе организации, аккредитованные в соответствии с МИ 2647 [2].»
Пункт 5.6 дополнить примечанием:
Пункт 6.3 Заменить слова: «руководитель подразделения» на «руководитель предприятия (организации)»:
Пункт 7.1 изложить в новой редакции:
«7.1 Повторную аттестацию испытательного оборудования после ремонта или модернизации осуществляют в порядке, установленном для первичной аттестации испытательного оборудования в разделе 5 настоящего стандарта».
Пункт 7.2 изложить в новой редакции:
Приложение Г изложить в новой редакции:
[1] title=»ГСИ. Порядок аккредитации головных и базовых организаций метрологической службы государственных органов управления Российской Федерации и объединений юридических лиц» Государственная система обеспечения единства измерений. Порядок аккредитации головных и базовых организаций метрологической службы государственных органов управления Российской Федерации и объединений юридических лиц
[2] МИ 2647-2001 Государственная система обеспечения единства измерений. Порядок аккредитации организаций на право аттестации испытательного оборудования, применяемого в интересах обороны и безопасности».
Пункт 4.2 дополнить примечанием:
Пункт 4.5. Первый абзац после слов «государственных нужд» дополнить словами: «в том числе для нужд сферы обороны и безопасности»; после слов «утвержденных типов» исключить слова: «в соответствии с title=»ПР 50.2.009-94 ГСОЕИ. Порядок проведения испытаний и утверждения типа средств измерений» [1]»
Пункт 4.6 после слов «используемых в качестве» дополнить словами: «средств испытаний или в составе»; после слов «испытательного оборудования» исключить слова: «или в его составе»;
«Типы средств измерений, встраиваемых в испытательное оборудование, применяемое для испытаний продукции, поставляемой для нужд сферы обороны и безопасности, должны быть утверждены в установленном для данной сферы порядке»;
«4.7 Транспортируемое в процессе использования испытательное оборудование подлежит первичной аттестации только при вводе его в эксплуатацию в соответствии с 4.2 настоящего стандарта».
Пункт 5.2 дополнить абзацем:
«Программы и методики аттестации испытательного оборудования, применяемого при испытаниях продукции, поставляемой для нужд сферы обороны и безопасности, должны пройти метрологическую экспертизу в установленном для данной сферы порядке».
Пункт 5.3 дополнить словами: «и при наличии информационное обеспечение (например, компьютерное, программное обеспечение и (или) обеспечение алгоритмами функционирования)».
Пункт 5.5. Первый абзац после слов «проводит комиссия» дополнить словами: «назначаемая руководителем предприятия (организации) по согласованию с государственным научным метрологическим центром и (или) органом государственной метрологической службы (32 ГНИИИ МО РФ), если их представители должны участвовать в работе комиссии»;
четвертый абзац. Заменить слова: «для нужд Вооруженных Сил» на «для нужд сферы обороны и безопасности»;
дополнить абзацем (после четвертого):
«- заказчика на предприятии в случае использования испытательного оборудования для испытаний продукции, поставляемой по контрактам для нужд сферы обороны и безопасности»;
предпоследний и последний абзацы исключить;
«5.5.1 Первичную аттестацию испытательного оборудования (за исключением испытательного оборудования, применяемого для испытаний продукции, поставляемой для нужд сферы обороны и безопасности) могут проводить на договорной основе аккредитованные в соответствии с title=»ПР 50.2.008-94 ГСИ. Порядок аккредитации головных и базовых организаций метрологической службы государственных органов управления Российской Федерации и объединений юридических лиц» [1] головные и базовые организации метрологической службы (согласно области их аккредитации).
Первичную аттестацию испытательного оборудования, применяемого для испытаний продукции, поставляемой для нужд сферы обороны и безопасности, могут проводить на договорной основе организации, аккредитованные в соответствии с МИ 2647 [2]».
Пункт 5.6 дополнить примечанием:
Пункт 6.3. Заменить слова: «руководитель подразделения» на «руководитель предприятия (организации)».
Пункты 7.1, 7.2 изложить в новой редакции:
«7.1 Повторную аттестацию испытательного оборудования после ремонта или модернизации (см. 4.4 настоящего стандарта) осуществляют в порядке, установленном для первичной аттестации испытательного оборудования в разделе 5 настоящего стандарта.