что значит совместимый с iso 19005 1

Чем отличается формат PDF от PDF/A. И что выбрать для хранения электронных документов

Ответ для самых торопливых: PDF/A — это версия формата PDF, стандартизированная ISO и предназначенная для использования при архивировании и долгосрочном хранении электронных документов. Если вы хотите возвращаться к скан-копии печатного оригинала или электронному документу спустя много лет, то лучше использовать именно его. А теперь разберём вопрос подробнее.

Ответ для самых торопливых: PDF/A — это версия формата PDF, стандартизированная ISO и предназначенная для использования при архивировании и долгосрочном хранении электронных документов. Если вы хотите возвращаться к скан-копии печатного оригинала или электронному документу спустя много лет, то лучше использовать именно его. А теперь разберём вопрос подробнее.

Электронный документ PDF: особенности и история формата

PDF (Portable document format) — это универсальный формат электронных документов. Он создан по инициативе компании Adobe в 1993 году, и его исходное предназначение — электронное представление печатных материалов.

Задачи формата PDF:

За время своего существования PDF значительно прибавил в возможностях. Ещё в первой редакции формата появилась возможность вставлять ссылки в текст, шифровать документ с паролем и тем самым защищать его от модификации. Функциональность дополнялась год за годом:

Начиная с версии PDF 1.4, которая вышла в 2001 году, пользователи могут наносить текстовый слой поверх изображения. Причём он может быть невидимым. То есть пользователь, видя «картинку», тем не менее может копировать с неё текст. Кроме того, в этой же версии появилась возможность вставлять метаданные в виде пар «ключ-значение», каждая из которых может быть связана с какой-то частью документа (например, отдельным изображением) или со всем документом. Это важные нововведения, с точки зрения архивного хранения, и они поддерживаются форматом по сей день.

С 2008 года PDF — открытый стандарт ISO 32000 (последняя редакция международного стандарта качества — 32000-2 — опубликована в декабре 2020 года). Это значит, что сегодня PDF рекомендуется к использованию во всём мире.

Сохранение документа в PDF/A. Когда нужен этот формат?

Длительный срок хранения становится возможным, потому что в содержимое электронного документа в формате PDF/A внедряется вся информация, необходимая для его отображения. В частности, к ней относятся шрифты — те из них, которые использованы в документе, включены в него. К слову, это влияет на его размер: документ в формате PDF/A часто больше по размеру, чем документ с аналогичным содержимым, сохранённый в PDF.

Считается, что документ, хранимый в формате PDF/A, из-за полного отсутствия связи с такими изменчивыми вещами как гиперссылки и мультимедийный контент можно будет открыть в любой операционной системе через какое угодно время с помощью приложения, поддерживающего соответствующий формат.

Есть ещё один аргумент в его пользу. Поскольку PDF/A обеспечен статусом международного стандарта, его поддержка разработчиками в долгосрочной перспективе оправдана, а использование целесообразно. Чего не скажешь о других доступных форматах хранения электронных документов, которые могут измениться в любой момент времени.

При этом целостность и неизменность неподписанного документа в формате PDF/A не может быть гарантирована и не заявляется как особенность формата. Другими словами, несмотря на то, что данный формат позиционируется как обеспечивающий долгосрочное хранение, изменение содержимого документа возможно и не является отклонением от нормы, если оно не зашифровано.

Однако есть ещё один нюанс: для каждого конкретного документа, формат которого заявлен как PDF/A, невозможно заведомо утверждать, что это действительно так. В каждом случае необходима верификация на соответствие требованиям формата. И если на этапе размещения в архиве или после очередного изменения она не будет проведена, можно считать миссию обеспечения долгосрочного хранения потенциально проваленной (с некоторыми оговорками, но всё же).

Как проверить PDF/A

Действительно ли документ сохранён в нужном формате — очевидные сомнения. Внешне определить, PDF это или PDF/A, очень сложно.

Если файл соответствует формату PDF/A, то информацию об этом можно увидеть в приложении Acrobat Distiller на панели «Навигация» (Просмотр — Показать/Скрыть — Панели навигации — Стандарты). Подробнее — в справке Adobe.com.

Также в этих случаях используются программы-валидаторы. Пример — veraPDF (можно скачать здесь). Программу создавал союз нескольких профессиональных сообществ, в том числе Ассоциация PDF (PDF Association).

Также есть сервисы, которые могут определить формат в режиме онлайн. В их числе avePDF, pdf-online и другие. Во многих таких сервисах можно не только проверить, но и изменить формат — перевести файл из PDF в PDF/A. Доверять онлайн-решениям или нет — вопрос, который остаётся на стороне пользователя. Во всяком случае к официально признанным программам-валидаторам PDF они не относятся.

Чтобы обеспечить целостность и юридическую значимость электронных документов, недостаточно использовать нужный формат. Также необходимо использовать специализированную систему долговременного хранения.

Как хранить отсканированный документ в PDF/A

Исходя из описанных выше различий между форматами PDF и его потомком PDF/A, вполне можно предположить, что первый больше пригоден для оперативного обмена и краткосрочного хранения электронных документов. При этом PDF/A, несмотря на потенциально большой размер единичного документа (в него внедрены все использованные шрифты, а это для краткосрочного использования избыточный и ощутимый балласт), имея статус международного стандарта, гарантирует, что даже через продолжительное время, вне зависимости от окружения и операционной системы, любой пользователь сможет открыть документ в данном формате, располагая приложением-просмотрщиком. Этот факт укладывается в концепцию архива электронных документов и должен учитываться при сохранении каждого документа в нём.

Теперь необходимо определиться с тем, что такое отсканированный образ документов. Чаще всего это растровое изображение. Предполагается, что текста поверх него нет, то есть в документе хранится исключительно отсканированный растр — изображение, текст на котором непонятен компьютеру, а понятен только человеку.

В исключительных случаях поверх растрового изображения может быть расположен текстовый слой, частично или целиком наполненный. Причём делается это либо вручную человеком, либо с помощью системы распознавания текста. Можно предположить, что документ содержит метаданные, так или иначе связанные с видом документа и его содержимым (например, если это счёт-фактура, метаданные могут содержать информацию о поставщике, дате выставления, сумме и т. д.).

На основании перечисленных особенностей, которыми обладает отсканированный образ документа, можно смело заявлять, что для хранения одинаково пригодны оба формата. Хотя PDF/A допускает и метаданные, и текстовый слой поверх изображения, и даже подписание документа с целью защитить его от модификации.

Источник

СОДЕРЖАНИЕ

Стандарты

Задний план

Описание

Стандарт PDF / A не определяет стратегию архивирования или цели архивной системы. Он определяет «профиль» электронных документов, который гарантирует, что документы могут быть воспроизведены точно так же с использованием различного программного обеспечения в ближайшие годы. Ключевым элементом этой воспроизводимости является требование, чтобы документы PDF / A были на 100% автономными. Вся информация, необходимая для отображения документа таким же образом, встроена в файл. Это включает, но не ограничивается, все содержимое (текст, растровые изображения и векторная графика), шрифты и информацию о цвете. Документу PDF / A не разрешается полагаться на информацию из внешних источников (например, программы шрифтов и потоки данных), но он может включать аннотации (например, гипертекстовые ссылки), которые ссылаются на внешние документы.

К другим ключевым элементам соответствия PDF / A относятся:

Уровни соответствия и версии

PDF / A-1

Часть 1 стандарта была впервые опубликована 28 сентября 2005 г. и определяет два уровня соответствия для файлов PDF:

Дополнительные требования уровня А:

PDF / A-2

Часть 2 стандарта, опубликованная 20 июня 2011 г., касается некоторых новых функций, добавленных в версиях 1.5, 1.6 и 1.7 Справочника PDF. Файлы PDF / A-1 не обязательно будут соответствовать PDF / A-2, а файлы, совместимые с PDF / A-2, не обязательно будут соответствовать PDF / A-1.

Часть 2 стандарта PDF / A основана на PDF 1.7 (ISO 32000-1), а не на PDF 1.4, и предлагает ряд новых функций:

Часть 2 определяет три уровня соответствия. PDF / A-2a и PDF / A-2b соответствуют уровням соответствия a и b в PDF / A-1. Новый уровень соответствия, PDF / A-2u, представляет собой соответствие Уровню B (PDF / A-2b) с дополнительным требованием, чтобы весь текст в документе имел отображение Unicode.

PDF / A-3

Часть 3 стандарта, опубликованная 15 октября 2012 г., отличается от PDF / A-2 только в одном отношении: она позволяет встраивать файлы произвольных форматов (например, XML, CSV, CAD, текстовые документы, электронные таблицы и другие) в документы, соответствующие формату PDF / A.

PDF / A-4

Часть 4 стандарта, основанная на PDF 2.0, была опубликована в конце 2020 года.

Как создать файл PDF / A

Архивы иногда запрашивают у своих пользователей отправку файлов PDF / A. Таким образом, они предоставляют своим пользователям информацию о том, как конвертировать их файлы в формат PDF / A. Существует несколько методов с использованием стандартного программного обеспечения, которые отличаются временем вычислений, а также сохранением ссылок, уравнений, векторных графиков и специальных символов.

Когда документы конвертируются в PDF / A, необходима визуальная проверка, поскольку ошибки в визуальном содержании являются обычным явлением. В тестовой выборке 11 процентов созданного документа PDF / A-1b содержали визуальные артефакты. Эти ошибки воспроизводимости включали проблемы с векторной графикой (прозрачные объекты), потерю ссылок, потерю другого содержимого документа (нечитаемые символы, отсутствующий текст, отсутствие части документа), обновленные поля (отражающие время или папку преобразования) и орфографические ошибки. Таким образом, сами архивы обычно не конвертируются в PDF / A. Вместо этого некоторые архивы просят своих пользователей предоставить документ PDF / A. Типичные настройки компьютера предоставляют несколько методов преобразования документов в формат PDF / A с различными плюсами и минусами.

Документ, созданный с помощью преобразования оптического распознавания символов (OCR) в PDF / A-2 или PDF / A-3, не поддерживает этот notdefglyph флаг. Следовательно, этот тип преобразования может привести к необработанному содержимому.

Стандартные документы PDF / A можно создавать с помощью следующего программного обеспечения: SoftMaker Office 2021, MS Word 2010 и новее, Adobe Acrobat Distiller, PDF Creator, OpenOffice или LibreOffice с версии 3.0, LaTeX с надстройками pdfx или pdfTeX или с помощью виртуального PDF принтер (Adobe Acrobat Pro, PDF24, FreePDF + Ghostscript).

Удостоверение личности

Документ PDF / A может быть идентифицирован как таковой с помощью специфичных для PDF / A метаданных, расположенных в пространстве имен «http://www.aiim.org/pdfa/ns/id/». Эти метаданные представляют собой заявление о соответствии; сам по себе он не обеспечивает соответствия:

Проверка

Проверка документов PDF / A предпринимается, чтобы выявить, действительно ли созданный файл является файлом PDF / A или нет. К сожалению, валидаторы PDF / A часто не соглашаются с этим, поскольку интерпретация стандартов PDF / A не всегда ясна.

Набор тестов Isartor

Отраслевое сотрудничество в рамках оригинального центра компетенции PDF / A привело к разработке Isartor Test Suite в 2007 и 2008 годах. Набор тестов состоит из 204 файлов PDF, специально созданных для систематического несоблюдения каждого из требований соответствия PDF / A-1b, что позволяет разработчики должны проверить способность своего программного обеспечения проверять соответствие самому базовому уровню соответствия стандарту. К середине 2009 года набор тестов уже заметно изменил общее качество программного обеспечения для проверки PDF / A.

veraPDF

Консорциум veraPDF, возглавляемый Open Preservation Foundation и PDF Association, был создан в ответ на вызов PREFORMA Европейской комиссии по разработке валидатора с открытым исходным кодом для формата PDF / A. PDF Association создала техническую рабочую группу по валидации PDF в ноябре 2014 года, чтобы сформулировать план разработки поддерживаемого отраслью валидатора PDF / A.

Консорциум veraPDF впоследствии выиграл этап 2 контракта PREFORMA в апреле 2015 года. Разработка продолжалась в течение 2016 года, при этом этап 2 был завершен по графику к декабрю 2016 года. Тестирование и приемка этапа 3 завершились в июле 2017 года. VeraPDF теперь охватывает все части ( 1, 2 и 3) и уровни соответствия (a, b, u) PDF / A.

veraPDF доступен для установки в Windows, macOS или Linux с помощью парсера PDF на основе PDFBox или «Greenfields».

Программы для просмотра PDF / A

Спецификация PDF / A также устанавливает некоторые требования для соответствующей программы просмотра PDF / A, которая должна

При обнаружении файла, который заявляет о соответствии PDF / A, некоторые программы просмотра PDF по умолчанию переходят в специальный «режим просмотра PDF / A», чтобы соответствовать требованиям читателя. Например, Adobe Acrobat и Adobe Reader 9 включают предупреждение, чтобы сообщить пользователю, что режим просмотра PDF / A активирован. Некоторые программы просмотра PDF позволяют пользователям отключать режим просмотра PDF / A или удалять информацию PDF / A из файла.

Прием

Документ PDF / A должен включать все используемые шрифты; соответственно, файл PDF / A часто будет больше, чем эквивалентный файл PDF, не содержащий встроенных шрифтов.

Использование прозрачности запрещено в PDF / A-1. Большинство инструментов создания PDF-файлов, которые обеспечивают соответствие документов PDF / A, например экспорт PDF в OpenOffice.org или инструмент экспорта PDF в пакетах Microsoft Office 2007, также делают непрозрачными любые прозрачные изображения в данном документе. Это ограничение было снято в PDF / A-2.

Некоторые архивисты выразили опасения, что PDF / A-3, который позволяет встраивать произвольные файлы в документы PDF / A, может привести к обходу процедур учреждения памяти и ограничениям на архивные форматы.

Ассоциация PDF обратилась к различным заблуждениям относительно PDF / A в своей публикации «PDF / A in a Nutshell 2.0».

Источник

Cognitive PDF/A – технология оцифровки текстовых документов для публикации в интернете и долговременного архивного хранения

Привет Хабр!

Мы продолжаем публикации о технологиях оптического распознавания (OCR, ICR) и понимания документов, разработанных специалистами компании Cognitive Technologies. Сегодня наш рассказ о технологиях оцифровки текстовых документов Cognitive PDF/A.

В бизнес-сфере достаточно часто приходится сканировать бумажные документы с целью последующей пересылки по электронной почте или архивного хранения. При качественном сканировании получившиеся изображения-образы зачастую оказываются достаточно большого размера. Например, документ формата А4, отсканированный в цветном режиме при разрешении 300 DPI, имеет размер порядка 25 Мб. Использование файлов таких больших размеров неэффективно в электронных архивах, поэтому все больший интерес обретают технологии сжатия получившихся электронных образов. Классические технологии сжатия изображений (JPEG, RLE, Deflate и т.п.) не применимы, так как в общем случае документы могут содержать как монохромный текст, так и полноцветные графические области. Алгоритмы сжатия изображений без потерь, результативные для монохромных текстов, неэффективны для полноцветной графики, в то время как сжатие с потерями демонстрирует высокие показатели для цветных изображений, однако сильно искажает текстовую информацию (Рис. 1). Поэтому обычно для сжатия изображений такого типа используют комбинированный подход.

Структурное сжатие изображений документов

Изложим идею структурного сжатия на примере изображения страницы журнала (Рис. 2). Классическая страница журнала может содержать фоновый рисунок, один или несколько текстовых блоков, графических элементов (фотографии, схемы, таблицы и пр.) и каких-то пометок. Основная идея структурного сжатия изображений такого рода заключается в выделении структурных блоков, объединение данных блоков в слои (т.е. «расслоение» изображения на текстовые, графические и прочие слои) и сжатие каждого слоя наиболее подходящим образом. Так изображение страницы журнала на Рис. 2 расслаивается на четыре слоя: фон, область черного текста, область синего текста и область с фотографией. Для сохранения максимального качества, текстовые слои следует сжимать алгоритмами сжатия без потерь (например, CCITT Group 4), в то время как для фотографии вполне допустимо применение методов сжатия с потерями (JPEG). Основное место в алгоритмах структурного сжатия отводится методам расслоения исходного изображения на текстовый и графический слои.
Высокую популярность данный подход получил сравнительно недавно. Одним из примеров, реализующих идею структурного сжатия, по праву можно считать формат DjVu.
Для сжатия цветных изображений в DjVu применяется специальная технология, разделяющая исходное изображение на три слоя: передний план, задний план и черно-белую (однобитовую) маску. Маска сохраняется с разрешением исходного файла; именно она содержит изображение текста и прочие четкие детали. Разрешение заднего плана, в котором остаются иллюстрации и текстура страницы, понижается для экономии места. Передний план содержит цветовую информацию о деталях, не попавших в задний план; его разрешение понижается еще сильнее. Затем задний и передний планы сжимаются с помощью вейвлет-преобразования (алгоритмом IW44), а маска – алгоритмом JB2.

Несмотря на высокие коэффициенты сжатия изображений документов, DjVu обладает существенным недостатком: на сегодняшний день формат не стандартизован, что затрудняет его использование в качестве средства для создания электронных архивов. К тому же использование одинаковой схемы расслоения для всех типов документов не всегда оправдано, и даже иногда может приводить к значимому искажению документа. Дополнительно стоит отметить, что в формате полностью отсутствуют какие-либо средства обеспечения безопасности и конфиденциальности документов.

Технология Cognitive PDF/A

Опишем технологию Cognitive PDF/A, предназначенную для перевода бумажных документов в электронный вид, и процесс оцифровки в соответствии с предлагаемой технологией (Рис. 3).
Первым этапом обработки является расслоение исходного изображения. В результате появляются два новых изображения. Первое содержит области исходного изображения, соответствующие текстовой информации (текстовый слой), а второе – графическим элементам (графический слой).
В соответствии с архитектурой алгоритма, текстовый слой не должен содержать никаких лишних областей, кроме текстовых блоков. Следовательно, изображение текстового слоя может быть легко распознано без какой-либо предварительной подготовки с помощью внешних OCR-систем.

Последним действием является упаковка полученных слоев и распознанного текста в PDF/A. Графический и текстовый слой подвергаются соответствующему сжатию, а распознанный текст упаковывается таким способом, чтобы обеспечить максимальное удобство поиска и копирования информации в документе.
Таким образом, технология Cognitive PDF/A состоит из трех основных частей: расслоение исходного изображения, распознавание текстового слоя с помощью OCR-системы и компактная упаковка получившихся слоев и распознанного текста в PDF/A-файл. Рассмотрим эти части более подробно.

Алгоритм расслоения

Разные типы документов обладают различными особенностями. Например, для финансовых документов характерно наличие печатей, подписей и штампов, журнальные статьи могут иметь сложный многоцветный фон, в книги часто включают полноцветные графические элементы. Поэтому технологией Cognitive PDF/A предусматриваются уникальные схемы расслоения для каждого типа документа. Выбор наилучшей схемы может осуществляться с помощью алгоритмов предварительной идентификации типа документа. Далее, в качестве примеров, будут рассмотрены схемы расслоения для двух важных типов документов: страница книги и офисный документ.
Обычно страница книги содержит черный текст на белом фоне и, возможно, графические элементы: рисунки, схемы, графики и пр. (Рис. 4)

Обычно в книгах области текста и графики не пересекаются. Еще одной ключевой особенностью верстки книг является использование шрифтов близких линейных размеров. Опираясь на эти характерные черты, построим схему расслоения изображения страницы книги.
Шаг 1. Бинаризуем исходное изображение, тем самым преобразуем его в монохромный вид (Рис. 5а). Так как изображение в основном содержало черный текст на белом фоне, то процесс бинаризации не должен сильно сказаться на областях, содержащих текстовую информацию.Шаг 2. С помощью морфологической фильтрации «сольем» слова в единые компоненты связности. Обозначим через w и h характерные ширину и высоту символов соответственно. Заметим так же, что расстояние между буквами в слове сравнимо с толщиной штриха символа, а расстояние между словами близко ширине символа. Поэтому «склеим» каждое слово в отдельную компоненту связности, выполнив размыкание с окном (Рис. 5б).

Шаг 3. Построим гистограмму высот полученных компонент связности (Рис. 6). Так как весь текст на странице напечатан примерно одинаковым по размеру шрифтом, то компоненты связности, соответствующие словам образуют на гистограмме один или несколько четко выраженных максимумов. Поэтому, анализируя гистограмму, можно вычислить характерный размер шрифта h_font, которым набран текст на странице, и, соответственно, выделить область на изображении, соответствующую текстовой информации (области, соответствующие компонентам связности с высотой порядка h_font ).
Зная область расположения текста на исходном расположении, построим маску расслоения, после чего применим ее для получения графического и текстовых слоев (Рис. 7).
Поскольку для выделения текстовых блоков используется быстрые алгоритмы морфологической фильтрации с прямоугольным окном, то очень важно, чтобы текстовые блоки были выровнены относительно осей изображения. Поэтому перед морфологией выполняется «выравнивание» изображения.
Для цветных изображений финансовых документов (счет фактур, квитанций, договоров и пр.) не характерны перечисленные выше особенности изображения страницы книги, так как графические элементы (печати, подписи, рукописные пометки) часто накладываются на текстовые блоки (Рис. 8). Следовательно, использовать для расслоения вышеописанный алгоритм неразумно. Построим схему расслоения, опираясь на цветовые характеристики изображения. Цветовая насыщенность черного текста и белого фона близка к нулю, в то время как для синих печатей и подписей это значение велико. Принимая во внимание это свойство, построим следующую схему расслоения.
Шаг 1. Построим гистограмму цветовой насыщенности (Рис. 9), т.е. зависимость y=logN_x, где N_x – количество пикселей изображения, насыщенность которых равна x.

Шаг 2. Заметим, что на гистограмме четко выделяются два класса: первый сформирован пикселями с малыми значениями цветовой насыщенности, второй – с большими значениями. Пиксели из первого класса составляют области изображения, соответствующие фону и черному тексту, из второго – графическую часть изображения. Найдем порог разделения двух классов t* методом Отсу.
Шаг 3. Расслоим исходное изображение следующим образом: пиксель сходного изображения (x,y) принадлежит текстовому слою (Рис. 10а), если значение его цветовой насыщенности меньше порогового s(x,y)

Источник