Ansi кодировка что это

Что такое кодировка текста? Юникод и кодировки Utf-8, ANSI, Windows-1251

Часто в веб-программировании и вёрстке html-страниц приходится думать о кодировке редактируемого файла — ведь если кодировка выбрана неверная, то есть вероятность, что браузер не сможет автоматически её определить и в результате пользователь увидит т.н. «кракозябры».

Возможно, вы сами видели на некоторых сайтах вместо нормального текста непонятные символы и знаки вопроса. Всё это возникает тогда, когда кодировка html-страницы и кодировка самого файла этой страницы не совпадают.

Вообще, что такое кодировка текста? Это просто набор символов, по-английски «charset » (character set). Нужна она для того, чтобы текстовую информацию преобразовывать в биты данных и передавать, например, через Интернет.

Собственно, основные параметры, которыми различаются кодировки — это количество байтов и набор спец.символов, в которые преобразуется каждый символ исходного текста.

Краткая история кодировок:

Одной из первых для передачи цифровой информации стало появление кодировки ASCII — American Standard Code for Information Interchange — Американская стандартная кодировочная таблица, принятая Американским национальным институтом стандартов — American National Standards Institute (ANSI).

Самая популярная из кодировок Юникода — кодировка Utf-8. Обычно в ней сейчас верстаются страницы сайтов и пишутся разные скрипты. Она позволяет без проблем отображать различные иероглифы, греческие буквы и прочие мыслимые и немыслимые символы (размер символа до 4-х байт). В частности, все файлы WordPress и Joomla пишутся именно в этой кодировке. А также некоторые веб-технологии (в частности, AJAX) способны нормально обрабатывать только символы utf-8.

Установка кодировок текстового файла при создании его обычным блокнотом. Кликабельно

В Рунете же ещё можно встретить сайты, написанные с расчётом на кодировку Windows-1251 (или cp-1251). Это специальная кодировка, предназначенная специально для кириллицы.

Почему вообще необходимо иметь представление о разных кодировках? Дело в том, что нередко на том же WordPress можно встретить, например, в Footer’е знаки вопроса вместо нормального текста. Это просто говорит о том, что php-файл Footer’а сохранён в одной кодировке, а в заголовке html-страницы указана совсем другая кодировка. Прочитайте — как сменить кодировку файла и что в этом поможет.

Источник

О кодировках и кодовых страницах

Вряд ли это сейчас сильно актуально, но может кому-то покажется интересным (или просто вспомнит былые годы).

Начну с небольшого экскурса в историю компьютера. Поскольку компьютер использовался для обработки информации, то он просто обязан представлять эту информацию в «человеческом» виде. Компьютер хранит информацию в виде чисел (байтов), а человек воспринимает символы (буквы, цифры, различные знаки). Значит, надо сделать сопоставление число символ и задача будет решена. Сначала посчитаем, сколько символов нам надо (не забудем, что «мы» — американцы, использующие латинский алфавит). Нам надо 10 цифр + 26 заглавных букв английского алфавита + 26 строчных букв + математические знаки (хотя бы +-/*=> + можно определить соответствующий ей код в Unicode (сейчас в кодовых страницах для каждого 8-битного кода показывается 16-битный код Unicode) и потом при необходимости вывести этот символ для любой кодовой страницы, где он присутствует. В настоящее время проблема кодировок и перекодировок для пользователей практически исчезла, но все же изредка приходят письма, где либо тема письма либо содержание «не в той» кодировке.

Интересно, что примерно год назад проблема кодировок ненадолго всплыла при «наезде» ФАС на сотовых операторов, мол те дискриминируют русскоязычных пользователей, поскольку за передачу кириллицы берут больше. Это объясняется техническим решением, выбранным разработчиком протокола SMS связи. Если бы его россияне разработали, они бы, возможно, отдали приоритет кириллице. В указанной статье «начальник управления контроля транспорта и связи Дмитрий Рутенберг отметил, что существуют и восьмибитные кодировки для кириллицы, которые могли бы использовать операторы.» Во как — на улице 21-й век, Unicode шагает по миру, а господин Рутенберг тянет нас в начало 90-х, когда шла «война кодировок» и проблема перекодировок стояла во весь рост. Интересно, в какой кодировке должен получить СМС Вася Пупкин, пользующийся финским телефоном, находящийся в Турции на отдыхе, от жены с корейским телефоном, отправляющей СМС из Казахстана? А от своего французского компаньона (с японским телефоном), находящегося в Испании? Думаю, никакой начальник ответа на этот вопрос дать не сможет. К счастью, это «экономное» предложение не воплотилось в жизнь.

Юный читатель может спросить — а что помешало сразу использовать Unicode, зачем были придуманы эти заморочки с кодовыми страницами? Думаю, дело в финансовой стороне проблемы. Unicode требует в 2 раза больше памяти, а память стоит денег (и дисковая и ОЗУ). Стал бы американец покупать компьютер на 1-2 тыс дороже из-за того, что «теперь новая ОС требует больше памяти, но позволяет без проблем работать с русским, европейскими, арабскими языками»? Боюсь, простой англоязычный покупатель воспринял бы такой аргумент «неадекватно» (и обратился бы к другим производителям).

Источник

Ansi кодировка что это

Reg.ru: домены и хостинг

Крупнейший регистратор и хостинг-провайдер в России.

Более 2 миллионов доменных имен на обслуживании.

Продвижение, почта для домена, решения для бизнеса.

Более 700 тыс. клиентов по всему миру уже сделали свой выбор.

Бесплатный Курс «Практика HTML5 и CSS3»

Освойте бесплатно пошаговый видеокурс

по основам адаптивной верстки

на HTML5 и CSS3 с полного нуля.

Фреймворк Bootstrap: быстрая адаптивная вёрстка

Пошаговый видеокурс по основам адаптивной верстки в фреймворке Bootstrap.

Научитесь верстать просто, быстро и качественно, используя мощный и практичный инструмент.

Верстайте на заказ и получайте деньги.

Что нужно знать для создания PHP-сайтов?

Ответ здесь. Только самое важное и полезное для начинающего веб-разработчика.

Узнайте, как создавать качественные сайты на PHP всего за 2 часа и 27 минут!

Создайте свой сайт за 3 часа и 30 минут.

После просмотра данного видеокурса у Вас на компьютере будет готовый к использованию сайт, который Вы сделали сами.

Вам останется лишь наполнить его нужной информацией и изменить дизайн (по желанию).

Изучите основы HTML и CSS менее чем за 4 часа.

После просмотра данного видеокурса Вы перестанете с ужасом смотреть на HTML-код и будете понимать, как он работает.

Вы сможете создать свои первые HTML-страницы и придать им нужный вид с помощью CSS.

Бесплатный курс «Сайт на WordPress»

Хотите освоить CMS WordPress?

Получите уроки по дизайну и верстке сайта на WordPress.

Научитесь работать с темами и нарезать макет.

Бесплатный видеокурс по рисованию дизайна сайта, его верстке и установке на CMS WordPress!

Хотите изучить JavaScript, но не знаете, как подступиться?

После прохождения видеокурса Вы освоите базовые моменты работы с JavaScript.

Развеются мифы о сложности работы с этим языком, и Вы будете готовы изучать JavaScript на более серьезном уровне.

*Наведите курсор мыши для приостановки прокрутки.

Кодировки: полезная информация и краткая ретроспектива

Данную статью я решил написать как небольшой обзор, касающийся вопроса кодировок.

Мы разберемся, что такое вообще кодировка и немного коснемся истории того, как они появились в принципе.

Мы поговорим о некоторых их особенностях а также рассмотрим моменты, позволяющие нам работать с кодировками более осознанно и избегать появления на сайте так называемых кракозябров, т.е. нечитаемых символов.

Что такое кодировка?

Т.е. каждый символ, который мы вводим с клавиатуры, либо видим на экране монитора, закодирован определенной последовательностью битов (нулей и единиц). 8 бит, как вы, наверное, знаете, равны 1 байту информации, но об этом чуть позже.

Внешний вид самих символов определяется файлами шрифтов, которые установлены на вашем компьютере. Поэтому процесс вывода на экран текста можно описать как постоянное сопоставление последовательностей нулей и единиц каким-то конкретным символам, входящим в состав шрифта.

Прародителем всех современных кодировок можно считать ASCII.

Эта аббревиатура расшифровывается как American Standard Code for Information Interchange (американская стандартная кодировочная таблица для печатных символов и некоторых специальных кодов).

Это однобайтовая кодировка, в которую изначально заложено всего 128 символов: буквы латинского алфавита, арабские цифры и т.д.

Позже она была расширена (изначально она не использовала все 8 бит), поэтому появилась возможность использовать уже не 128, а 256 (2 в 8 степени) различных символов, которые можно закодировать в одном байте информации.

Такое усовершенствование позволило добавлять в ASCII символы национальных языков, помимо уже существующей латиницы.

Следующим шагом в развитии кодировок можно считать появление так называемых ANSI-кодировок.

По сути это были те же расширенные версии ASCII, однако из них были удалены различные псевдографические элементы и добавлены символы типографики, для которых ранее не хватало «свободных мест».

Примером такой ANSI-кодировки является всем известная Windows-1251. Помимо типографических символов, в эту кодировку также были включены буквы алфавитов языков, близких к русскому (украинский, белорусский, сербский, македонский и болгарский).

В контексте веб-разработки, мы можем столкнуться с кракозябрами, когда, к примеру, русский текст по ошибке сохраняется не в той кодировке, которая используется на сервере.

Возникновение всех этих проблем послужило стимулом для создания чего-то нового. Это должна была быть кодировка, которая могла бы кодировать любой язык в мире (ведь с помощью однобайтовых кодировок при всем желании нельзя описать все символы, скажем, китайского языка, где их явно больше, чем 256), любые дополнительные спецсимволы и типографику.

Одним словом, нужно было создать универсальную кодировку, которая решила бы проблему кракозябров раз и навсегда.

Юникод — универсальная кодировка текста (UTF-32, UTF-16 и UTF-8)

Сам стандарт был предложен в 1991 году некоммерческой организацией «Консорциум Юникода» (Unicode Consortium, Unicode Inc.), и первым результатом его работы стало создание кодировки UTF-32.

Кстати, сама аббревиатура UTF расшифровывается как Unicode Transformation Format (Формат Преобразования Юникод).

В этой кодировке для кодирования одного символа предполагалось использовать аж 32 бита, т.е. 4 байта информации. Если сравнивать это число с однобайтовыми кодировками, то мы придем к простому выводу: для кодирования 1 символа в этой универсальной кодировке нужно в 4 раза больше битов, что «утяжеляет» файл в 4 раза.

Очевидно также, что количество символов, которое потенциально могло быть описано с помощью данной кодировки, превышает все разумные пределы и технически ограничено числом, равным 2 в 32 степени. Понятно, что это был явный перебор и расточительство с точки зрения веса файлов, поэтому данная кодировка не получила распространения.

Как очевидно из названия, в этой кодировке один символ кодируют уже не 32 бита, а только 16 (т.е. 2 байта). Очевидно, это делает любой символ вдвое «легче», чем в UTF-32, однако и вдвое «тяжелее» любого символа, закодированного с помощью однобайтовой кодировки.

Количество символов, доступное для кодирования в UTF-16 равно, как минимум, 2 в 16 степени, т.е. 65536 символов. Вроде бы все неплохо, к тому же окончательная величина кодового пространства в UTF-16 была расширена до более, чем 1 миллиона символов.

Однако и данная кодировка до конца не удовлетворяла потребности разработчиков. Скажем, если вы пишете, используя исключительно латинские символы, то после перехода с расширенной версии кодировки ASCII к UTF-16 вес каждого файла увеличивался вдвое.

В результате, была предпринята еще одна попытка создания чего-то универсального, и этим чем-то стала всем нам известная кодировка UTF-8.

Дело в том, что UTF-8 обеспечивает наилучшую совместимость со старыми системами, использовавшими 8-битные символы. Для кодирования одного символа в UTF-8 реально используется от 1 до 4 байт (гипотетически можно и до 6 байт).

В UTF-8 все латинские символы кодируются 8 битами, как и в кодировке ASCII. Иными словами, базовая часть кодировки ASCII (128 символов) перешла в UTF-8, что позволяет «тратить» на их представление всего 1 байт, сохраняя при этом универсальность кодировки, ради которой все и затевалось.

Итак, если первые 128 символов кодируются 1 байтом, то все остальные символы кодируются уже 2 байтами и более. В частности, каждый символ кириллицы кодируется именно 2 байтами.

Таким образом, мы получили универсальную кодировку, позволяющую охватить все возможные символы, которые требуется отобразить, не «утяжеляя» без необходимости файлы.

Если вы работали с текстовыми редакторами (редакторами кода), например Notepad++, phpDesigner, rapid PHP и т.д., то, вероятно, обращали внимание на то, что при задании кодировки, в которой будет создана страница, можно выбрать, как правило, 3 варианта:

— ANSI
— UTF-8
— UTF-8 без BOM

Итак, что же такое BOM и почему нам это не нужно?

BOM расшифровывается как Byte Order Mark. Это специальный Unicode-символ, используемый для индикации порядка байтов текстового файла. По спецификации его использование не является обязательным, однако если BOM используется, то он должен быть установлен в начале текстового файла.

Не будем вдаваться в детали работы BOM. Для нас главный вывод следующий: использование этого служебного символа вместе с UTF-8 мешает программам считывать кодировку нормальным образом, в результате чего возникают ошибки в работе скриптов.

Поэтому, при работе с UTF-8 используйте именно вариант «UTF-8 без BOM». Также лучше не используйте редакторы, в которых в принципе нельзя указать кодировку (скажем, Блокнот из стандартных программ в Windows).

Кодировка текущего файла, открытого в редакторе кода, как правило, указывается в нижней части окна.

Обратите внимание, что запись «ANSI as UTF-8» в редакторе Notepad++ означает то же самое, что и «UTF-8 без BOM». Это одно и то же.

В программе phpDesigner нельзя сразу точно сказать, используется BOM, или нет. Для этого нужно кликнуть правой кнопкой мыши по надписи «UTF-8», после чего во всплывающем окне можно увидеть, используется ли BOM (опция Save with BOM).

В редакторе rapid PHP кодировка UTF-8 без BOM обозначается как «UTF-8*».

Как вы понимаете, в разных редакторах все выглядит немного по-разному, однако главную идею вы поняли.

После того, как документ сохранен в UTF-8 без BOM, нужно также убедиться, что верная кодировка указана в специальном метатэге в секции head вашего html-документа:

Соблюдение этих простых правил уже позволит вам избежать многих пробелем с кодировками.

На этом все, надеюсь, что данный небольшой экскурс и пояснения помогли вам лучше понять, что такое кодировки, какие они бывают и как работают.

Если вам интересна эта тема с более прикладной точки зрения, то рекомендую вам изучить мой видеоурок Полный UTF-8: чеклист для начинающих.

P.S. Присмотритесь к премиум-урокам по различным аспектам сайтостроения, а также к бесплатному курсу по созданию своей CMS-системы на PHP с нуля. Все это поможет вам быстрее и проще освоить различные технологии веб-разработки.

Понравился материал и хотите отблагодарить?
Просто поделитесь с друзьями и коллегами!

Источник

Что такое кодировка ANSI и с чем ее едят?

Прежде чем ответить на вопрос о том, что такое кодировка Windows ANSI, давайте сначала ответим на другой вопрос: «Что такое кодировка в целом?»

Каждый компьютер, каждая система использует определенный набор символов в зависимости от языка, используемого пользователем, его профессиональной компетенции и личных предпочтений.

Общее определение кодировки

Так, в русском языке для обозначения букв используется 33 символа, в английском — 26. Также для подсчета используются 10 цифр (0; 1; 2; 3; 4; 5; 6; 7; 8; 9) и некоторые специальные символы, включая запятую, минус, пробел, точку, процент и т д.

Каждому из этих символов присваивается порядковый номер с использованием кодовой страницы. Например, цифру 1 можно присвоить букве «А»; «Z» — 26 и так далее.

В действительности число, представляющее символ как целое число, считается кодом символа, а кодировка, следовательно, представляет собой набор символов в этой таблице.

Богатство разнообразия кодовых таблиц

На данный момент существует довольно большое количество кодировок и кодовых таблиц, используемых разными специалистами: это ASCII, разработанный в 1963 году в Америке, и Windows-1251, которая в последнее время стала популярной благодаря Microsoft, KOI8-R и Guobiao — и многие, многие другие, и процесс их появления и увядания продолжается и сегодня.

Среди этого огромного списка — так называемая кодировка ANSI.

Дело в том, что когда-то Microsoft создала целый набор кодовых страниц:

Все вместе они называются таблицей кодирования ANSI или кодовой страницей ANSI.

Любопытство: одной из первых кодовых таблиц была ASCII, созданная в 1963 году Американским национальным институтом стандартов (сокращенно ANSI.

Помимо прочего, эта кодировка также содержит непечатаемые символы, так называемые escape-последовательности или ESC, которые уникальны для всех таблиц символов и часто несовместимы друг с другом. Однако при разумном использовании они позволяли скрывать и восстанавливать курсор, перемещать его из одной текстовой позиции в другую, устанавливать вкладки, удалять часть окна терминала, в которой вы работали, изменять форматирование текста на экране и изменить цвет (или даже нарисовать и подать звуковые сигналы!). В 1976 году, кстати, он был хорошим помощником программистам. Кстати, терминал — необходимое устройство для ввода и выдачи информации. В те дни это были монитор и клавиатура, подключенные к компьютеру (электронному компьютеру).

Некорректное отображение символов

К сожалению, в будущем такая система вызвала многочисленные сбои в системах, отображая вместо стихов, новостных лент или желаемых описаний ваших любимых компьютерных игр, так называемых кракозябров — бессмысленных и неразборчивых наборов символов. Появление этих повсеместных ошибок было вызвано простой попыткой просмотреть символы, закодированные на одной кодовой странице, на другой.

Очень часто мы все еще сталкиваемся с последствиями неправильного чтения этой кодировки в Интернете, когда наш браузер по какой-то причине не может точно определить, какая из кодировок Windows — **** в настоящее время используется, из-за указания веб-мастер общей кодировки ANSI или изначально неправильной кодировки, например 1252 вместо 1521. Точная таблица кодировки показана ниже.

Источник

Что такое формат ANSI?

Что такое формат кодирования ANSI? Это формат по умолчанию? Чем он отличается от ASCII?

10 ответов:

кодировка ANSI-это немного общий термин, используемый для обозначения стандартной кодовой страницы в системе, обычно Windows. Это более правильно называется Windows-1252 на западных / американских системах. (Он может представлять некоторые другие кодовые страницы Windows на других системах.) Это по существу расширение набора символов ASCII в том, что он включает в себя все символы ASCII с дополнительными 128 кодами символов. Эта разница обусловлена тем, что Кодировка» ANSI » является 8-битной, а не 7-битной, как ASCII (ASCII почти всегда кодируется в настоящее время как 8-битные байты с MSB значение 0). См. Статью для объяснения того, почему эта кодировка обычно упоминается как ANSI.

имя «ANSI» является неправильным, так как оно не соответствует ни одному фактическому стандарту ANSI, но имя застряло. ANSI-это не то же самое, что UTF-8.

технически ANSI должен быть таким же, как US-ASCII. Это относится к стандарту ANSI X3.4, который является просто ANSI ратифицированная версия ASCII организации. Использование символов верхнего разрядного набора не определено в ASCII / ANSI, поскольку это 7-разрядный набор символов.

однако годы неправильного использования этого термина сообществом DOS и впоследствии Windows оставили его практическое значение как «системная кодовая страница любой используемой машины». Системная кодовая страница также иногда известный как «mbcs», так как в восточноазиатских системах это может быть кодировка с несколькими байтами на символ. Некоторые кодовые страницы могут даже использовать верхние бит-чистые байты в качестве конечных байтов в многобайтовой последовательности,поэтому он даже не совместим с простым ASCII. но даже тогда он все еще называется «ANSI».

в американских и западноевропейских настройках по умолчанию» ANSI » сопоставляется с кодовой страницей Windows 1252. Это не то же самое, что ISO-8859-1 (хотя это довольно похоже). На других машинах это может быть что-нибудь еще вообще. Это делает «ANSI» совершенно бесполезным в качестве внешнего идентификатора кодировки.

строго говоря, нет такой вещи, как кодирование ANSI. В разговорной речи термин ANSI используется для нескольких различных кодировок:

ASCII просто определяет 7-битную кодовую страницу со 128 символами. ANSI расширяет это до 8 бит, и есть несколько различных кодовых страниц для символов от 128 до 255.

имя ANSI неверно, потому что на самом деле это норма ISO/IEC 8859, которая определяет эти кодовые страницы. Смотрите ISO/IEC 8859 для справки. Есть 16 кодовых страниц ISO/IEC 8859-1 к ISO / IEC 8859-16.

Windows-1252 снова основано на ИСО / ИЭК 8859-1 с некоторым модификация в основном в диапазоне C1 control set в диапазоне от 128 до 159. Википедия утверждает, что Windows-1252 также упоминается как ISO-8859-1 со вторым дефисом между ISO и 8859. (Невероятно! Кто делает что-то подобное. )

когда-то Microsoft, как и все остальные, использовала 7-битные наборы символов, и они изобрели свои собственные, когда это им подходило, хотя они сохранили ASCII в качестве основного подмножества. Затем они поняли, что мир перешел на 8-битные кодировки и что существуют международные стандарты, такие как семейство ISO-8859. В те дни, если вы хотели получить международный стандарт, и вы жили в США, вы купили его у американского Национального института стандартов ANSI, который переиздал международные стандарты с их собственным брендингом и номерами (это потому, что правительство США хочет соответствовать американским стандартам, а не международным стандартам). Итак, копия ISO-8859 от Microsoft сказала «ANSI» на обложке. И поскольку Microsoft не очень привыкла к стандартам в те дни, они не понимали, что ANSI опубликовал много других стандартов. Поэтому они ссылались на стандарты в семействе ISO-8859 (и варианты, которые они изобрели, потому что они действительно не понимали стандарты в те дни) по имени на обложке «ANSI», и он нашел свой путь в пользовательскую документацию Microsoft и, следовательно, в сообщество пользователей. Это было около 30 лет назад, но вы все еще иногда слышите это имя сегодня.

в основном «ANSI» относится к устаревшей кодовой странице в Windows. Смотрите также статья Раймонда Чена на эту тему. Первые 127 символов идентичны ASCII в большинстве кодовых страниц, однако верхние символы различаются.

однако, ANSI делает не автоматически означает CP1252 или латинский 1.

несмотря на всю путаницу, вы должны просто избегать таких проблем в настоящее время и использовать Unicode.

просто в случае, если ваш компьютер не является «западным» ПК, и вы не знаете, какая кодовая страница используется, Вы можете посмотреть на эту страницу: справка API поддержки национального языка (NLS)

или вы можете запросить свой реестр:

при использовании однобайтовых символов формат ASCII определяет первые 127 символов. Расширенные символы из 128-255 определяются различными кодовыми страницами ANSI, чтобы обеспечить ограниченную поддержку других языков. Чтобы понять кодированную строку ANSI, вам нужно знать, какую кодовую страницу она использует.

Я помню, когда текст «ANSI» ссылался на псевдо VT-100 escape-коды, используемые в DOS через ANSI.Драйвер SYS для изменения потока потокового текста. Вероятно, не то, что вы имеете в виду, но если это см. http://en.wikipedia.org/wiki/ANSI_escape_code

Источник