Byte-order Mark (BOM)

Neste post, vamos desbravar o mundo misterioso do Byte Order Mark (BOM), um pequeno, porém poderoso, detalhe que faz uma grande diferença na forma como os caracteres são lidos e apresentados em um arquivo. Com uma pitada de humor e muita informação, prepare-se para entender por que alguns caracteres se transformam em ‘interrogações’ sem ele e como o BOM nos ajuda a evitar essas situações constrangedoras. Seja você um entusiasta da codificação ou simplesmente curioso, este guia irá iluminar um aspecto fundamental da computação que muitas vezes passa despercebido.

O byte-order mark (BOM) é um caractere Unicode (U+FEFF byte Order Mark – BOM), que aparece como um número mágico no inicio do arquivo e indicam para o programa qual tipo de caracteres devem ser utilizados.

Sem isso, ao abrir o arquivo, caracteres “quebrados” podem aparecer como, por exemplo, as ? que aparecem no lugar de uma letra com acento.

Os números mágicos são comuns em programas em muitos sistemas operacionais. Números mágicos implementam dados fortemente tipados e são uma forma de sinalizar os tipos de dados para o programa está recebendo o arquivo.

Exemplo: Arquivos GIF tem o código ASCII para “GIF89a” (4749 46 38 39 61) ou “GIF87a” (47 49 46 38 37 61)

Apesar de ser opcional, quando utilizado, o BOM irá aparecer no inicio do arquivo

Unicode pode ser codificado como integers de 8 bits, 16 bits ou 32 bits. Para as representações de 16 e 32 bits, um programa lendo o arquivo texto precisa saber em qual byte-order os integers foram codificados. Como o BOM em si é codificado no mesmo esquema que o resto do documento e tem um valor conhecido, programa pode examinar esses primeiros bytes alguns para determinar a codificação.

Versão tl;dr: São os caracteres que contam a codificação do arquivo para o programa. Sem ele, você corre o risco de ver caracteres “estranhos” na hora que abrir o arquivo.