文字コードへの道

文字コードへの道

The Road to Character Encodings

pixiv Inc.

USAMI Kenta

2024-01-28 #retro_games_any

レトロゲームから得た学びの発表 #01

お前誰よ

• うさみけんた (@tadsan) / Zonu.EXE / にゃんだーすわん
• ピクシブ株式会社 pixiv事業本部 Webエンジニアリングチーム PHPer
• Emacs PHP Modeを開発しています (2017年-)
• プログラミング言語にちょっとこだわりのある素人 (spcamp2010)
• ゲーム開発経験は学生時代にDXLibとか一瞬使ったくらい
• 好きなゲームはスーパーロボット大戦シリーズ

今回の発表の背景 (phpcon2024)

さて

コンピュータ内のデータのイメージ

非常に大雑把なイメージ

コンピュータのメモリ

= データを格納する箱が並んでいる

…1,073,741,824

(1GBメモリ)

データを整列して見る

1列で表示するとわかりにくいので

16個単位で折り返すことがよくある

A B C D E F

1x

2x

3x

4x

列 = 下1桁

5x

6x

7x

8x

非常に大雑把なイメージ

四角い箱

= メモリ

文字列 "Abc12"

A b c

ところでコンピュータって0と1の世界なのでは…？

0と1の世界

0と1の世界= binary (2進法)

0と1の世界= binary (2進法)= bit (2値データ)

粒度が細かすぎる

粒度が細かすぎる

• まとめて扱おう

粒度が細かすぎる

• まとめて扱おう

= bytes (バイト)

非常に大雑把なイメージ (再掲)

四角い箱

箱に入るのは

0～256の数字だけ

= メモリ

文字列 "Abc12"

A b c

数字に置き換えて箱に入れる

データをまとめて扱う

• コンピュータ上のデータを0と1だけで表現するのはわかりにくい
• 現代では「1バイト=8個のビット」の塊として扱うのが標準的
• 歴史的には、1バイト=7個のビットで扱う流れもあった
• この「7」という数は現在までひっそりと影響を残している…
• 8バイトの場合、0〜28(=256)までの数を格納できる

日本語文字列をメモリに入れようあいうえお数字に置き換える方法を…

文字列 "あいうえお"

×

文字をデータにしてみよう

英語の文字をデータにしてみよう

2進数10進数文字

00000 A

00001 B

00010 C

• A, B, C, ... Z までのアルファベットだけを扱う
• アルファベット26種類なので、

5bit = 25 =32(種類)で表現できる

00011 D

00100 E

00101 F

00110 G

00111 H

……

11001 Z

ひらがなをデータにしてみよう

2進数10進数文字

000000あ

000001い

• あいうえお… わ を ん までの五十音を扱えるように
• 6bit = 26 =64(種類)に収まる

000010う

000011え

000100お

………

101100わ

101101を

101110ん

ひらがなをデータにしてみよう

2進数10進数文字

000000あ

000001い

000010う

• あいうえお… わ を ん までの五十音を扱えるように
• 6bit = 26 =64(種類)に収まる
• カタカナや濁点を扱うには… どうすれば？

000011え

000100お

………

101100わ

101101を

101110ん

ひらがなをデータにしてみよう

2進数10進数文字

000000あ

000001い

000010う

• あいうえお… わ を ん までの五十音を扱えるように
• 6bit = 26 =64(種類)に収まる
• カタカナや濁点を扱うには… どうすれば？

000011え

💡 ＼ﾋﾟｺｰｿ／ そうだ、先頭ビットを濁点とカタカナに

• 000100

お

………

101100わ

101101を

101110ん

ひらがなをデータにしてみよう

2進数10進数文字

000000あ

000001い

000010う

• あいうえお… わ を ん までの五十音を扱えるように
• 6bit = 26 =64(種類)に収まる
• カタカナや濁点を扱うには… どうすれば？

000011え

💡 ＼ﾋﾟｺｰｿ／ そうだ、先頭ビットを濁点とカタカナに

• 000100

お

………

• ↑ 小文字とか半濁点のこと考えてないよね…

101100わ

101101を

101110ん

16進数表

• 文字エンコーディングとかバイナリファイルを向き合っていると

ちょくちょくこの形式の表を見ることになるかと思います

• メモリやディスク上のデータの表示 (バイナリエディタ)
• エンコーディングのバイトデータと文字の対応表

そういうことを考えると文字コードを設計できる

現在のコンピュータはどうやって文字を扱うか

ASCII (アスキー)

• American Standard Code for Information Interchange
• ↑ 正式名称は覚えなくていい
• いわゆる「半角文字」「半角英数」とか呼ばれる文字コード
• アメリカ英語で使用されるアルファベット(ラテン文字)をカバー
• 0〜127までの7bitだけを使うので、1バイト=8bitとして扱うと

必ず先頭が0になる

Unicode

• 大統一文字コード
• 世界中の文字を統合して一個の表にしようぜ！ プロジェクト
• 表に割り当てられた文字を「コードポイント」と呼ぶ
• U+1234 のように書く
• 最初は16bit = 216 = 65536種類の空間あれば十分じゃね？と

思われていたらしい

UTF-8

• 8bit固定で1〜4バイトの可変長エンコーディング
• ASCIIの文字(いわゆる半角文字)は1バイトで扱える
• そのほかの文字は可変長
• 典型的な日本語の文字は3バイト
• 半角カナは4バイト

制御文字

21世紀の環境でUnicode以外を採用する動機は激減

かつてはそうではなかった(と伝え聞く)

歴史的な事例

有名な逸話

『しんでしまうとは なにごとだ!』 堀井雄二(編集・執筆)株式会社スクウェア・エニックスデジタル版 Ver.1.00 2018年9月1日(Kindle)p11より引用

ドラゴンクエスト(ファミリーコンピュータ)

• 1986年5月27日発売
• 512Kbitロムカセット (64KBytes)
• プログラムROMとキャラクタROMがそれぞれ32キロバイト
• モンスターやキャラクターなどの画像とフォントなどを

全部この32キロバイトに押し込める必要がある

• プログラムとテキストデータが残り32キロバイト

ドラゴンクエスト (FC) 解析資料 - 文字コード より引用 (2025年1月28日閲覧)

ドラゴンクエスト (FC) 解析資料 - 文字コード より引用 (2025年1月28日閲覧)

第三章 自分だけのオリジナルマップを作ろう (kuwatan.jp) より引用

(2025年1月28日閲覧)

ドラゴンクエストV (スーパーファミコン)

• 1992年9月27日発売
• 12MBitロムカセット (1.5MBytes)
• DQ1の時代から考えれば無限に広く見えるが…
• プログラム・テキスト・グラフィック・音楽などあらゆる要素がリッチに
• テキストデータはハフマン符号による可変長ビット(!)

ドラクエ命 第 II 部 解析 第 3 章 SFC 版ドラクエ 5 (1992) 3.6. テキスト解析

ポケットモンスター(ゲームボーイ)

• 1996年2月27日発売 (DQのほぼ10年後)
• 8Mbitロムカセット (1MBytes)：DQの16倍
• DQ1の時代から考えれば無限に広く見えるが…

151匹のポケモンを押し込むには明らかに大変

• 文字列は独自の2バイトコードを定義している
• アルファベットは13文字しか含まれていない(!)

文字コード対応表 - pokemonbug @ ウィキ - atwiki より引用 (2024年12月22日閲覧)

社長が訊く『ポケットモンスター ハートゴールド・ソウルシルバー』 より引用 (2025年1月28日閲覧)

今や文字コードを独自設計したり、フォントをビット単位で押し込めるような時代ではなくなった

サイズ削減のためバンドルするフォントファイルの文字種を削ったり、独自の文字を表示するためにUnicodeの私用領域を使うことはあると思う