科学・技術

文字コードとは?種類と文字化けが起こる理由をわかりやすく解説!

文字コードの意味とコンピュータ上の文字表現
当サイトでは記事内に広告を含みます

文字コードとは?種類と文字化けが起こる理由をわかりやすく解説!

パソコンやスマートフォンで日本語を入力したり、Webサイトを閲覧したりするとき、画面の裏側では文字コードが使われています。

普段は意識しなくても、メールの件名が読めない文字になったり、ファイル名が記号だらけになったりすると、文字コードの存在を実感するでしょう。

文字コードには複数の種類があり、扱う文字の範囲や古くから使われてきた環境によって特徴が異なります。

この記事では、文字コードの基本的な仕組み、代表的な種類、文字化けが起こる理由と対処の考え方をわかりやすく解説します。

文字コードの意味とコンピュータ上の文字表現

文字コードの意味とコンピュータ上の文字表現

それではまず文字コードの意味と基本的な仕組みについて解説していきます。

文字に番号を割り当てる文字コードの仕組み

文字コードとは、文字に対応する番号を割り当て、コンピュータが文字を保存や送受信できるようにする規則です。

コンピュータの内部では、文字そのものではなく、0と1で表された数値を扱っています。

たとえばアルファベットのA、数字の1、日本語の「あ」は、人が見れば別々の文字ですが、機器にとっては決められた番号として処理されます。

この番号と文字の対応表があるため、入力した内容を画面に表示したり、文書として保存したりできます。

文字コードは、文字を数値に変換する際の約束事と考えると理解しやすいでしょう。

同じ「あ」を扱う場合でも、どの規則を使うかによって、内部で使われる数値の並び方が変わることがあります。

そのため、送信した側と受信した側が異なる規則を前提にすると、本来の文字を正しく復元できません。

文字コードは、人間が読む文字とコンピュータが扱う数値を結び付けるための共通ルールです。

同じルールで保存し、同じルールで読み取ることが、文字を正しく表示する基本になります。

身近な例として、メモ帳で作成した文章を別のソフトで開く場面を考えてみましょう。

保存時と読み込み時の文字コードが一致していれば、日本語の文章は通常どおり表示されます。

一方で規則が食い違うと、漢字やひらがなが意味のない記号へ置き換わる場合があります。

文字コードは専門的に見えても、文書作成、メール、Web制作、データ連携に関わる身近な技術です。

文字集合と符号化方式の役割

文字コードを理解するには、文字集合と符号化方式という2つの考え方を分けて捉えることが役立ちます。

文字集合は、どの文字を扱う対象にするかを定めた一覧です。

ひらがな、漢字、アルファベット、記号、絵文字などを、どのような文字として登録するかを決めます。

符号化方式は、その文字をコンピュータ内でどのような数値の並びに変換するかを定める仕組みです。

文字集合が文字の辞書なら、符号化方式は辞書にある文字をデータへ変換する手順にあたります。

Unicodeは世界中の多くの文字を共通の番号で管理する文字集合として広く使われています。

UTF-8やUTF-16は、Unicodeの文字をデータとして保存するための代表的な符号化方式です。

同じUnicodeを利用していても、UTF-8とUTF-16では保存されるデータの構造が異なる場合があります。

文字集合と符号化方式の考え方

文字集合 どの文字を扱うかを決める一覧

符号化方式 文字を数値のデータへ変換する規則

例 Unicodeの文字をUTF-8で保存する

たとえば外国語の氏名、数学記号、絵文字を含む文章では、扱える文字の範囲が広いUnicodeが特に便利です。

ただし、文字の種類だけでなく、保存形式や読み込み設定までそろえなければ正しく表示できません。

文字コードを選ぶときは、対応できる文字の多さと、利用する機器やサービスとの互換性を両方確認することが大切です。

文字コードとフォントの違い

文字コードとフォントは混同されやすいものの、担当する役割はまったく異なります。

文字コードは、文字を識別するための番号や保存規則を決める技術です。

フォントは、識別された文字を画面や印刷物でどのような形に描くかを決めるデータです。

文字コードが文字の正体を伝える仕組みなら、フォントは文字の見た目を整える仕組みです。

たとえば同じ「森」という文字でも、明朝体、ゴシック体、手書き風の書体では形の印象が変わります。

これはフォントの違いであり、文字コードの違いではありません。

一方、文字コードが正しく読み取れなければ、フォントを変更しても本来の文字を表示できないことがあります。

逆に文字コードが正しくても、その文字を収録していないフォントでは、四角形の記号や代替文字で表示される場合があります。

文字化けは主に文字コードの不一致で起こります。

文字が四角形や空白になる現象は、フォントに必要な字形がないことも原因になります。

メール本文が読めない場合は文字コードを疑い、珍しい漢字だけが表示されない場合はフォントの対応状況も確認するとよいでしょう。

この違いを知っておくと、表示トラブルが起きた際に確認すべき場所を絞り込めます。

文字のデータと見た目のデータは別のものだと理解することが、適切な対処への第一歩です。

代表的な文字コードの種類と特徴

続いては代表的な文字コードの種類と特徴を確認していきます。

ASCIIと日本語向け文字コードの位置付け

ASCIIは、英語のアルファベット、数字、基本的な記号などを扱うために作られた代表的な文字コードです。

扱える文字数が少ないため、日本語のひらがなや漢字をそのまま表すことはできません。

その後、日本語をコンピュータで使う必要性が高まり、日本語向けの文字コードが複数生まれました。

代表例にはShift_JIS、EUC-JP、ISO-2022-JPがあります。

日本語向けの文字コードは、限られたデータ容量や当時の機器環境に対応しながら、日本語の文字を扱うために発展しました。

Shift_JISは、長い間Windows環境や国内向けソフトで広く使われてきた形式です。

EUC-JPは、Unix系の環境や古いWebサイトで見かけることがあります。

ISO-2022-JPは、メールで日本語を送るための形式として利用されてきました。

文字コード 主な文字の範囲 使われやすい場面 特徴
ASCII 英字、数字、基本記号 プログラム、通信の基本部分 単純で広く互換性がある
Shift_JIS 日本語、英字、記号 Windows向け文書、旧来の業務データ 国内環境で長く利用された
EUC-JP 日本語、英字、記号 Unix系環境、古いWebデータ 技術系の環境で使われた経緯がある
ISO-2022-JP 日本語、英字、記号 メール本文 文字種の切り替えを用いる

古いデータを扱うときは、これらの文字コードが現在も必要になることがあります。

ただし、新しく作るWebページや幅広い相手と共有するデータでは、UTF-8を選ぶ場面が増えています。

既存のファイルを安易に別形式へ変換すると、一部の文字が失われる可能性があるため注意が必要です。

UnicodeとUTF-8の普及理由

Unicodeは、世界中で使われる文字を共通して扱えるようにするための国際的な文字集合です。

日本語だけでなく、中国語、韓国語、アラビア文字、キリル文字、各種記号や絵文字まで幅広く収録しています。

異なる言語を1つの文章に混在させやすいことが、Unicodeの大きな特徴です。

UTF-8は、そのUnicodeの文字を保存や通信に利用するための符号化方式の1つです。

UTF-8は英数字との相性がよく、Webサイトや多くのアプリケーションで標準的に利用されています。

英字や数字などASCIIと共通する文字は、UTF-8でも互換性を保ちやすい構造になっています。

そのため、英語中心の技術環境から多言語対応へ移行する際にも採用されやすくなりました。

日本語、英語、絵文字を含むチャットや商品説明文でも、UTF-8なら同じ形式で扱いやすいでしょう。

比較項目 UTF-8 Shift_JIS UTF-16
主な利用場面 Web、API、現行の文書 旧来のWindows向けデータ 一部のソフト、内部処理
多言語対応 幅広い 日本語中心 幅広い
ASCIIとの親和性 高い 高い 形式によって異なる
絵文字の扱い 対応しやすい 制約がある 対応しやすい

UTF-8を使えばすべての文字トラブルがなくなるわけではありません。

送信側と受信側で設定が異なったり、途中のシステムが古い形式を前提にしたりすると、文字化けは起こり得ます。

それでも新規のWeb制作やデータ連携では、UTF-8を統一しておくことが有効な基本方針です。

文字コードを選ぶ際の確認ポイント

文字コードを選ぶときは、扱う文章の内容だけでなく、データの受け渡し先も確認する必要があります。

自分のパソコンで読めることと、取引先のシステムや公開先のWebサーバーで読めることは別の問題です。

たとえば社内の古い基幹システムがShift_JISを前提としている場合、UTF-8で作成したCSVファイルをそのまま取り込めないことがあります。

反対に、海外の利用者を含むWebサービスでは、日本語専用の形式よりUTF-8のほうが適しています。

文字コードの選択では、作成環境、保存先、送信先、読み込み側の設定を一連の流れとして確認することが重要です。

ファイルの拡張子だけでは、内部の文字コードは判断できません。

同じCSVという拡張子でも、Shift_JISで保存されているものとUTF-8で保存されているものがあります。

文字コードを決める際の確認手順

利用先の指定を確認する

新規のWebデータはUTF-8を基本にする

既存システムでは現在の形式を調べる

変換前に元ファイルの控えを残す

特にCSVは、表計算ソフト、会計ソフト、Webサービスなど複数のソフトをまたいで利用されるため、文字化けが起こりやすい形式です。

読み込み時に文字コードを選べる機能がある場合は、作成時の設定と同じものを指定しましょう。

指定がないデータを受け取った場合は、送信者やシステムの仕様書で確認することが確実です。

文字化けが起こる理由と代表的な場面

続いては文字化けが起こる理由と代表的な場面を確認していきます。

保存時と読み込み時の文字コード不一致

文字化けの最も代表的な原因は、保存時に使った文字コードと、読み込み時に想定した文字コードが一致しないことです。

作成者がUTF-8で保存した文章を、受信側がShift_JISとして解釈すると、数値の並びが別の文字として扱われます。

その結果、本来の日本語が意味を持たない記号や別の漢字として表示されます。

文字化けは、データそのものが壊れたのではなく、データを読むための規則を取り違えたことで起こる場合が多い現象です。

たとえば「東京」という文字列をUTF-8で保存しても、Shift_JISとして開けば正しい対応関係をたどれません。

この現象は、テキストエディタ、表計算ソフト、メールソフト、データベースなど幅広い場面で発生します。

Webページでも、HTMLファイルの保存形式とブラウザへ伝える文字コード情報が異なると、閲覧者に文字化けが見えることがあります。

保存形式と読み込み形式は、必ず同じ文字コードにそろえる必要があります。

どちらか一方だけを変更しても、もう一方が古い設定のままでは表示トラブルが残ります。

特定のファイルだけが読めない場合は、そのファイルの保存時の文字コードを確認するのが近道です。

複数の人が編集する文書では、使用するエディタと保存形式をあらかじめ共有しておくと混乱を減らせます。

文字化けを見つけたときは、まず文字コードの不一致を疑うと原因を整理しやすくなります。

メールやCSVで起こりやすい文字化け

メールは送信時、配送時、受信時に複数のシステムを通るため、文字コードの設定差が影響しやすい媒体です。

本文だけでなく、件名、添付ファイル名、差出人名に文字化けが起こる場合もあります。

特に古いメールソフトや特殊な配信システムを経由する場合は、対応できる形式が限られることがあります。

CSVは文字コードの情報をファイル内部に明確に持たないことが多く、開くソフトが推測に失敗すると文字化けします。

CSVの文字化けは、ファイルが壊れているのではなく、表計算ソフトが期待する保存形式と異なることが原因になるケースが少なくありません。

たとえばWebサービスからUTF-8のCSVを出力し、表計算ソフトで直接開いたとき、日本語が崩れることがあります。

この場合は、ファイルをダブルクリックするのではなく、データの読み込み機能から文字コードを指定すると改善することがあります。

起こりやすい場面 主な原因 確認する項目 対処の方向性
メール本文 送受信側の形式差 送信形式、受信ソフト 対応する形式で再送する
メール件名 古い機器や経路の影響 メールソフト、配信設定 ソフトの更新や設定確認
CSVの日本語 読み込み時の自動判定 保存形式、読み込み方法 インポート時に形式を指定する
Webページ HTMLとサーバー設定の不一致 ファイル、配信設定 UTF-8へ統一する

取引先へCSVを渡す場合は、事前に文字コードの指定があるか確認しておくと安心です。

文字コードだけでなく、改行コードや区切り文字の違いも読み込み結果に影響するため、あわせて確認しましょう。

途中の変換や対応外文字による表示トラブル

文字化けは、最初と最後の設定が同じでも、途中でデータが変換されることで起こる場合があります。

たとえばフォームから送信した内容をデータベースへ保存し、その後メールやCSVとして出力する仕組みでは、複数の処理段階があります。

どこか1か所でも異なる文字コードを前提にしていると、データの受け渡し時に文字が崩れる可能性があります。

また、文字コードが一致していても、古いシステムが新しい絵文字や外字に対応していない場合、正しく表示できないことがあります。

対応していない文字は、文字化けだけでなく、四角形の記号、疑問符、空白として表示されることがあります。

人名に使われる異体字や、機種依存文字と呼ばれる特殊な記号は、環境差の影響を受けやすい文字です。

たとえば自社のシステムでは見える旧字体が、外部サービスへ送信すると別の文字へ置き換わることがあります。

確認したい処理の流れ

入力画面の文字コード

Webサーバーの設定

データベースの保存形式

APIやCSVの出力形式

受信側ソフトの読み込み設定

問題が発生した場所だけを見るのではなく、文字が通過する経路を順番に確認することが大切です。

特にシステム改修や外部サービス連携の後に起きた文字化けは、追加された変換処理を確認すると原因を見つけやすいでしょう。

扱えない文字を完全に防ぐには、利用するサービス全体の対応範囲を確認し、必要に応じて代替表記を用意する方法もあります。

文字化けを防ぐ設定と発生時の対処法

続いては文字化けを防ぐ設定と発生時の対処法を確認していきます。

新規作成時にそろえたい保存形式

新しくテキストファイルやWebページを作る場合は、特別な指定がない限りUTF-8を選ぶ方法が一般的です。

多言語や絵文字を扱いやすく、現在のWeb環境や多くの開発ツールとの相性がよいためです。

ただし、相手先のシステムがShift_JISなどを指定している場合は、その指定を優先する必要があります。

文字化けを防ぐ最も確実な方法は、作成前に利用先が求める文字コードを確認し、保存から読み込みまで統一することです。

Webページでは、HTMLファイルをUTF-8で保存するだけでなく、ブラウザへUTF-8であることを伝える設定も必要です。

サーバー側の配信設定とHTML内の指定が食い違うと、環境によって表示結果が変わることがあります。

編集担当者が複数いるWebサイトでは、エディタの初期設定をそろえておくと、意図しない保存形式の変更を防げます。

新規データではUTF-8を基本にしつつ、外部連携先の仕様を必ず確認しましょう。

古い業務システムへ渡すデータは、相手側が指定した文字コードで出力する必要があります。

ファイル名にも日本語や絵文字を含める場合は、送信先の環境で正しく扱えるか試験することが大切です。

本番で初めて確認するのではなく、短いテストデータを使って受け渡しを試すと安心できます。

文字コードの統一は、運用ルールとして文書化しておくと、担当者が交代しても維持しやすくなります。

文字化けしたファイルを確認する手順

すでに文字化けしたファイルを受け取った場合でも、元のデータが残っていれば復元できることがあります。

まずは、ファイルを上書き保存せず、コピーを作ってから確認作業を始めましょう。

上書き保存を繰り返すと、もとの数値データが別の形式で書き換えられ、復元が難しくなる可能性があります。

次に、テキストエディタや表計算ソフトの読み込み機能で、文字コードを変更しながら表示を確認します。

文字化けしたデータは、元の文字コードを正しく指定して開ければ、正常な文章へ戻る場合があります。

UTF-8、Shift_JIS、EUC-JPなど、利用された可能性がある形式を候補として試します。

ただし、文字化けした画面だけを見て推測するのは難しいため、作成者や出力元のシステムを確認できるなら、その情報を優先しましょう。

文字化けしたファイルの確認手順

元ファイルを複製して保管する

作成元と利用環境を確認する

読み込み時の文字コードを変更して試す

正しく読めた形式で別名保存する

相手先で再度表示を確認する

CSVの場合は、専用のインポート画面から列の区切りと文字コードを指定して読み込む方法が有効です。

メール本文が文字化けしている場合は、受信ソフトの表示設定を変更できることがありますが、送信元に再送を依頼したほうが早いケースもあります。

復元できた後は、再発を防ぐために、どの形式で作られたデータだったのかを記録しておきましょう。

文字コードの種類と文字化けのまとめ

文字コードは、文字をコンピュータで保存、通信、表示するために番号へ変換する共通の規則です。

文字集合は扱う文字の範囲を定め、UTF-8やShift_JISなどの符号化方式は文字をデータとして表す方法を定めます。

現在のWebサイトや多言語データではUTF-8が広く使われていますが、古い業務システムや受け渡し先では別の形式が必要になることもあります。

文字化けの多くは、保存時と読み込み時の文字コードが一致していないことから発生します。

メール、CSV、Webページ、データベース連携では、データが通る各段階の設定をそろえることが大切です。

文字が四角形になる場合は、文字コードだけでなく、フォントや対応外文字の可能性も確認しましょう。

文字化けしたファイルは上書きせず、コピーを保管したうえで、作成元の形式を確認しながら読み込み設定を試すことが基本です。

これから文書やデータを共有する際は、相手側が必要とする文字コードを確認し、同じ形式で受け渡す習慣をつけてみてください。