読者です 読者をやめる 読者になる 読者になる

あざらしとペンギンの問題

主に漫画、数値計算、幾何計算、TCS、一鰭旅、水族館、鰭脚類のことを書きます。

エントロピーとは何か??

今年最後*1のエッセイとして、物理学と情報科学および数学のある分野において重要な概念である「エントロピー*2というものについて少々話をさせて頂きます。いきなりネタをばらしてしまいますが、この話はタイトルの疑問に答えるものではありません。むしろ、「エントロピー」に対して「それは何か?」という疑問をぶつけること自体が的外れであるということを主張するものです。

エントロピーとは何か?」に対する私の答えは

エントロピーとはエントロピーである。

というトートロジーです。これは答えをはぐらかしているのではありません。「エントロピー」という量にどのような解釈をつけようとも、それは物事の側面を照らすことにしかならず、本体を捉えることにはならないということです。では、その本体とは何か?ということになりますが、それはやはり「エントロピー」としか言い様がないものです。世の中にはともかくもエントロピーという数量があって、熱力学を始めとするいくつもの学問では、それを使うことによって様々なことを議論できるのです。

知らなくても使いこなすことはできる

我々はエントロピーそのものを知らなくても、それを使って議論をすることはできるのです。*3これは例えば、火を使うときにいちいち「火とは何か」ということを知らなくていいことと同じです。実を言えば、火はこの話で扱うエントロピーよりもはるかに難しい対象なのです。それにもかかわらず、多くの人は火についてはよく知っているような気になっていて、一方で「エントロピー」にはバズワード的な奇怪さを感じているように思われます。

突き詰めると、人々がエントロピーについて「よく解らない」「とらえどころがない」などと思っているということは、裏を返せば、身近にあるものについては無意識に「よく知っている」という思い込みを持っているからだと、そのように私は思うのです。その幻想をぶち壊せば、エントロピーとはともかくそういうもので、それ自体を理解せずとも使いこなすことはできる、という境地に達することができるはずです。

熱力学と経験的知識

エントロピー」という用語は、ドイツの科学者・クラウジウスによって創作された熱力学の用語です。それより少し前に、「エネルギー(energy = en-(〜の中で)+ ergy(仕事))」という物理学において極めて重要な概念が導入された*4ので、それと同じくらい重要なものということで、ギリシャ語をもじって似たような(奇妙な)用語を開発したということらしいです。*5エントロピー」という造語を分析すると entropy = en-(〜の中で)+ tropy(変化)ということで、「変化に関する特徴量」というような意味であると推定されます。*6

熱力学におけるエントロピーは、すべての「エントロピー」と名付けられた量の大元です。それと同時に、エントロピーを馴染みにくいものにした大元でもあります。他の「エントロピー」は統計力学を経由して確率を用いた量に置き換えられていますので、馴染みやすさという意味では優っていると思われます。*7

とはいえ、熱力学の中ではどのような記述を採用しても、エントロピーを直接「知る」という目的が達成されないことに違いはありません。よって、クラウジウスによる「難解な」導入は、直ちに非難されるべきものでもないでしょう。少なくとも数学的には、変に直感に向かうよりは扱いやすいと思います。*8

クラウジウスによるエントロピーの導入は、「吸熱量」と「絶対温度」という量を用いて行われます。単純に言えば「熱」と「温度」ですね。これらに対する「エントロピー」の位置づけは、気体の入ったピストンにおける「仕事」と「圧力」に対する「体積」のようなものです。これは大雑把には、力学的な関係である

仕事=圧力×体積の変化

に対応して、ある物理量 S を考えて

吸熱量=温度×S の変化

としたとき、この Sエントロピーである、というような意味です。エントロピーの定義は多くの教科書でいくつかの異なった流儀で行われていますので、ここではあえて詳しくは触れません。

言い換えれば、「熱」と「温度」は「エントロピー」と同じくらい解りにくいものなのです。こう言うと「そんな馬鹿なことはない」と思われる方もいらっしゃるでしょうが、それでは、皆様は「熱」と「温度」についてどれだけのことをご存知でしょうか?物理学をやっている人々にとってみれば愚問かもしれませんが、それ以外の多くの人々にとっては「温度が高い=熱が多い」というような感覚的「理解」に留まっているのではないでしょうか。そもそも「熱」と「温度」の次元の違いすら日常的には意識されないのではないでしょうか?*9

あなたはいきなり「熱とは何か?」*10「温度とは何か?」と聞かれて答えられますか?まぁ、中には答えられる人もいるでしょう。しかし、それは一言で済まされるようなものではないはずです。物理学を専門としない人々にとっては、「熱」や「温度」の理解さえもあやふやであることが多いでしょう。にも拘らず、その先にある「エントロピー」を理解しようとしても、空虚な思索を重ねることにしかならないことは、ご理解頂けるでしょうか?

実のところは「熱」と「温度」と「エントロピー」は運命共同体であり、どれも同じ程度に解りにくいものなのです。*11しかし一方で、やはり多くの人が「熱」や「温度」を知っているようなつもりになっているのもまた事実でしょう。「温度」が解って「エントロピー」が解らないというのは、随分とおかしなことです。というのも、「温度」もまた熱力学において定義される「ある種の数量」という以上のものではないからです。

広辞苑によれば、「温度」とは「①温冷の感覚の度合。②熱平衡にある系に特有の物理量。(以下略)」とあります。多くの人が「温度」について「知っている」というのは、①の意味ではないでしょうか?もちろん、それは物理学的な意味で「知っている」ことにはなりません。そこで②が出てくるわけですが、果たしてこれから読み取れることがどれだけあるでしょうか?少なくとも、①の意味とは結びつきそうもありませんね。実際、②は温度の一般的な定義を与えているけれども、数量としての目盛は与えていないのです。それに熱力学の意味で普遍的な目盛を与えるのが「絶対温度」というものです。これには、考案者のケルヴィン卿(ウィリアム・トムソン)にちなんで「ケルヴィン(記号:K)」という単位が与えられています。我々に馴染み深いセルシウス度などは、現在では絶対温度からの変換で定義されています。

この絶対温度こそはエントロピーと対になる物理量であり、それ自体もまた一言では語れない代物です。重要なのは、絶対温度広辞苑の②に適合する何かしらの数量であり、エントロピー同様に様々な顔を持つものである、ということです。*12絶対温度の定義についてここで話すのは得策ではないので、この辺にしておきましょうか。これくらい言うと、いい加減に「温度」というものが解らなくなってきたのではないでしょうか?それが私の狙いです。私はここに主張します。

温度はエントロピーと同じくらい解らないものである。

にもかかわらず、熱と温度をある意味では「知っている」のに、エントロピーについてはよく解らないなどとこぼす人がいるのはなぜでしょうか?それは、結局のところ我々にエントロピーを経験的に知る術がないからでしょう。熱と温度という単語は、熱力学が成立するよりもずっと昔からあったもので、その実は我々人類が経験的に知っていたことです。そして、熱力学は経験的な熱や温度を科学的に扱う学問です。ところが、熱力学を押し進めて熱の本質に迫っていくと、そこには「温度」などの経験的なものと同等以上に重要でありながら、人類の経験には存在しなかった物理量が潜んでいたのです。それが「エントロピー」というものの正体です。

統計力学におけるエントロピー

クラウジウスによる(熱力学的)エントロピーの提唱、あるいは「発見」から20年余りが経過した頃、それに具体的な意味付けを与える関係式がボルツマンによって発見されました。それがかの有名な「ボルツマンの原理」

S = k \log W

です。ここで、左辺の Sエントロピー、右辺の W は(ある決め方のもとで)想定している物理系が取りうる状態の組み合わせの数です。また、k は温度などの熱力学量と単位を合わせるための定数で、一般には「ボルツマン定数」と呼ばれています。

この関係式に代表されるように、ボルツマンは物理系のミクロな状態(大多数の粒子の力学的状態)の数を組み合わせ論的に計算することによって、マクロな熱力学の諸法則を導出しようと試みました。それは今日「統計力学」と呼ばれている分野の源流の一つです。*13

上の関係式を大雑把に表すと、

エントロピー=log 組み合わせの数

となります。(比例定数は除きました。対数の底は何でも構いませんが一つに固定します。)ボルツマン・エントロピーとは、本質的にはこの程度のものです。よくエントロピーは「曖昧さの尺度」など言われますが、それは取りうる組み合わせの数が多いことを、より曖昧性が高いと解釈した言い回しでしょう。

こうやって見ると、「エントロピーが解った!」という気になれるかもしれません。あるいは、熱力学のエントロピーをそれで置き換えてしまえばいいと思われるかもしれませんね。

ところが、上の見方はエントロピーが持ついくつもの顔の一つに過ぎません。ましてや熱力学のそれを置き換え得るようなものでもありません。ボルツマンの原理は、決して、エントロピーの本質が統計力学にあるとは言っていません。それが意味することといえば、熱力学においてエントロピーと呼ばれる物理量が、ボルツマンが考えたモデルの上では組み合わせの数で決まる量=上の式で定義される「ボルツマン・エントロピー」によってシミュレートされる、ということに過ぎません。もっと言うと、左辺と右辺は最初から最後まで別世界の量です。要するに異なる理論の関係を量の等式で表しているのです。この式によって、エントロピーは本来の住処である熱力学から足を踏み出して、統計力学にも形を持つことができるのです。しかし、それはエントロピーの一つの見え方であって、すべてを表現できる類のものではないのです。

統計力学における別のエントロピーの形式として、統計集団(=確率分布)に対して

\displaystyle S = -k \sum_{x \in \mathcal{X}} p(x) \log p(x)

で与えられるものがあります。ここで、\mathcal{X} は物理系の取りうる状態の全体、p(x) は状態 x を取る確率を表しています。この式で与えられるエントロピーは、ボルツマンのモデルとはやや異なる統計力学のモデルにおいて、熱力学におけるエントロピーと同じ働きをする量として得られるものです。つまり、これら二つのエントロピーは数学的には別物で、ただ物理的には同じ位置付けを占めているのです。故に上の式で定義されるエントロピーは、クラウジウス、ボルツマンに次ぐ第三のエントロピー(あるいは、ギブズ・エントロピー)とでも言うべきものでしょう。

以上、統計力学におけるエントロピーを見ました。それらは熱力学のエントロピーが何かしらの具体的な意味付けを持つことを意味します。しかし、そのようなエントロピーはあくまで特定のモデルに付随する量であって、エントロピーというものの解釈の一つに過ぎません。むしろ、それらの異なる解釈は互いに相補的な関係にあり、エントロピーを通して、都合の良いモデルを使い分けて計算できることにこそ利点があるのです。

情報理論、そして数学の様々な分野へ

統計集団のエントロピーから本質的な部分を取り出した式

\displaystyle \mathrm{H}(p) = - \sum_{x \in \mathcal{X}} p(x) \log p(x)

は、シャノンによって全く別の文脈(確率的情報源の圧縮符号化)で再発見され、情報エントロピーと呼ばれるようになりました。さらに、この形で数学の世界にもエントロピーが持ち込まれていきました。現在、エントロピーと呼ばれている量の多く(と言えるほど多くあります。)は、シャノンのエントロピーから派生したものです。

エントロピーとはエントロピーである

クラウジウスがわざわざ「エントロピー」などという奇妙な用語を創造した裏には、人類の経験によって拡張されてきた語彙の中に、それに相当するものが存在しなかったことが理由にあると思われます。エントロピーは熱現象の非経験的な鍵であって、それを経験をもとに「理解」することは不可能です。つまるところ、「エントロピー」は「エントロピー」でしかなかったのです。

P.S.) さて、筆者はこの記事の中で「エントロピー」という単語を何回使ったでしょうか?

*1:と言いつつ後に大幅に加筆・修正しました。

*2:皆様は「エントロピー」をどのように発音されているでしょうか?私は頭の「エ」にアクセントを置いて発音します。これは英語における発音と同じです。一方で、本家(?)ドイツ語では最後の「ピー」にアクセントを置くようです。よく似た響きの用語に「エンタルピー」というものがありますが、こちらの場合は「タ」にアクセントを置きますね。

*3:熱力学における本来の意味でのエントロピーを数学的に述べると、準静的変化における熱の移動という完全微分でない形式に、積分因子として温度の逆数をかけることで得られる完全微分形式の積分として定義される量です。これで解ったことになればそれで十分なのですが、世の中そうは問屋が卸しませんよね。

*4:energyという単語を作ったのはヤング(1807)で、後にケルヴィン卿によって広められました。熱力学第一法則はマイヤー、ジュール、ヘルムホルツらが提唱したエネルギー保存則を、クラウジウスが熱力学の言葉で定式化したものであり、熱力学においてもエネルギーは保存量であるという考えを表現したものです。

*5:熱力学における(内部)エネルギーは熱力学第一法則の一つの項として表される量であり、ここでの主役のエントロピーは、熱力学第二法則を定量化するときに現れる量です。

*6:エントロピーが特徴づけるのは変化の向きです。「エントロピー増大則」というのは理系以外の人でも耳にしたことはあるでしょう。これは、断熱系においてエントロピーが減少するような変化は起こらない、ということを主張するものです。その逆も正しくて、エントロピーが減少しないような断熱変化は理論的に実現可能であることが知られています。また、エントロピーが増加しないことは、その変化が可逆であることを意味します。

*7:もっとも、物理学でエントロピーを用いるには、多かれ少なかれ熱力学に立ち戻る必要があります。統計力学情報理論におけるエントロピーは、その確率論的な解釈を可能にしてくれる一方で、本来持っているはずの様々な顔を照らしてはくれないのです。

*8:他の導入としては、エネルギーと自由エネルギーの差を絶対温度で割ったものをエントロピーとする流儀があります。この方法では、あらゆる概念を力学的な仕事から導入するので、直感的にアクセスしやすいというメリットがあります。ただし、数学的な扱いが便利になるということは特にありません。

*9:熱量はエネルギーの次元を持つ量であり、温度とエントロピーはそれらの積がエネルギーの次元を持つ量です。一般的には温度の方が「温度」として独立の次元を持つ量として扱われます。例えば、「温度が高い=熱が多い」というのは別の次元の量を同列に扱っているので、考えとして正しくありません。意味的にもそれは正しくなくて、例えば、ピストンを使った気体の圧縮などで、熱の介入なしに仕事だけで温度を上げることができます。

*10:「熱」とはエネルギーの移動形態の一種と解釈されます。一方で、不可逆変化のために生じるエネルギーの「失効」の意味でも用いられます。実際には、後者の意味で失効したエネルギーが前者の意味で移動するのです。この「熱」という概念や現象の本質を捉える物理量こそがエントロピーなのです。

*11:世の中には、示量性状態量であるエントロピーの方をより本質的なものと考えて先に導入し、温度はそれに対応する示強性状態量として後から定義するという立場もあります。示量性状態量Xに対応する示強性状態量とは、エネルギーをXで偏微分して得られる状態量(もしくはそれに負号をつけたもの)のことです。この方法は統計力学で温度を定義するときにも用いられます。

*12:②に適合するという意味では、統計力学で現れる「逆温度」もまた温度に相当する物理量です。温度を熱平衡状態のラベルとして見るならば、我々が普段用いている「温度」はそのうちの一つでしかありません。

*13:ボルツマンの研究はマクスウェルによる気体分子運動論の発展形と見なすことができます。ほぼ同時期には、大西洋の向こう側でギブズが統計集団の概念を導入して同様の研究を行っています。そのため、統計力学では実質的に同じことを表しているものでも、ある人はボルツマンの名前で、ある人はギブズの名前で呼ぶということが頻繁にあります。