# 序文と謝辞

初版の序文

逐次決定問題に関する私の研究は、1980年代にトラック輸送分野で始まった研究から発展したものであり、私のキャリアを通じて鉄道、エネルギー、医療、金融、eコマース、サプライチェーンマネジメント、さらには材料科学のための学習にまで及んできた。逐次決定問題は、スポーツ、料理、買い物、目的地までの最適な経路を見つけるといった日常的な活動の中にも現れる。また、スタートアップのための製品設計、そのスタートアップのための人材採用、マーケティングキャンペーンの設計といった場面でも生じる。

逐次決定問題(動的計画問題や最適制御問題として知られる)に関する初期の研究は、ベルマン方程式(連続問題の場合はハミルトン・ヤコビ方程式)として知られる、有名で、かつ有名なほど扱いにくい方程式を解くことに焦点を当てていた。私はこれらの方程式を近似する手法に取り組むコミュニティに加わった。この研究は近似動的計画法に関する成功した書籍を生み出し、ある種の資源配分問題群にとってのブレークスルーをもたらした。しかし時が経つにつれ、近似動的計画法は非常に狭い範囲の問題を解くための強力な手法にすぎない――いわば「釘を探すハンマー」であることに気づくようになった。

幅広い問題群に取り組んだ経験から、研究文献を通じて見出せる多様な手法を活用することの重要性を私は認識するようになった。あらゆる逐次決定問題は、決定を下すための手法――研究文献上では一般に「方策」として知られる――を探索することを含む、同一の枠組みでモデル化できることに気づいた。そして私は、膨大な数の手法を、決定を下すためのあらゆる手法をカバーする4つの大きなクラス(メタクラス)の方策に整理することができた。これには文献で提案されているものや実務で使われているものはもちろん、まだ発明されていない手法までもが含まれる。

この枠組みは、2022年に完成させた大学院レベルの書籍、Reinforcement Learning and Stochastic Optimization: A unified framework for sequential decisions(参照:tinyurl.com/RLandSO)の基盤となっている。この書籍を執筆する過程で、逐次決定問題があらゆる人間活動に現れる普遍的なものであることに気づいた。さらに、これらの考え方は、オペレーションズ・リサーチ、コンピュータサイエンス、経済学、そして工学の一部の分野に見られるような、分析的に高度な素養を持つ典型的な層だけでなく、より幅広い読者層に教えることができる(そして教えるべきである)と考えるに至った。

本書の目標は、たとえ一行もコードを書くことがない読者であっても、逐次決定問題への取り組み方、モデル化の方法、そして解法を理解できるようにすることである。本書は分析的な内容を扱うものの、真の目標は、逐次決定問題を逐次決定モデルの5つの中核要素に分解し、不確実性をモデル化し、そして方策を設計するという考え方を読者に教えることにある。

統計学を異なるコミュニティ向けに教える際に多様なスタイルが存在するのと同様に、これらの考え方を異なる読者層に教える手法にも同様の進化が生じると私は信じている。本書の例はオペレーションズ・リサーチ――私が「日常生活の数学」と呼んでいる分野――から取られている。読者は、専門分野に関わらず、本書に登場するほとんどの例に馴染みを感じるだろうと思う。同時に、医療、金融、エネルギー、ロボティクス、サプライチェーンマネジメントといった異なる問題領域(これは決して網羅的なリストではない)に特化して設計された本書のバージョンも容易に想像できる。

初版の謝辞

本書の背後にある研究に対する適切な謝辞を述べるならば、大学院レベルの教科書Reinforcement Learning and Stochastic Optimization: A unified framework for sequential decisionsに貢献してくれたすべての人々を認めることになるだろう。ここに全員を挙げるにはあまりにも多くの人がいるため、逐次決定問題に対する私の理解に貢献してくれた多くの方々への謝意を最大限に尽くそうとした、あの書籍の謝辞の節を読者にはぜひ確認していただきたい。

とはいえ、本書に貢献してくれた何人かの方々には、ここで謝意を表したい。まず、本書の演習問題で使用されているすべてのPythonモジュールを書いてくれた、熱心なインターン生のグループがいる: Raluca Cobzaru、Andrei Grauer、Joy Hii、John Nguyen、そしてRobert Raveaunuである。とりわけ、ドイツのカールスルーエ大学の教授であるDennis Djankaには深く感謝している。彼は元のPythonモジュールをPython 2からPython 3へと更新し、ライブラリをより使いやすくする改訂を行ってくれた。

次に、このPythonコードのすべての行に目を通し、バグを修正し、ロジックを整理し、これらの演習に基づく問題セットの作成を手伝ってくれたJuliana Nascimento博士の尽力に、心より感謝の意を表したい。

そして最後に、最も重要なこととして、私の学部授業であるORF 411「逐次決定分析とモデリング」を履修し、どこでも初めて開講された「逐次決定分析」に特化した授業に参加してくれた学生たちに感謝したい。彼らは、講義内容を洗練させる助けとなってくれた。講義スライドはtinyurl.com/RLSOcourses(スライドについては「Undergraduate/masters course in sequential decision analytics」までスクロールしてほしい)で見ることができる。

Warren B. Powell
プリンストン、ニュージャージー
2022年8月

第2版の序文

2026年、私は新しいモノグラフシリーズBridging Decision Problemsのために、Kindle Direct Publishingを通じて出版する道を選ぶことを決めた。それがいかに簡単であるかを実感したとき、Sequential Decision Analytics and Modelingについても同じことができると気づいた。KDPを利用すれば、出版社を介する手間をかけることなく、新版と並行して軽微な更新を行うことが可能になる。これにより、最小限の価格でKindle版を提供しつつ、はるかに手頃な価格のハードカバー版も提供できるようになった。

第2版は、応用に関する各章の構成については初版と同一である。最も大きな変更点は第1章にあり、そこには様々な決定のタイプを定義するという私の考えを取り入れた。応用に関する各章は、その章が何についてのものかを読者が理解できるよう、「章の概要」から始まるようになった。また本書全体を通じて、軽微な編集や時折見られる誤りを修正するための、待望の校正作業の恩恵も受けている。

この版ではまた、「問題を枠組み化する」と私が呼んでいるプロセスも取り入れている。これは、パフォーマンス指標、下される決定のタイプ、そして不確実性の源を(英語で)特定することから始めるというものである。私の新しいモノグラフ、Bridging Decision Problems, Volume I: Framing the Problemは、これら3つの問いを150ページにわたって扱っており、数理モデリングを抜きにしても、それらは見かけほど単純ではないことが分かる。

各章には、物語部分の直後に「問題を枠組み化する」と題した短い節が新たに設けられ、指標、決定、不確実性を列挙することで、数理モデリングの節への橋渡しをしている。私たちの枠組み化の適用例は、このプロセスを実際の問題のほとんどよりもずっと単純なものに見せてしまうだろう。というのも、指標、決定、不確実性の完全なリストから出発し、それをモデルに反映されるものへと絞り込んでいくというプロセス自体は説明していないためである。

第2版の謝辞

まず、本書をダウンロードしてくれた何千人もの読者に感謝の意を表したい。本稿執筆時点で、本書は世界中から約18,000件のダウンロードを得ている(図 0.1を参照)。寄せられたフィードバックは、まさに心温まるものであった。

本書の重要な特徴の一つは、ほとんどの章に付属しているPythonモジュールである。初版の出版から数年後、Pythonがバージョン2からバージョン3へと更新され、元のモジュールが動作しなくなっていることを知り、私はかなり落胆させられた(そして私は1990年にコーディングをやめており、その決断こそが私の成功の核心であった)。

ドイツのカールスルーエ大学の教授であるDennis Djankaが、ライブラリをPython 3で完全に書き直したという知らせを持って連絡をくれたときの、私の心からの感謝の気持ちを想像していただけるだろう。さらに彼は、以下のような追加作業も行ってくれた(彼のメールでの要約による):

• 最小限のコードで新しいモデルや方策を簡単に構築できるようにする、抽象基底クラスSDPModelとSDPPolicyの導入。
• AssetSelling、MedicalDecisionDiabetes、StochasticShortestPath_staticの各モジュールのコードの完全な書き直し、およびモデルと方策の作成から、方策のチューニングと結果の解釈までをユーザーが順を追って理解できるJupyter Notebookの各問題向けの作成。

私は以前、tinyurl.com/sdagithubnewを用いてDennis版のディレクトリ用のURLを作成する一方で、元のディレクトリをtinyurl.com/sdagithubとしてそのまま維持していた。第2版のリリースに伴い、元のURLもDennisの新しいライブラリを指すように変更した。

Warren B. Powell
プリンストン、ニュージャージー
2026年2月