自分で読んでいない本を紹介するのは、無責任かつ怠惰な行いなのだが、書評やインタビューを各所で見かけて興味深く思ったので、キャシー・オニールによる話題の書『数学破壊兵器：ビッグ・データはどのようにして不平等を拡大しデモクラシーを脅かすか』（Cathy O'Neil, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, Crown, 2016）について、SF作家コリー・ドクトロウの書評より抜粋して紹介しておく。そのうち邦訳も出るのではないだろうか？
ここで「数学破壊兵器 weapons of math destruction」（＝大量破壊兵器 weapons of mass destruction との語呂合わせ）とは、別の書評者の要約によると、不透明性（opacity）、規模（scale）、損害（damage）という三つの要素によって特徴づけられるビッグ・データないし機械学習モデルのことを指し、それは多くの場合、既存の不公正・格差を追認・拡大するかたちで機能する一方で、その不透明性ゆえに、どうしてそのように営まれているかを理解することはおろか問題として気がつくことも難しい、という厄介な性格を持つのだという。
オニールは、ハーバード大学の数学博士号を持ち、アナリストとしてヘッジ・ファンドに勤めていた経験も持つ、データ・サイエンスの専門家。彼女が本書の執筆にいたるまでの個人的な経緯は、こちらのインタビューに詳しい。
以下、ドクトロウによる書評からの抜き書き：
本当の問題はアルゴリズムではなく、モデルである。モデルはデータをアルゴリズムに与えて予測を作れと要求するときあなたが手にするものだ。オニールが述べるように、「モデルは、数学的処理に埋め込まれた意見なのである。」
オニールはこれらの有害なモデルを「数学破壊兵器」と呼ぶが、欠陥のあるモデルすべてがこれに該当するわけではない。「数学破壊兵器」といえるためには、そのモデルが、その対象とされる人々に対して透明性を欠く（opaque）ものであり、彼ら自身の利害に対して有害であり、幾何級数的に莫大な規模で機能するようになるものでなければならない。
「数学破壊兵器」の顕著な特徴の一つは、フィードバックとチューニングの欠如である。
どうしてこんなところへ来てしまったのか、と問うことは有益だ。「数学破壊兵器」の多くの形態は、制度化されたバイアスへの回答として展開された。刑事上の量刑、学校での評定、大学入試、雇用、貸付といった場面におけるバイアスへの回答として、である。モデルは、人種・ジェンダー、あるいは特権やコネに対して盲目にふるまうことが期待されていたのである。
だが、あまりにも多くの場合、モデルはバイアスがかったデータによって錬成される。未来の優良なアイヴィー・リーグ生徒やローン返済者の姿は、バイアスを帯びてきたことが一般に認められている諸機関の過去から得たデータを使って描かれることになるのである。すべてのハーバード卒業生や忠実なローン返済者がアルゴリズムに放り込まれると、アルゴリズムは、明日のハーバード卒業生とプライム・ローンの優良顧客層は、昨日のそれらとちょうど同じように見えるであろう、と従順に予測する。だが、いまやバイアスが客観性のうわべという威信を得るのだ。
オニールの仕事が重要なのは、彼女がデータ・サイエンスを信じているからだ。アルゴリズムは、困難に直面している人々を突き止めることに利用することができるし利用されるはずのものなのだ。
【恥ずかしいお詫び】（2016/09/14）
最初の投稿段階で“weapons of math destruction”を「大量破壊兵器」と誤って訳しておりました。〈ビッグ・データによる大規模な破壊〉というイメージと“WMD”という略記とに引きずられたとはいえ、自分で仰天したほどあり得ない初歩的なミスで、お恥ずかしい限りです。お読みになられた方に対し、不正確な内容をお伝えしたことをお詫びいたします。「数学的大量破壊兵器」といった意訳も考えましたが、ここでは逐語訳的な訂正に留めました。