Pandas で and が使えず & が要る理由

and は「全体で 1 つ」を求める#

Python の and は、左右のオブジェクトを真偽値 1 つに変換してから判定します。ところが df["team_title"] == "AC Milan" が返すのは 行数と同じ長さの bool の Series で、真偽値 1 つではありません。

1
print(df["team_title"] == "AC Milan")

1
0      False
2
1      False
3
2      False
4
       ...
5
585    False
6
Name: team_title, Length: 586, dtype: bool

586 行ぶんの True/False が並んだこれを、and は「Yes か No のどちらか 1 つ」に決めようとします。1 つでも True があれば True なのか、全部 True でなければ False なのか。決めようがないので Pandas は判断を拒否し、ambiguous（あいまい）だと言ってきます。エラーメッセージが a.any() や a.all() を勧めてくるのは、「全体で 1 つにまとめるならどちらの意味か明示しろ」ということです。

& は「行ごとに 1 つ」#

一方、こちらが本当にやりたいのは 1 行ずつ「両方の条件を満たすか」を判定する ことで、全体を 1 つにまとめることではありません。それをやるのが & です。

1
df[(df["team_title"] == "AC Milan") & (df["goals"] >= 5)]

1
       player_name team_title position  goals
2
       Rafael Leão   AC Milan      F S      9
3
 Christian Pulisic   AC Milan      F S      8
4
Christopher Nkunku   AC Milan      F S      7
5
     Adrien Rabiot   AC Milan      M S      6
6
Strahinja Pavlovic   AC Milan      D S      5

& は 2 つの bool Series を要素ごとに比較し、結果もまた bool の Series で返します。df[...] はそれを行の選択に使います。or に対応するのが |、not に対応するのが ~ で、対応関係は同じです。

なお各条件を丸カッコで囲んでいるのは飾りではありません。& は == や >= より結合が強いため、囲まないと意図と違う順序で評価されます。

まとめ#

& は and とはそもそも別の演算で、代替品ではありません。and が「まとめて 1 つの答え」を出すのに対し、& は「行ごとに答え」を出します。Pandas の絞り込みで欲しいのは常に後者です。

データの取得元については Pythonでサッカー分析を学ぼうとしたら、無料のxGが消えていた に書きました。