13個のPands実用技術は、開発効率の向上に役立ちます。

風コンハンター
整理：データ配管
仕事でよく使われているパンダスの使い方をまとめ、より効率的にデータ分析を行うことができます。
1.変数の欠落率を計算する

df=pd.read_csv('titanic_train.csv')
def missing_cal(df):
  """
  df :   
  
  return：        
  """
  missing_series = df.isnull().sum()/df.shape[0]
  missing_df = pd.DataFrame(missing_series).reset_index()
  missing_df = missing_df.rename(columns={'index':'col',
                      0:'missing_pct'})
  missing_df = missing_df.sort_values('missing_pct',ascending=False).reset_index(drop=True)
  return missing_df
missing_cal(df)

サンプルの欠落率分布を計算する必要があるなら、パラメータaxis=1を加えるだけでいいです。
2.グループ内の最大値がある行を取得する方法
グループには重複値と重複値があります。重複値がない場合。

df = pd.DataFrame({'Sp':['a','b','c','d','e','f'], 'Mt':['s1', 's1', 's2','s2','s2','s3'], 'Value':[1,2,3,4,5,6], 'Count':[3,2,5,10,10,6]})
df

df.iloc[df.groupby(['Mt']).apply(lambda x: x['Count'].idxmax())]

まずMt列でグループ化し、その後のデータボックスをIDxmax関数でCountの最大値がある列を取り出し、iloc位置インデックスで行を取り出します。重複値がある場合

df["rank"] = df.groupby("ID")["score"].rank(method="min", ascending=False).astype(np.int64)
df[df["rank"] == 1][["ID", "class"]]

IDをグループ化してからスコアに対してrank関数を適用します。同じ点数の場合は同じ順位を付けて、順位1のデータを取り出します。
3.複数列を一行にまとめる

df = pd.DataFrame({'id_part':['a','b','c','d'], 'pred':[0.1,0.2,0.3,0.4], 'pred_class':['women','man','cat','dog'], 'v_id':['d1','d2','d3','d1']})

df.groupby(['v_id']).agg({'pred_class': [', '.join],'pred': lambda x: list(x),
'id_part': 'first'}).reset_index()

4.特定の文字列を含む行を削除します。

df = pd.DataFrame({'a':[1,2,3,4], 'b':['s1', 'exp_s2', 's3','exps4'], 'c':[5,6,7,8], 'd':[3,2,5,10]})
df[df['b'].str.contains('exp')]

5.グループ内の並べ替え

df = pd.DataFrame([['A',1],['A',3],['A',2],['B',5],['B',9]], columns = ['name','score'])

二つの効率的にグループ内で並べ替えする方法を紹介します。

df.sort_values(['name','score'], ascending = [True,False])
df.groupby('name').apply(lambda x: x.sort_values('score', ascending=False)).reset_index(drop=True)

6.特定の種類の列を選択する

drinks = pd.read_csv('data/drinks.csv')
#          
drinks.select_dtypes(include=['number']).head()
#          
drinks.select_dtypes(include=['object']).head()
drinks.select_dtypes(include=['number','object','category','datetime']).head()
#   exclude             
drinks.select_dtypes(exclude=['number']).head()

7.文字列を数値に変換する

df = pd.DataFrame({' 1':['1.1','2.2','3.3'],
         ' 2':['4.4','5.5','6.6'],
         ' 3':['7.7','8.8','-']})
df
df.astype({' 1':'float',' 2':'float'}).dtypes

このように3列目を変換するとエラーが発生します。この列には0を表す下線が含まれていますので、パンダスはこの下線を自動的に判断することができません。この問題を解決するために、トウが使えます。numeric()関数は第三列を処理して、pandsに任意の無効な入力をNaNに変えさせます。

df = df.apply(pd.to_numeric, errors='coerce').fillna(0)

8.DataFrameのメモリ占有を最適化する
方法1：必要な列を確実に読み込むだけで、usecolsパラメータを使用します。

cols = ['beer_servings','continent']
small_drinks = pd.read_csv('data/drinks.csv', usecols=cols)

方法2：カテゴリ型データを含むobject列をCategoryデータタイプに変換し、dtypeパラメータを指定することで実現します。

dtypes ={'continent':'category'}
smaller_drinks = pd.read_csv('data/drinks.csv',usecols=cols, dtype=dtypes)

9.最大のカテゴリーによって、DataFrameをフィルタする

movies = pd.read_csv('data/imdb_1000.csv')
counts = movies.genre.value_counts()
movies[movies.genre.isin(counts.nlargest(3).index)].head()

10.文字列を複数の列に分割する

df = pd.DataFrame({'  ':['   ','   ','   '],
          '   ':['  -   ','  -   ','  -   ']})
df
df.  .str.split(' ', expand=True)

11.SeriesのリストをDataFrameに変換する

df = pd.DataFrame({' 1':['a','b','c'],' 2':[[10,20], [20,30], [30,40]]})
df

df_new = df. 2.apply(pd.Series)
pd.concat([df,df_new], axis='columns')

12.複数の関数で集約する

orders = pd.read_csv('data/chipotle.tsv', sep='\t')
orders.groupby('order_id').item_price.agg(['sum','count']).head()

13.グループ集約

import pandas as pd
df = pd.DataFrame({'key1':['a', 'a', 'b', 'b', 'a'],
  'key2':['one', 'two', 'one', 'two', 'one'],
  'data1':np.random.randn(5),
   'data2':np.random.randn(5)})
df

for name, group in df.groupby('key1'):
  print(name)
  print(group)

dict(list(df.groupby('key1')))

辞書またはSeriesでグループ化します。

people = pd.DataFrame(np.random.randn(5, 5),
   columns=['a', 'b', 'c', 'd', 'e'],
   index=['Joe', 'Steve', 'Wes', 'Jim', 'Travis'])
mapping = {'a':'red', 'b':'red', 'c':'blue',
   'd':'blue', 'e':'red', 'f':'orange'}
by_column = people.groupby(mapping, axis=1)
by_column.sum()

以上は13個のPands実用技術です。開発効率を高めるための詳しい内容です。Pands実用技術に関する資料は他の関連記事に注目してください。