spark2.1とpython 3.6の質問

980 ワード

sparkはpython 3をサポートしていません.6
pythonをアンインストールせずにanacondaの環境で切り替えてください
1.新しい開発環境を作成する:conda create-n my_new_env_python35
2.この新しい開発環境をアクティブにする:activate my_new_env_python35
3.この新しい開発環境にpython 3.5をインストールする:conda install python=3.5
このときpython 3.5バージョンの解釈器はインストールが完了しても、ディレクトリは:/home/username/.conda/envs/my_new_env_python35
比較する必要はないと思いますが、時間の無駄があります.前に最初のインストール時にpysparkを入力して3つのキーワードが欠けているエラーが発生しました.ここで解決方法を書きます.http://blog.csdn.net/sisteryaya/article/details/68945705 .しかし、今回はsc.parallelize(range(100)、8)と入力したためだ.take(5)では、このエラーが発生しました.
 
  
TypeError: namedtuple() missing 3 required keyword-only arguments: 'verbose', 'rename', and 'module'

上記の方法で、環境変数を変えることができます.または、python 3を直接インストールします.5、しかしそのライブラリは比较的に多くて、windowsの上で一回インストールしたことがあって、今度は仮想マシンの上で使って、个人はAnacondaをインストールすればいいと思って、すべてのバージョンはここにあります:https://repo.continuum.io/archive/
python3.5のバージョンはこのAnaconda 3-4.2.0-Linux-x 86です.64.sh