CENTOS8にJuman++とElasticsearch（＆Kibana）とPython(Jupyter notebook)を入れる
タイトルにあるようなことをする理由
Bertをぐりぐり使ってあれこれするのに必要な環境を以前作ったんですが、
（↓これ）
https://qiita.com/shiraitsukasa/items/53dbf792696c69a77d96
すでにある環境を一部間借りする感じでした。
そうではなくて、もっとゼロから環境構築する方法を記録しておこうと思ってみたしだいです。
Bertの設定とかPythonの書いたのとかは先述のところを御覧ください。
ここから書き記すのは、基本環境設定のみであって、コーディングとかはないです。
環境
CentOS 8.1.1911
CUIがコワいので、ServerGUIでセットアップしました。
VMware(R) Workstation 15 Player(15.5.5 build-16285975)の仮想マシン
３万円台のM●USEコンピュータのB5ノート上で作成。
もう結構前のPCだからファンがひゃーひゃー言ってるのをむりやり動かしました。
ごめんねB5ノート。
前設定
何かと色々入れておく必要があるようです。
ちなみに以下はsuやsudoは省略してあります。
全然関係ないけどsuとかsudoってなんて読むんだろ。chmodとかも。
dnf install -y libkkc libkkc-data ibus-kkc
dnf install -y zlib-devel bzip2-devel readline-devel sqlite-devel openssl-devel git
Juman++をインストール
gccとboostが必須らしいです。CentOSではデフォでバージョンを満たしていたので、そのままdnfにおまかせしました。
dnf install -y gcc gcc-c++ boost boost-devel make
gperftoolsとlibunwindを入れると高速化するらしいです。これも入れておこう。
dnf install -y https://extras.getpagespeed.com/release-el8-latest.rpm
dnf install -y gperftools libunwind
そういやCMakeも必要なんでした。
wget https://cmake.org/files/v3.15/cmake-3.15.2.tar.gz
tar zxvf cmake-3.15.2.tar.gz
cd cmake-3.15.2
./bootstrap --prefix=/opt/cmake --no-system-libs
make -j4
sudo make install
CMakeはパスを通しておく必要があります
vi /etc/profile
profileの末尾に以下を追記して保存します。
PATH=$PATH:/opt/cmake/bin
直ちに反映させるには以下のコマンドを実行します。
いやちょっとなあという人は再起動でも構いません。
source /etc/profile
やれやれです。やっとこれでJuman++をインストールできます。
#ソースコード取得
wget https://github.com/ku-nlp/jumanpp/releases/download/v2.0.0-rc3/jumanpp-2.0.0-rc3.tar.xz
# 解凍してディレクトリに入る
tar xvf jumanpp-2.0.0-rc3.tar.xz
cd jumanpp-2.0.0-rc3
mkdir build
cd build
# ビルド
cmake .. -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local
make
sudo make install
分かち書きができることを確認してください。
echo "こんなふうに分かち書きを試してみる" | jumanpp
Elasticsearchをインストールする
その前にJavaをインストールしないとです。
dnf -y install java-1.8.0-openjdk-devel
ちゃんとインストールができたかを確認してください。
java -version
事前にrpmレポジトリの設定をします。
#KEYのインポート
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
#レポジトリの編集
vi /etc/yum.repos.d/elasticsearch.repo
/etc/yum.repos.d/elasticsearch.repoに、以下のとおり書いて保存します。
[elasticsearch-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
そしたらインストールです。一緒にKibanaも入れてしまいます。
サービス化もしてしまいましょう。
Elasticsearchがちゃんと起動していないと、Kibanaはちゃんと動きません。
ああ、それから、Kibanaの初期起動は結構重いです。気長に待ちましょう。
#インストール
dnf -y install elasticsearch kibana
#Elasticsearchのサービス登録と開始
systemctl enable elasticsearch
systemctl start elasticsearch
#systemctl status elasticsearchでサービスが起動しているか確認すると良い
#Kibanaのサービス登録と開始
systemctl enable kibana
systemctl start kibana
Kibanaが何故かうまく行かなかったりする場合があるので、その場合はシステム再起動して、サービスのステータスを確認したほうがいいみたいです。
ブラウザから
http://localhost:5601/
にアクセスして、Kibanaga起動することを確認してください。
Pythonをインストールする
Bertとか動かすのがわかっているので、Anacondaで設定することにしました。
機械学習や深層学習じゃない方からPythonに入ってきた人なんかは、AnacondaよりもPythonを丁寧に設定することを好む傾向にある気がします。
個人的にはテンソルをぶん回せればいいので、むしろAnacondaを好んで使っています。
ウィザード方式でインストールします。
その他設定もまとめてやってしまいます。
#ダウンロード
curl -OR https://repo.anaconda.com/archive/Anaconda3-2020.02-Linux-x86_64.sh
#実行権限を付与
chmod +x Anaconda3-2020.02-Linux-x86_64.sh
#一時的にアクセス権を与えて…
chmod o+w /opt
#シェルスクリプトを実行
./Anaconda3-2020.02-Linux-x86_64.sh
######################################################
#以下、順番に聞いてきます
#ライセンス確認
#Do you accept the license terms? [yes|no]
#[no] >>> yes
#インストールパスの確認
#[/home/elasticsearch/anaconda3] >>> /opt/anaconda3
#とりあえずno
#Do you wish the installer to initialize Anaconda3
#by running conda init? [yes|no]
#[no] >>> no
#####################################################
#アクセス権戻す
sudo chmod o-w /opt
インストールはここまでですが、パスを通しておきます。
CMakeと同じように…
vi /etc/profile
で、末尾に以下のとおり記載して保存してください。
#path for python
PATH=/opt/anaconda3/bin:$PATH
最後に「source /etc/profile」で環境変数を即時反映させてもいいけど、一応ここで再起動したほうがいいかもしれません。
jupyter notebook
で、jupyter notebookが起動することを確認してください。
おわりに
というわけでなんとか設定できました。
でも、３万円B5ノート内じゃ当然ちゃんとしたGPU環境はないわけで、やってはみたものの今後どうしようかと悩む日々であります。
Author And Source
この問題について(CENTOS8にJuman++とElasticsearch（＆Kibana）とPython(Jupyter notebook)を入れる), 我々は、より多くの情報をここで見つけました https://qiita.com/shiraitsukasa/items/0486f96a741ee03bffef著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .