スクレイピング用サーバーとpostgres DB設定

投稿者: Auther | 10 ヶ月 前 |

やり方を一通り、まとめておく。

サーバーを設定後、postgres インストール

$ sudo apt update 
$ sudo apt install -y libpq-dev postgresql postgresql-contrib 
$ sudo apt install postgresql

ステータスの確認

$sudo systemctl status postgresql

postgres ユーザーとDB設定

$sudo -u postgres psql  
postgres=# CREATE DATABASE *********; 
postgres=# CREATE USER ******** WITH PASSWORD '*********'; 
postgres=# GRANT ALL PRIVILEGES ON DATABASE (DBNAME) TO (USERNAME);
postgres=# \q 

ローカルからサーバ接続の設定

外部からの接続許可

sudo vim /var/lib/postgresql/10/data/postgresql.conf 

listen の部分を コメントを外し、'*'


pg_hba.conf
host all all ******** md5  ******はローカルのIPアドレスを入力

/etc/init.d/postgresql restart

ファイアーウオールのport 5432を開ける

$ sudo ufw allow 5432
$ sudo ufw reload
$ sudo ufw status

この設定を書いていないサイトばかりで気が付くのに時間がかかった。

よく使うコマンド
$ systemctl stop postgresql-10
$ systemctl start postgresql 10
$ ps aux | grep postgres | grep -v grep ステータス確認

cron の設定

crontab -l 設定確認 
crontab -e 設定変更 
分 時間 * * 1-5(平日) python3 /home/[user]/****.py
* * * * * [command]
リスタート
sudo service cron start

findで探す

$ sudo find / -name pg_hba.conf
$ sudo find / -name postgresql.conf
現在未評価