terminalでshift jis vimでshift jisファイルを開く diffを改行コードを無視して表示する ファイルの文字コードを変更する terminalでshift jis shift-jisファイルを扱う時、そのまま扱う・文字コードを変更するなどいろんな方法があると思います。 今回はsh…

何回も同じことを調べていて覚えないので備忘録的に残します。 ファイルの文字コードを調べる >> nkf -g hoge.csv Shift-JIS ファイルの文字コードをUTF-BOMに変更する UTFの文字コードにすると、エクセルは適切に読み込んでくれないので、UTF-BOMに変換する…

Pythonファイルでは pythonではpickle.dump()で書き込み、pickle.load()で読み込みます。 # 書き込み with open("hoge.pkl", mode="wb") as f: pickle.dump({"hoge":"fuga"}, f) # 読み込み with open("hoge.pkl", mode="rb") as f: hoge = pickle.load(f) …

Linuxコマンドでは mkdir -pコマンドで、再帰的に深い階層のディレクトリまで作成してくれます。 また、ディレクトリの中を再帰的に表示する場合は、ls -Rで表示することができます。 [/Users/hiramekun/sample] >> mkdir -p a/b/c [/Users/hiramekun/sample…

こちらのデータセットを解凍するときに7zipを解凍する必要があったのでメモ。 PubMed 200k RCT dataset 解凍 $ brew install p7zip $ 7z e compressed_file.7z 圧縮 $ 7z e compressed_file.7z row_file.txt

コマンドで分析する理由 データを処理するときに、やろうと思えばfinderから確認したり、エクセルで開いたりすることはできます。ですが、非常にファイルが大きくなり数GB程度にもなると、GUIで確認するのは非常に困難です。 実際に自分も1GB程度のデータが…

tmuxとは 端末多重化ソフトウェアと呼ばれます。pc内に仮想端末を立ち上げることができます。 機械学習をサーバーで走らせる時などは必須で、「sshログイン→tmux立ち上げる→学習走らせる→sshログアウト」としても、サーバー上で立ち上げた仮想端末が動き続け…