ひらめの日常

プログラミングと読書と

【まとめ】terminalでShift-JISの文字コードを扱う時の便利なコマンド

terminalでshift jis vimでshift jisファイルを開く diffを改行コードを無視して表示する ファイルの文字コードを変更する terminalでshift jis shift-jisファイルを扱う時、そのまま扱う・文字コードを変更するなどいろんな方法があると思います。 今回はsh…

Pythonのsetuptoolsで生じたAttributeErrorを解決(メモ)

setuptools周りを触り出したら、condaコマンドを打つたびに以下のようにエラーが出てきて実行ができなくなりました。 AttributeError: '_NamespacePath' object has no attribute 'sort' きちんとは理解していませんが、setuptoolsのgithubのissueをみると、…

『「学力」の経済学』まとめ

出典はこちらの中室牧子先生の『「学力」の経済学』です。教育を経済的にエビデンスベースで解説してくれていて非常に興味深い本ですので、ぜひ本を読んでみてください。 「学力」の経済学作者: 中室牧子出版社/メーカー: ディスカヴァー・トゥエンティワン…

Macのストレージ不足を解決

調べる Tex環境削除 Homebrewキャッシュ削除 Anaconda関連 AndroidStudio関連 まずはこちらのサイトを参考にしました。 qiita.com 調べる 以下のコマンドで5GB以上のファイル・ディレクトリを出力します。 $ sudo du -g -x -d 5 / | awk '$1 >= 5{print}' ..…

UDPについて簡単にまとめる(TCPとの違い等)

UDPの機能 TCPとの違い UDPが使われる理由 参考 UDPの機能 以下の二つの機能のみを持ちます。 IPの層にもう一つ別のアドレッシングの層を追加する 転送中に発生し得るデータの破損を検出し、破損したデータグラムを破棄する TCPとの違い 接続を確立しなくて…

dotfilesの管理/運用方法をまとめる

目標 dotfilesをレポジトリ管理 管理用ディレクトリ作成 シンボリックリンクを貼る githubにpush 目標 様々な設定ファイルをgithubで管理運用するのは、以下のような目標があります。 他のpcに乗り換えた時に環境構築を簡単に行いたい 設定ファイルのバック…

Rでガウス最尤推定(フィッシャーの線形判別分析)

全ての実装はこちらにあります。 7/5:リンク先更新しました。 github.com ガウス最尤推定 流れ 定義 最尤推定量 対数事後確率 フィッシャーの線形判別分析 Rで手書き文字を分類する 事後確率計算 結果 2クラス分類 多クラス分類 ガウス最尤推定 流れ ガウス…

RでKLダイバージェンスを描画する

今回はRでKLダイバージェンスを描画します。 KLダイバージェンスとは、カルバック・ライブラー情報量の略称。2つの確率分布の差異を測る距離的尺度として捉えることができます。 と言われても実感がわかないと思うので、実際に描画して感覚を掴んでいきたい…

Rで2次元正規分布を描画する

自分の実装はgithubにあります。 github.com D次元正規分布 定義 散布図 確率密度関数 参考 D次元正規分布 1次元正規分布はよく統計学とかでも出て来ますが、今回は2次元正規分布の確率密度関数を描画したいと思います。 定義 :次元 :D次元ベクトル :xの…

Shift-JISのエクセルファイルの文字化けを直す

何回も同じことを調べていて覚えないので備忘録的に残します。 ファイルの文字コードを調べる >> nkf -g hoge.csv Shift-JIS ファイルの文字コードをUTF-BOMに変更する UTFの文字コードにすると、エクセルは適切に読み込んでくれないので、UTF-BOMに変換する…

メモリの種類を10分でまとめる(ROM, RAM)

IT

◎ROM ○マスクROM ○PROM ROM ヒューズROM EPROM ◎RAM ○SRAM ○DRAM 高速モードDRAM SDRAM RDRAM ◎ROM Read Only Mmory その名の通り基本動作は読み出しのみ。 次のようにROMには様々な種類があります。 ○マスクROM メモリLSI(データを記憶に特化した回路のこ…

コマンドラインからpickleファイルの中身確認

Pythonファイルでは pythonではpickle.dump()で書き込み、pickle.load()で読み込みます。 # 書き込み with open("hoge.pkl", mode="wb") as f: pickle.dump({"hoge":"fuga"}, f) # 読み込み with open("hoge.pkl", mode="rb") as f: hoge = pickle.load(f) …

python+scikit-learnで多項式曲線近似をリッジ回帰で求める

はじめに 多項式曲線近似とは 係数の求め方 一般的な回帰モデル 正則化した回帰モデル 実装 元の関数 多項式の定義 学習 予測 はじめに 実装はこちらに全て載っています。 7/5:リンク先変更しました。 github.com 多項式曲線近似とは 多項式曲線近似とは、関…

ChainerCVでSSDを学習させる時の注意点

はじめに SSDとは ChainerCVとは 注意点 MultiProcessIteratorのデッドロック Validationの適切なログ出力 使用できる学習済みモデルはimagenet はじめに この記事は、自分がChainerCVを用いてSSDを学習させる時にハマった点や注意した点を紹介しています。 …

Python3.6で文字列を扱うならf-strings

f-stringsとは 使い方例 関数を評価 配列アクセス {}のネスト 注意点 f-stringsとは Python3.6から追加された文字列の操作のための新しい記法の一つです。例をあげてみるとこのような感じになります。 name = 'Bob' age = 20 f"my name is {name}. I am {age…

畳み込みニューラルネットワークを用いた文章分類をkerasで実装する

概要 機械学習を用いた文章分類(Text Classification)タスクは、主にRNN(Recurrent Neural Networks)で実装されることが多いです。それは、文章というものの特徴に由来しています。従来のCNNのように入力が独立ではなく、文脈や前後関係があって初めて文…

再帰的にmkdirする(Linux, Python)

Linuxコマンドでは mkdir -pコマンドで、再帰的に深い階層のディレクトリまで作成してくれます。 また、ディレクトリの中を再帰的に表示する場合は、ls -Rで表示することができます。 [/Users/hiramekun/sample] >> mkdir -p a/b/c [/Users/hiramekun/sample…

Macで7zipを解凍/圧縮する

こちらのデータセットを解凍するときに7zipを解凍する必要があったのでメモ。 PubMed 200k RCT dataset 解凍 $ brew install p7zip $ 7z e compressed_file.7z 圧縮 $ 7z e compressed_file.7z row_file.txt

HHKB Pro JPでKarabiner Elementsを設定する

事の発端 キーボードのリマッピングをしてくれるツールです。 自分のブログでもこの回で紹介しています。 hiramekun.hatenablog.com ところが、先日HHKB Pro JPキーボードを買って設定したところ、以下のキーが押しても反応しなくなりました。 英数キー かな…

Sierraで機械学習時に用いる物体検出用アノテーション作成

物体検出用データセット 概要 SSD, YOLO, Faster R-CNN等、物体検出のディープラーニングアルゴリズムは多々ありますが、それらの多くが学習時に「imagenetの重みで初期化→PASCAL VOCのデータセットで学習」という流れを踏んでいます。 PASCAL VOCは、The PA…

データ前処理で使うLinuxコマンドをまとめる

コマンドで分析する理由 データを処理するときに、やろうと思えばfinderから確認したり、エクセルで開いたりすることはできます。ですが、非常にファイルが大きくなり数GB程度にもなると、GUIで確認するのは非常に困難です。 実際に自分も1GB程度のデータが…

10分でtmuxコマンドをまとめる

tmuxとは 端末多重化ソフトウェアと呼ばれます。pc内に仮想端末を立ち上げることができます。 機械学習をサーバーで走らせる時などは必須で、「sshログイン→tmux立ち上げる→学習走らせる→sshログアウト」としても、サーバー上で立ち上げた仮想端末が動き続け…

【書評】日本人の9割が知らない遺伝の真実

日本人の9割が知らない遺伝の真実 はじめに この本は、(若干タイトルで釣ろうとしている感が否めませんが)遺伝の影響について事前知識のない人にもわかりやすく説明されています。 日本人の9割が知らない遺伝の真実 (SB新書)作者: 安藤寿康出版社/メーカー…

fish shellでsource activateが使えない時の対処法

fishでsource activateできない anacondaをインストールして、fish shellで仮想環境を立ち上げようと、source activate envをしました。 すると、次のようなエラーが、、、 >> source activate chainercv source: Error encountered while sourcing file 'ac…

CPUの性能評価 -クロック周波数-

IT

CPUの性能って何を見ればいいの? クロック周波数って何?と混乱しています。 今回は簡単にクロック周波数を中心としたCPUの性能指標を見ていきましょう。 クロック周波数 コンピュータには色々な装置が入って降り、それらが同じタイミングで動かなければな…

【書評】人工知能は人間を超えるか ディープラーニングの先にあるもの

人工知能は人間を超えるか ディープラーニングの先にあるもの 概要 人工知能の権威である松尾豊先生の名著です。人工知能を学びたい東大工学部の生徒に大人気の松尾研究室でも知られています。 その松尾先生が、人工知能そしてその技術であるディープラーニ…

【書評】人工知能はどのようにして「名人」を超えたのか?

人工知能はどのようにして「名人」を超えたのか? 概要 この本は、将棋の最高タイトルである名人位をもつ棋士に勝利した「Ponanza」を開発し、コンピュータ将棋開発の第一人者である山本一成さんが書かれた本。 次のような内容が、ディープラーニングや機械…

プログラマの開発のおすすめツールまとめ

はじめに 自分が開発に使っているツールで、これは外せない!というものを集めました。macなので、windows/linuxの方には合わないかもしれません。 また、少しでも開発速度をあげたい思いから、オススメのものや代替ツールなどありましたらコメントをお願い…