python

データ分析

.CR3のExifデータの中身を推測する

CANONのRAWファイル「.CR3」のExifデータのデータ定義のまとめ。実際の出力データと想定されるデータ定義をまとめています。
データ分析

カメラのExifデータから撮影傾向を分析する~データ分析編

Exif情報をPythonを利用して撮影傾向を分析。年間撮影枚数、F値/SS/ISO、焦点距離、カメラ温度、その他設定など様々な切り口で可視化します。撮影データのExif情報は個々の画像で確認するのは簡単ですが、複数の画像データから傾向を見るにはPythonなどツールの利用が必要です。
データ分析

pythonでフォルダ内の写真データのExifを取得する

Exif情報をPythonを利用して撮影傾向を分析。今回はフォルダに格納されている全画像のExifデータを収集します。撮影データのExif情報は個々の画像で確認するのは簡単ですが、複数の画像データから傾向を見るにはPythonなどツールの利用が必要です。
データ分析

Pandasでindexを振りなおす

Pandasでindexを振りなおす方法。concateなどで複数のデータフレームを結合したり、dropduplicateなどで重複削除したあとなど、indexが重複/歯抜けになっているときなどに、新たにindexを振りなおす方法。#元のi...
データ分析

Pythonライブラリのバージョン確認方法

Pythonのライブラリ/パッケージのバージョンの確認方法。バージョンによっては書き方が変わるためエラーが発生する場合があります。WEB検索した際に動作しているライブラリのバージョンが書かれていることがあるのでその確認方法となります。
データ分析

PandasのDFを省略せずすべて表示する

Pandasのデータフレームを省略せず表示する方法をご紹介。設定をデフォルトに戻す方法も合わせてご紹介。
データ分析

2列の値を比較して大きい方の数字を抽出する

2つの列の値を比較して大きい方/小さい方の数字を新しい列に抽出する方法。数字型だけでなく日付型などにも対応しているので、2つの日付列のうち新しい方(古い方)などのデータ抽出も可能となります。
データ分析

Pandasで文字列を含む行を抽出する

Pandasにて特定の文字列を含む行を抽出する方法について
データ分析

フォルダ内のZIPファイルを全て解凍する

大量のログデータがZIPファイルで格納されている場合など、手作業で解凍するのは面倒なのでPythonで自動化するためのコードです
データ分析

PandasでNullの行を削除/抽出する

PythonのPandasでNullが含まれる行だけを抽出/削除する方法について
データ分析

Pandasでgroupbyでグループごとに計算する

Pandasのgroupbyでグループごとに計算する方法をご紹介。データ分析の際によく使う関数になります。
データ分析

行の多いCSVファイルをPythonで分割する

Pythonを使ってCSVファイルを分割する方法についてご紹介。縦に長いCSVファイルを一定の行数で分割してCSVファイルを出力することを想定。
データ分析

Python/Pandasでのデータ型確認と変換

python、pandas でのデータ型の確認方法と変換について
データ分析

機械学習を解釈する~PD(Partial Dependence)

機械学習は便利なツールである一方、結果の解釈や説明が難しいのがデメリットと一般的に言われています。そこで今回は機械学習を解釈する手法の1つであるPD(Partial Dependence)についてご紹介します。
データ分析

機械学習を解釈する~PFI(Permutation Feature Importance)

機械学習を解釈する手法の1つであるPFI(Permutation Feature Importance)についてご紹介。eli5でPFIを算出する方法やPFIの動作原理についてわかりやすく説明しています。
データ分析

Seleniumで操作する~ドロップダウン/ラジオボタン/チェックボックス

Seleniumを使ったサイトのドロップダウンメニュー、ラジオボタン、チェックボックスの操作方法についてご紹介。
データ分析

Seleniumでサイトを検索する

Seleniumでサイト上の検索機能を使ってアイテムを表示する方法についてご紹介。Seleniumのバージョンによって記述方法がかわりますのでご注意ください。
データ分析

Seleniumでログインが必要なサイトをクローリングする

Seleniumでログインが必要なサイトのクローリング方法についてご紹介します。seleniumのバージョンによってエレメントの指定方法が異なるため注意が必要です。
データ分析

Seleniumの初期設定と利用方法

WEBサイトのクローリングに利用するseleniumの初期設定と利用方法についてご紹介。
データ分析

プロキシ環境下でpip installを利用する方法

プロキシ環境下でのライブラリインストール方法について「pip installでプロキシを指定してインストールする方法」「pypiからファイルをDLしてインストールする方法」の2通りをご紹介します。企業PCではプロキシを設定されており、pip installだけではインストールできない場合があります。