データのクレンジング作業のまとめ

データのクレンジングで必要になる主な作業をまとめてみました。 ■名前クレンジング 旧字→新字変換 姓名分割 法人格の統一 法人名部署等の分離 ■住所クレンジング 住所妥当性判断 旧住所→新住所変換 住所補完(住所辞書から…

EXCELに限界を感じたら使いたいフリーのデータ加工・統合ツール2選

複数の異なるデータをマージすることは、想像以上に手間がかかる仕事です。特に100万行を超えるような大量データの場合は、EXCELでは処理することが難しくなります。そのような場合にぜひ活用したいのがデータ統合の専用ソフトで…

【talend】Data Qualityでグラフや行(ロウ)・値の表示ができない場合の解決方法

Talend Open Studio for Data Qualityは、データの品質検査(重複行のカウント、値のパターン確認など)や訂正作業のために非常に有効なツールです。 非常に強力で便利なツールですが、きちんと動か…

データの統合やクレンジングに無料で使える「talend」

データの統合やクレンジングに無料で使える「talend」のオープンソース製品をご紹介します。4G程度のメモリがあるPCであれば、会社や自宅のデスクトップでデータ加工ができます。 製品名 分類 説明 Talend Open…

【QlikView入門】売上グラフを日別から月別に変更する

日単位の売上データから月単位の売上グラフを作成したいことがあります。 今回は日単位の売上データを月単位にまとめてグラフ表示する方法を習得します。 今回の目標 QlikViewに付属しているサンプルデータを使用して、日単位…

【QlikView入門】日単位のデータから月単位の売上グラフを作成する(ロードスクリプトを利用する方法)

日単位の売上データから月単位の売上グラフを作成したいことがあります。今回は、データロード時に「年月」の項目を自動生成して追加する方法で実現してみましょう。 今回の目標 QlikViewに付属しているサンプルデータを使用し…

【QlikView入門】前年比・前月比を分析する。「タイムチャートウィザード」の使い方

QlikViewの「タイムチャートウィザード」は、少々とっつきにくいですが、使いこなせるようになると前年比、前期比などの比較・分析が簡単に素早くできるようになります。仕事の生産性がUPすること間違いナシです! 今回の目標…