データのクレンジング作業のまとめ
データのクレンジングで必要になる主な作業をまとめてみました。 ■名前クレンジング 旧字→新字変換 姓名分割 法人格の統一 法人名部署等の分離 ■住所クレンジング 住所妥当性判断 旧住所→新住所変換 住所補完（住所辞書から…
データ活用
EXCELに限界を感じたら使いたいフリーのデータ加工・統合ツール２選
複数の異なるデータをマージすることは、想像以上に手間がかかる仕事です。特に１００万行を超えるような大量データの場合は、EXCELでは処理することが難しくなります。そのような場合にぜひ活用したいのがデータ統合の専用ソフトで…
【talend】Data Qualityでグラフや行(ロウ)・値の表示ができない場合の解決方法
Talend Open Studio for Data Qualityは、データの品質検査（重複行のカウント、値のパターン確認など）や訂正作業のために非常に有効なツールです。 非常に強力で便利なツールですが、きちんと動か…
データの統合やクレンジングに無料で使える「talend」
データの統合やクレンジングに無料で使える「talend」のオープンソース製品をご紹介します。4G程度のメモリがあるＰＣであれば、会社や自宅のデスクトップでデータ加工ができます。 製品名 分類 説明 Talend Open…
【QlikView入門】売上グラフを日別から月別に変更する
日単位の売上データから月単位の売上グラフを作成したいことがあります。 今回は日単位の売上データを月単位にまとめてグラフ表示する方法を習得します。 今回の目標 QlikViewに付属しているサンプルデータを使用して、日単位…
【QlikView入門】日単位のデータから月単位の売上グラフを作成する（ロードスクリプトを利用する方法）
日単位の売上データから月単位の売上グラフを作成したいことがあります。今回は、データロード時に「年月」の項目を自動生成して追加する方法で実現してみましょう。 今回の目標 QlikViewに付属しているサンプルデータを使用し…
【Pentaho解説】クレジットカード番号生成
アイコン 概要 クレジットカード番号を自動生成するステップです。自動生成したクレジットカード番号は、ECサイト構築時のテスト等の用途に有効です。 設定 サンプル サンプルはありません。
【Pentaho解説】値マッピング
Error:本記事は、Pentaho Data Integration(PDI)の解説記事です。Pentaho Data Integrationはあなたのパソコンで簡単に1000万件規模のビッグデータの加工ができる高性能…
【QlikView入門】前年比・前月比を分析する。「タイムチャートウィザード」の使い方
QlikViewの「タイムチャートウィザード」は、少々とっつきにくいですが、使いこなせるようになると前年比、前期比などの比較・分析が簡単に素早くできるようになります。仕事の生産性がＵＰすること間違いナシです！ 今回の目標…
QlikViewでよく使う「日付と時間」関数１０選
「日付と時間」に関する関数はQlikViewで最もよく使う関数群のひとつです。 その中でも特によく使うものを厳選してみました。 MakeDate – 日付データを作成する 書式： MakeDate(YYYY …