なんちゃってエンジニアぶろぐ

プログラムがガリガリ書けるわけじゃない。でもなんか新しいことに手を出したいそんな人のブログ。

hello world.

はじめまして。

なんちゃってエンジニアのいぬゐです。

最近仕事でモノを作るよりもドキュメントを眺める時間が長くなってしまったので、 何かしらモノ作ったり、新しい技術に触れたりするブログを書こうと思い立ちました。

ちなみに、プログラムはほとんど書けません。基本なんちゃってなので悪しからず。 主に自分が仕事で関わってる技術の覚書のまとめや、 Web上に落ちてる情報を元に、エンジニア様がやったことをなぞってまとめます。

あ、なんか著作権的なのに引っかかってそうなら言ってください。 即座に記事削除しますので、何卒ご容赦ください。

さて、

第1回のテーマとして、データ連携基盤のお話を書きたいと思います。 最近○○ツールとか、DMP(よくわかっていません)とか、3rdパーティのデータ(定義って一体?)とか、 色んなデータが色んな場所に色んな形式であって面倒くさいことこの上ない状況に直面しました。 ETL(データをほにゃほにゃするやつ)を導入しようとか色んな話が立ち上がったのですが、如何せんお金が掛けられない。 で、僕のところに何とかできないかという話がきました。

てか、ぶっちゃけTreasureData使い始めたけど、活用できない?が正しいんですけど。

そこで!embulk

ご提案はちょこちょこ頂いていたんですが、OSSだし、まずはどんなものか自分で入れてみようとはじめてみました。

と、今日のところはここまでにして、まずはembulkを導入について書いていこうと思います。

未熟者ですが、どうぞ長い目で見てやってください。