ビッグデータしないDrill、ローカルで快適に使うために

2016-03-06

# ビッグデータしないDrill、ローカルで快適に使うために
----------------------
[Tokyo Apache Drill Meetup](http://drill.connpass.com/event/27414/)  
2016-03-22

===
# About Me
---------
![κeenのアイコン](/images/icon.png)

+ κeen
 + [@blackenedgold](https://twitter.com/blackenedgold)
 + Github: [KeenS](https://github.com/KeenS)
 + Lisp, ML, Rust, Shell Scriptあたりを書きます
 + サイバーエージェントのエンジニア
   + アドテクスタジオ所属
   + データエンジニアじゃなくてもデータを触ることはある

===
# なぜローカルか
---------------

* ビッグデータ重い
* 使いたいデータが絞れる時には大袈裟
  + 「売り上げ上位1000のユーザの行動」とか
* 同じようなクエリの重複
  + 新しいテーブル作れないDBとかview作れないDBとか
* 結果をRに渡したりとかが面倒
  + CSVダウンロードがGUI
===
# キャッシュ的な
----------------

```
+---------------------------------+
| BIG DATA (BigQuery, Spark, etc) |
+---------------------------------+
 ^ | ^ |
 | | | |
 | v | v
 +-------------------+
 | ローカルキャッシュ | <- ???
 +-------------------+
 ^ | ^ | ^ | ^ |
 | v | v | v | |
 +----------+ |
 | 自分 | |
 +----------+ v
 +---+ +-----+
 | R | <--| CSV |
 +---+ +-----+
```

===
# やりたいこと
--------------

* パパッっと処理を始められる
  + だいたい「CSVを簡単に読める」に同じ
  + たまにJSONとか
* 簡単に処理出来る
  + 自分が馴れているかどうか
* CSVを吐ける
  + 最後はRに渡したい

===
# 候補
-------

* ローカルMySQL
  + 事前のScheme定義が必要
* R
  + 扱い馴れない
* SQLite
  + 事前のScheme定義が必要
* (Python)
  + あまり向いてない？

===

<pre style='font-size: 200%'>
＿人人人人人人人＿
＞　突然のDrill　＜
￣Y^Y^Y^Y^Y^Y￣
</pre>
===
<h1 id="なぜ-drill">なぜ Drill</h1>
<hr>
<ul>
<li>(デーモン立ち上げておけば)サクっと始められる</li>
<li>CSVをそのまま読める
<ul>
<li>Schema定義がいらない!</li>
</ul>
</li>
<li>ついでにJSONも読める</li>
<li>馴れたSQLで操作出来る</li>
<li>CSV吐ける</li>
</ul>
===
<h1 id="drillを便利にするために">Drillを便利にするために</h1>
<hr>
<ul>
<li>いくつかのシェル関数</li>
<li>Drillのデーモン/クライアントの起動を便利に</li>
</ul>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-sh" data-lang="sh">drill-start() {
 ~/compile/zookeeper-3.4.8/bin/zkServer.sh start
 drillbit.sh start
}

drill-cli() {
 sqlline -u jdbc:drill:zk=localhost:2181
}

drill-web() {
 firefox http://localhost:8047
}
</code></pre></div>===
<h1 id="もっと便利に">もっと便利に</h1>
<hr>
<ul>
<li>REPLでの操作が面倒
<ul>
<li>ヒストリ遡るのとか</li>
<li>ミスった時の訂正が地味に不便</li>
</ul>
</li>
<li>シンタックスハイライト欲しい</li>
<li>馴れたツールで編集したい</li>
</ul>
===
<h1 id="sql-drillel">sql-drill.el</h1>
<hr>
<ul>
<li><a href="https://github.com/KeenS/sql-drill.el">KeenS/sql-drill.el</a></li>
<li>Emacsのsql-modeのDrillサポート
<ul>
<li>emacsのsql-modeは拡張可能</li>
</ul>
</li>
<li>シンタックスハイライト</li>
<li>REPL</li>
</ul>
===
<h1 id="demo">DEMO</h1>
<hr>

===
<h1 id="まとめ">まとめ</h1>
<hr>
<ul>
<li>ローカルでデータ分析したい時があるよ</li>
<li>その時にDrillは便利だよ</li>
<li>Emacs向けのDrillプラグイン作ったよ</li>
</ul>