stupid backoff

Googleが使う技術にstupid backoffがある。　計算がシンプルで大量データ向きであり、多少の誤りは許容することによって、大幅に使いかってを良くする。　考えて見れば、人間の頭もエラーを許容し、複雑なことを高速に処理しているので、自然にあったアプローチであろう。

Googleの論文

これを利用しGoogle日本語入力を作成、またMeCabの製作者でもある工藤氏のトークを先日伺うことができたが、とても興味深い内容であった。　現在、この分野は製作中のソフトウェアに応用できるのではないかと吟味している。