1. 2017 年度总结

    转眼间 2017 年就这么过去了,回想一下的话时间过得还真快。去年的这个时候,我怀着五味杂陈的心情写了篇年度总结。

    那时候的我对于机器学习和深度学习这两者还没有完全领会神髓,对于数学的学习又处于零零碎碎不成体系的阶段,而做了好久的 Cake 项目又眼看着完全没法用,所以不能说心情很好。

    不过今年事情稍稍发生了一点变化,我各个方面都有了点“感觉”,无论是机器学习和深度学习,还是数学,亦或者是各种轮子的编程,我都有不小的收获。因此今年的这个总结,我总体来说还是挺开心的。

    继续阅读 →

    2017/12/31 日记

  2. Variational Inference Techniques in Deep Learning

    Overview

    Suppose there are two random variables ${ {\boldsymbol{\mathrm{ {x} } } } }$ and ${ {\boldsymbol{\mathrm{ {z} } } } }$, where ${ {\boldsymbol{\mathrm{ {x} } } } }$ is observed and ${ {\boldsymbol{\mathrm{ {z} } } } }$ is not. We assume these two variables are modeled with a neural network, with parameter ${ {\boldsymbol{\mathrm{ {\theta} } } } }$. The prior of ${ {\boldsymbol{\mathrm{ {z} } } } }$ is $p _ {\theta}({ {\boldsymbol{\mathrm{ {z} } } } })$, while the posterior of ${ {\boldsymbol{\mathrm{ {x} } } } }$ given ${ {\boldsymbol{\mathrm{ {z} } } } }$ is $p _ {\theta}({ {\boldsymbol{\mathrm{ {x} } } } } \vert { {\boldsymbol{\mathrm{ {z} } } } })$. Although computing $p _ {\theta}({ {\boldsymbol{\mathrm{ {x} } } } } \vert { {\boldsymbol{\mathrm{ {z} } } } })$ is straightforward in this scenario, the posterior of ${ {\boldsymbol{\mathrm{ {z} } } } }$ given ${ {\boldsymbol{\mathrm{ {x} } } } }$, i.e., $p _ {\theta}({ {\boldsymbol{\mathrm{ {z} } } } } \vert { {\boldsymbol{\mathrm{ {x} } } } })$, is intractable by analytic methods.

    While it is possible to use sampling based methods to evaluate $p _ {\theta}({ {\boldsymbol{\mathrm{ {x} } } } })$ and further obtain $p _ {\theta}({ {\boldsymbol{\mathrm{ {z} } } } } \vert { {\boldsymbol{\mathrm{ {x} } } } }) = p _ {\theta}({ {\boldsymbol{\mathrm{ {x} } } } },{ {\boldsymbol{\mathrm{ {z} } } } }) / p _ {\theta}({ {\boldsymbol{\mathrm{ {x} } } } })$, it often demands a large number of samples. Alternatively, one may fit another neural network $q _ {\phi}({ {\boldsymbol{\mathrm{ {z} } } } } \vert { {\boldsymbol{\mathrm{ {x} } } } })$ to approximate the true posterior $p _ {\theta}({ {\boldsymbol{\mathrm{ {z} } } } } \vert { {\boldsymbol{\mathrm{ {x} } } } })$, by using the variational inference techniques.

    In the context of deep learning, a variational inference algorithm that fits $q _ {\phi}({ {\boldsymbol{\mathrm{ {z} } } } } \vert { {\boldsymbol{\mathrm{ {x} } } } })$ should basically have two elements. One is the training objective, which we may call variational objective hereafter. The other is the gradient estimator, since almost the entire deep learning is based on gradient descent techniques.

    继续阅读 →

    2017/11/24 Machine Learning

  3. 纪念滚滚而去的 2016 年

    2016 年,就在今晚,即将滚滚而去。

    这几天一直想要写个年度总结什么的,可是临近午夜,却不知道该写什么好。并不是因为这一年过得太平淡,而是很多情感已经融入到了我日常的生活中,没有什么特别提及的必要了。但是不管怎么说,总还是得稍微写一写这一年所发生的事情,以待将来缅怀之用罢。

    继续阅读 →

    2016/12/31 日记

  4. 以非神之躯上听天意

    前段时间因为一些事情开始怀疑自己的智商。

    嘛,其实很久以前我就开始明白自己的智商有限了,但总还是不肯承认。但是前段时间发生的一点事情让我不得不看到了智商所构成的壁垒。

    然而在一周前的某个漆黑的夜晚,在我从实验室走出来的时候,我突然这么想道:我的智商比起顶尖的人类是那么的遥远,但是顶尖人类的智商,在整个宇宙的图景下面,却也是那么地渺小。

    没有人能够明白四维以上的空间究竟长什么样。数学家甚至还给不出一个突破了排中律的完整的数学体系。理发师悖论只是被完美回避了,而不是被解决了。无限带来的许多问题尚且还没有被很好地解决。

    人类是那么地弱小。但是人类却还坚持“以非神之躯上听天意”。在这样的精神面前,一切的懦弱、一切的退却,都是可笑的,都是弱者的自怨自艾罢了。

    认清自己的智商有限是个好事,至少可以放弃很多不切实际的妄想,把有限的生命聚焦在有意义的事情上,而不是沉醉在妄想之中,因为追逐不可能达成的事情而一事无成。


    人类在蛮荒时代,为了突破体力的极限而制造了工具,最终达成了进化,统治了这个世界。那么在现代,为什么不能为了突破智力的极限去制造工具呢?

    2016/02/06 日记

  5. 调整 Terminal.app 的配色

    刚买来 MacBook Air 的时候,会发现它的终端简直挫爆了,白底黑字还没有颜色。然后许多人就会诉诸 iTerm2.app 这样的第三方应用。事实上只要简单配置一下,Terminal.app 也是不错的。

    继续阅读 →

    2015/02/03 码农