黑白老照片可以上色一点都不奇怪,但是还原黑白老照片还是很新鲜有趣的创意电影着色。最近推特上有位小哥研究了一款名为DeOldify的工具,可以将老黑白电影、老照片恢复原貌。 谁说经典只属于黑白? 最近一位名叫JasonAntic的小哥哥在推特上走红了。他创造了DeOldify工具,可以在几秒钟内将过去的黑白视频和照片变成彩色。 这款神器一出,网友们都大喜过望,纷纷开始把玩起来。目前在GitHub上有5800+星,相当火爆! 卓别林的电影瞬间年轻化,很有“味道”。 1960经典《Psycho》: 1936经典《Reefer Madness》: 1927经典《Metropolis》: DeOldify不仅可以给视频还原色彩,还能把黑白老照片变成彩色照片秒。 《移民母亲》,DorotheaLange(1936)的MigrantMother: JimmySime(1937)的“ToffsandToughs”: 这些黑白视频和照片,当穿上五颜六色的“衣服”时,不得不说拉近了和我们的距离,我觉得没有什么年代感。 读者可以手动尝试给黑白老照片上色!地址如下: https://colorize.cc/ 只需要在本地上传或添加图片链接,输入邮箱即可接收,非常方便。 辛致远试了一张“慈禧太后”的黑白照片,结果如下: 可以说是相当逼真了! 惊人的DeOldify背后的武器:NoGAN 作者在GitHub中提到,DeOldify中最重要的是NoGAN。NoGAN训练结合了GAN训练的优点(鲜艳的色彩),同时消除了恼人的副作用(如视频中闪烁的物体)。作者指出,视频是使用孤立图像生成的,没有附加任何形式的时间建模。该过程对GAN部分执行30-60分钟的“NoGAN”训练,一次使用1%到3%的imagenet数据。然后,与静止图像着色一样,在重建视频之前对各个帧进行“去缩放”。 除了提高视频的稳定性,还有一件有趣的事情值得一提。事实证明,运行模型,即使是不同的模型和不同的训练结构,都会或多或少地导致相同的解决方案。你可能会认为有些东西的颜色是任意的、不可知的,比如衣服的颜色、汽车的颜色,甚至是特效(就好像《大都会》)。 作者对此的猜测是,这些模型正在学习一些关于如何根据黑白图像中出现的微妙线索进行着色的有趣规则。此结果会产生非常确定且一致的结果,这意味着您不必跟踪模型着色决策,因为它们不是任意的。此外,它们看起来非常稳健,因此即使在移动场景中渲染也非常一致。 那么什么是NoGAN呢? 这是作者为了解决之前DeOldify模型中的一些关键问题而开发的一种新的GAN训练模型。 它提供了GAN训练的好处,同时花费最少的时间进行直接GAN训练。在极短的实际GAN训练期间,生成器不仅实现了GAN训练过去需要数天渐进调整大小的完整逼真着色能力,而且几乎没有产生GAN的“副作用”。根据作者的说法,这是一种非常有效的新技术。 下图是DeOldify原模型的效果。可以看出不同的边框颜色是不一样的。 下面是基于NoGAN的DeOldify模型,可以看到着色效果很好。 为什么是三个模型? DeOldify现在有三种模型模型可供选择。每个都有关键的优点和缺点,因此有不同的用例。更多详情请访问GitHub: https://github.com/jantic/DeOldify/blob/master/README.md
