• 项目
首页>>文章列表
文章列表

Yann LeCun的“层级损失函数”:牧羊犬和摩天大楼,哪个更像哈巴狗? 2017-09-21 13:28:12

近期Yann LeCun的新作《Hierarchical loss for classification》已经放在了arXiv上,联合作者为Facebook人工智能研究院的Cinna Wu和 Mark Tygert。


在这篇文章中,作者认为在分类任务中,一般的神经网络模型(例如LeCun, Bengio 和 Hinton等人2015年中的模型,其他研究的模型也大多基于此展开的)很少会考虑到类型之间的亲疏关系,例如这些模型的分类学习过程中并没有考虑牧羊犬事实上比摩天大楼更像哈巴狗。在文章中,作者通过“超度规类树”构造了一种新的损失函数,称为“层级损失函数”。这种损失函数因为内含了类型树中不同类之间的亲疏关系,预期中应当能够增强分类学习的效果。不过经过六组实验的对比,作者发现结果并没有显著的改进。作者认为,不管怎么着吧,至少这表明层级损失函数能用。

AI 科技评论认为,它不仅能用,还极具潜力,因为LeCun只是用了最简单的“超度规类树”来阐述这种思想,相信在选用更合适的超度规树后,分类学习会得到一个更好的结果。下面我们来看具体内容。


构建层级损失/获得函数


注:由于获得函数(Win Function)与损失函数是同一个内容的相反表示,训练过程其实就是在寻找最小的损失函数或者最大的获得函数。所以接下来只考虑层级获得函数的构建。

构建层级获得函数,首先需要一个类树,也即将待分的所有类按照亲疏关系放到一颗关系树中,每一个类都是类树中的“树叶”。对于一个输入,分类器会映射到类树每个树叶上一个概率值,也即一个概率分布(图中P1-P7)。类树中每个节点处,文章中规定,其对应的概率值为其下所有树叶概率值的和,如图中所示。显然在不考虑计算机的浮点误差的情况下,“根部”的概率应该为1。

另一方面,对每个“节点”和“树叶”都赋予一个权重。文章中规定,“根部”的权重为1/2,随后每经过一个“节点”,权重乘以1/2,直到树叶;树叶的权重由于是“树”的末端,所以其权重要双倍,如图所示。

如果我们输入一张A的图片,那么我们可以计算其层级获得函数W:

其中

从上面可以看到,事实上层级获得函数的构造非常简单,就是一个结构权重向量和概率分布向量的一个点乘。同样可以看出,不管分类器给出什么样的概率分布,层级获得函数的范围都在[1/2,1]区间内;当P1=1时,W最大,为1;而当P5、P6、P7中的任意一个等于1时,W最小,为1/2。在类树中接近A的类的概率越大,层级获得函数值就越大,所以层级获得函数在某种程度上隐含了类之间亲疏的关系,也构建了分类器准确度的一种度量。


一种改进:获得函数的对数


有时候分类器给出的分布可能不是概率,这时候为了获得一个正则的分布,我们可以使用softmax函数的方法,也即将(x1, x2, x3, ……xn)的分布序列转换成

这样的概率分布,显然满足正则性,且分布在(0,1)区间内。这种方法不仅可以对向量进行归一化,更重要的是它能够凸显出其中最大的值并抑制远低于最大值的其他分量。

当采用softmax函数的结果作为概率分布时,最好是使用层级获得函数W的对数进行优化学习,而不是W本身。使用logW进行优化的好处之一就是,当输入样本为多个独立样本时,它们的联合概率将是它们概率的乘积;这时候对这些样本的获得函数W进行求平均就具有了意义(在特殊情况下logW的平均将等于联合概率的对数)。

文章中对logW’ 的构建为:舍掉W中“根部”的项,然后将剩下的部分乘以2,此时W’=(W-1/2)*2的范围在[0,1]之间(其中0对应最错误的分类,1则对应完全正确的分类),相应的,logW’将在(-∞,0]之间。

这就会导致一个问题。当多个独立样本,求log W’的平均值时,只要有一个出现了最错误的判断,那么不管其他样本的结果如何,log W’的平均值都会等于无穷大。所以这种方法对样本及学习过程都有非常严格的要求。


实验结果不理想


作者随后用Joulin等人的fastTest文本分类监督学习模型对层级获得函数进行了六组实验(六个数据集)。结果如下:

说明:
(1)flat表示没有分类的情况(没有分类相当于类树只有一个层级),raw表示用层级获得函数进行训练,log表示用负的层级获得函数的对数进行训练,course表示在层级中使用通常的交叉熵损失函数只分类到最粗糙类(聚合)。

(2)one-hot win via hierarchy 表示喂给层级获得函数的概率分布为独热码(只有一个为1,其余为0)

(3)softmax win via hierarchy 表示喂给层级获得函数的概率分布为softmax函数的结果;

(4)−log of win via hierarchy 表示(3)中层级获得函数的负自然对数;

(5)cross entropy表示使用交叉熵损失函数计算的结果,这种情况相当于类树只有一个层级;

(6)coarsest accuracy 表示最粗糙分类正确的比例结果;

(7)parents’ accuracy 表示父级分类正确的比例结果;

(8)finest accuracy 表示分类到最终每一个类中正确的比例结果。

(9)最后一行的“higher”和“lower”分别表示相应的列中“越大”和“越小”的值越好。


通过以上结果,我们可以看到很多时候,通过层级获得函数优化的结果并没有原来通过交叉熵损失函数优化的结果好。那么,LeCun的这项工作白做了吗?也并不是,至少它表明在一定程度上层级获得函数能够用做作为分类准确度的度量,它暗示了一种可能:当有采用更合适的层级获得函数时,效果可能会超过当前所常用的交叉熵损失函数等方法。

媒体:中国央行要求各地严禁个人消费贷款违规流入房地产 2017-09-21 13:25:05

华尔街见闻9月21日——新浪援引媒体称,中国央行会同银监会近期要求各地监管部门,指导银行规范个人消费贷款,防止消费贷款违规流入房地产市场

知情人士称,中国央行的要求重点针对一线和热点房地产城市。中国央行近期发现,今年以来,至少有数千亿元人民币资金违规通过个人消费贷款,流入房地产市场。

但是,知情人士不清楚央行和银监会通知的具体日期。知情人士不愿具名,因信息未公开。

近日以来消费贷大幅增长,江苏、北京、深圳、广州银监局和人民银行分行已先后发文,要求加强个人消费贷款管理,防范信贷资金违规进入房地产市场


9月20日,广州开始严查消费贷,最高仅可贷款百万。

中国人民银行广州分行、中国银监会广东监管局共同发布的“关于消费贷管理、防范信贷资金违规流入房地产市场”通知曝光,规定原则上将不发放超过100万元或期限超过10年的个人综合消费贷款。

深圳多家银行也在9月19日扎紧消费贷,将长期消费贷年限调至5年,部分银行甚至在五年基础上进一步缩短年限甚至暂停消费贷。


9月初,针对“首付贷”再度露头,北京监管重拳围剿。北京银监局、中国人民银行营业管理部联合印发通知,要求银行业金融机构对个人经营性贷款和个人消费贷款开展自查工作,重点检查“房抵贷”等资金违规流入房地产市场的情况。

江苏也在9月对消费贷展开自查。

央行南京分行、江苏银监局下发文件,强调严禁个人消费信贷资金违规流入房地产市场,并要求深入开展个人消费信贷业务自查自纠工作。

中证报援引专家观点,随着诚信体系逐步完善,各平台资金流向信息实现共享,“首付贷”生存空间将越来越小。

人民币已经较最高点下跌1500点 2017-09-21 13:20:10

谷歌11亿美元收购HTC部分智能手机资产 2017-09-21 13:16:24

华尔街见闻9月21日——谷歌与HTC今日联合宣布,已达成11亿美元的合作协议。二者之间备受期待的这一举动,终于敲定。

根据该协议,Google延揽原参与打造Google Pixel手机的HTC成员加入Google。就此次交易,HTC将收到11亿美元的交易金额。此外,HTC也将其专利非专属权授予Google使用。预计这笔交易将于2018年初完成。

协议约定,HTC仍将拥有优秀的研发人才发展自有品牌智能手机,今年上半年已成功推出旗舰产品HTC U11,目前正积极准备下一代旗舰手机。同时,HTC将持续构建虚拟现实生态系统,发展VIVE版图,并积极投入物联网、增强现实和人工智能等各项领域的创新。

对Google而言,这项协议进一步强化了对智能手机及硬件产品事业的投入和承诺。除了延揽优秀和经验丰富的专业团队人才,Google也将取得HTC专利的授权,以支持其Pixel智能手机系列产品的研发。这项协议也显示Google将台北视为创新科技的关键枢纽,并且针对台北所进行的重大投资。


HTC董事长兼执行官王雪红表示:

“这次和Google共同签订此协议代表双方长期稳定的合作伙伴关系再次迈出稳定的一大步,不仅为Google硬件业务注入强大的创新研发动力,也确保HTC在智能手机和VIVE虚拟现实领域可持续创新。”

Google硬件部门资深副总裁Rick Osterloh表示:

“HTC一直是Google的长期策略合作伙伴,设计出许多市场公认最美观、最高端的移动设备。我们非常兴奋也迫不及待地欢迎HTC团队加入Google,为全球消费性产品注入更多的创新能量与发展。”

HTC是全球智能手机行业先驱,2008年9月,HTC作为安卓系统与苹果IOS系统对抗的代表,推出了全球第一款搭载安卓系统的智能手机T-Mobile G1。也正是这款手机,将HTC推向了行业的巅峰。

HTC的高速增长一直持续到2011年底,当时HTC占全球智能手机出货总量9.1%,销售量达到4300万部。在美国市场上,HTC甚至超越了当时的手机巨头诺基亚,直到iPhone 4出现,HTC就不可挽回地进入了下行通道。

2011年第四季度HTC净利润为约合3.64亿美元,同比下降了26%。2012年,HTC遭遇滑铁卢,不仅深陷与苹果的纠纷之中,还因缺乏核心竞争力,销售量急剧下滑。


过去5年,HTC市值蒸发近75%,今年跌幅就超过12%,如今市值仅剩19亿美元,手机业务在整个全球智能手机市场的份额不足2%,早已跌出市场前十。

上月中旬,HTC公布的2017年第二季度财报显示,HTC已连续九个季度处于亏损状态。二季度净亏损额为19.5亿新台币(约合6423万美元),整个2017年上半年净亏损总额为39.83亿新台币(约合1.311亿美元)。

外界普遍认为,HTC在智能手机市场的惨败,主要原因是定位失误。HTC的手机性价比较低,被消费者质疑是低价高配,HTC自身定位于高端手机厂商,但是无论是新技术研发还是市场营销预算,HTC都难以和三星、苹果抗衡。

如今HTC与谷歌达成协议并不令人感到意外。HTC和谷歌是长期合作盟友,HTC曾经帮助谷歌设计了多款Nexus和Pixel品牌的自有智能手机,其中包括去年的Pixel以及今年的一款Pixel 2。

从Nexus到Pixel,谷歌在智能手机制造方面的野心一直不小,但手机销量长期惨淡,去年,Pixel总销量仅为100多万部。

此前有分析称,谷歌盯上HTC的资产,意在为Pixel的研发和制造积累资源。此前Pixel手机上市时曾遭遇缺货,收购HTC手机业务后,Pixel产能有望显著提升。此外,HTC在音频和影像领域的多年积累也是谷歌很看重的资本。

日本央行9月决议“按兵不动” 新晋委员投下唯一反对票 2017-09-21 13:13:50

华尔街见闻9月21日——日本央行发布9月货币政策利率决议,如市场预期按兵不动,并维持以每年80万亿日元左右的速度购债的承诺不变。

日本央行政策利率 (Policy Rate) -0.1%,预期-0.1%,前值-0.1%。日本央行10年期国债收益率目标0.0%,预期0.0%,前值0.0%。

日本央行维持以每年80万亿日元左右的ETF和RETTs购买规模不变。


利率决议:日本经济具备从收入到指出的良性循环

日本央行利率决议指出,

日本经济温和扩张,具备从收入到支出的良性循环。

CPI在0.5%附近波动。

公共投资有所增长;上调对公共投资的评估。


异议!片冈刚士:CPI明年难达到2%目标

日本央行委员会以8-1票决定维持政策不变。

投反对票的委员片冈刚士针对CPI展望的描述表示异议,称国债收益率的影响不足以让CPI实现2%目标,CPI明年达到2%的可能性较低。

片冈刚士为日本央行7月新晋委员,他立场鸽派,和中性立场的铃木人司替换了辞职的鹰派成员佐藤健裕和木内登英。

左:铃木人司 右:片冈刚士

片冈刚士此举出乎意料,对于所有委员都由日本首相安倍晋三委任的日本央行政策委员会来说意义非常。

然而这一反对票并不会影响日本央行行长黑田推行的激进刺激措施,反对票的存在反而可以缓解7月份两位鹰派委员被替换后,市场对于政策委员会内部讨论可能流于形式的相关担忧。

即便日本央行资产负债表规模的扩张,已经日益接近日本全国的经济体量,市场仍预计,日本央行目前政策起码将持续到明年4月黑田当前任期结束。

12座滨海城市的大波海鲜正在靠近(四) 2017-09-21 13:12:35

绝不能错过的十二大奇特湖泊(九) 2017-09-21 13:12:06