他们懂中文吗?一美国公司要做中文大数据分析!

2015-12-17 23:22:00 作者:zhangcha 分类 : 比特网

  大数据分析在IT圈里已经不是个新鲜的事。在海量的结构化数据里寻找规律,并作出分析和预测;这是目前很多厂商都在干的事儿。这里面既有传统的IT大厂,也有很多初创的小团队。但就在用户们觉得掌握了企业决策及市场监控的金钥匙的时候,他们貌似都忘了一个问题,那就是:除了结构化数据之外,对企业最有价值的往往是那些非结构化数据。因为专家对行业的洞察,消费者对产品的评价最终都会形成文字,而文字是很难被机器识别和理解的。这也就是为什么在这个全民大数据的时代,几乎没人敢提非结构化数据分析的原因。这件事太难了,他们搞不定!

  基于语义的大数据分析有多难?

  基于文字等非结构化数据的分析有多难?我们不妨来举个例子:

  “我的上一部手机很烂,不仅电池不够用,而且只用了半年就不亮了。而现在的这部真的不一样。用了一年多了,而且我也完全抛弃了移动电源。”

  上面这段话是笔者模拟的一个用户对一部手机的评价。虽然这段话中没有一个表示积极意义的词语,但所有人都能明白,这是一个对产品的积极评价。

  但是要让机器根据常用的“关键词”提取技术来分析这段评价,那肯定会被划进负面评价的类别里。

  当然,这世界上还有那么一批高人,他们就是不信邪;而且他们也确实搞出了一些基于语义的分析工具。但这些工具要么只针对英文语义(因为他们都是老外),要么就只针对某个特定的领域(例如针对处方的识别,这些文字都有非常强的可识别度,句子结构也非常简单)。

  按照这个逻辑,我们迎来中文大数据分析工具的时间将取决于两点:

  1、 指望那些搞出英文语义分析工具的老外彻底学会中文;

  2、 指望国内有团队能够积累足够的技术自己开发基于中文的产品。

  虽然我不确定两个问题中哪个问题能先被搞定,但我确定这肯定不是短期内能完成的事儿。

  一家美国公司要来中国做非结构化大数据分析?!

  前段时间,一家名为Taste Analytics的美国公司宣布即将进入中国市场。而他们的产品就是针对全渠道、中文的、大数据分析引擎(平台)。

  一家美国公司要来中国做非结构化大数据分析产品?他们懂中文吗?他们知道汉字都咋写吗?不得不说,这世界真是疯狂。

  虽然这家企业的老大是中国人,虽然他们已经拥有了吉列、动视暴雪、E.L.f、多芬、高露洁、美宝莲、欧莱雅、欧乐B、佳洁士兄弟佳能爱普生金士顿、闪迪、宝丽来、摩托罗拉、铁三角、飞利浦、森海塞尔、索尼等等上百家全球各领域顶级企业的客户,但我还是不信他们能做好基于中文的语义大数据分析产品。因为他们是美国公司,他们的成功案例也都是基于英文的。

  那么,是什么让Taste Analytics敢于进军中国市场呢?

 

Taste Analytics公司创始人、CEO Derek Wang

  Derek Wang,Taste Analytics公司的创始人和CEO。在微信采访中表示:Taste Analytics研发的大数据分析平台名为Signals,是一款针对非结构化数据的大数据分平台。目前已经能够覆盖包括中文、英语、法语、德语、西班牙语等11种语言。

  说实话,笔者当时确实有点惊慌失措:一家初创公司,做出了一个能分析11种语言的大数据分析平台……(截稿前,Taste Analytics公司的官方介绍已经更新为支持13种语言)

  但Derek Wang后面的解释让我抓住了重点:Signals是一个不基于自然语义的自然语义分析平台。

  通过对语言中字与字、词与词、短语与短语组合形式的统计,建立数学模型。这样,深奥的语言就变成一种数学表达式。在经过一系列的转换和变形之后,数学表达式中的变量将会变得相对很少;这样,开发人员只需要对剩下的变量进行人工定义,机器就可以通过数学的方法计算出这些数学公式(文字)究竟是要表达积极的意义还是悲观的意义,并最终将这些信息以加以汇总,然后以可视化的方法呈现出来。当然,Signals平台也会运用深度学习的方法不断优化和校准自己对字词句组合判断的准确率。

  简单的说,Taste Analytics的Signals平台是把语言变成了一道数学题,用统计学的方法来绕开对语义的纠缠。这也就是为什么Signals平台可以这么轻松的就做到跨语言、跨领域。

  而基于统计学和深度学习的分析方法还给Signals平台带来了一个天然的优势,那就是对于新兴词汇和造句方式有着天然的免疫效果。管你是“然并卵”还是“累觉不爱”,我只需要看这些新词汇在句子(数学公式)中出现的位置,就能判断他的作用,从而判断整个句子的真正含义。而这正是那些基于语义来进行分析的传统平台永远无法做到的,他们总要不断的告诉机器,新的词语是什么意思。

  其实他是个博士

  其实Derek Wang的学历是博士,一个理科生。不得不说,能用这样的方法来理解和分析语言,这是其他厂商所做不到的,甚至可以说是颠覆性的。当语种都不再是障碍,我想,这世界上能挡住他的东西也不多了。

  目前,Taste Analytics已经与国内包括云服务提供商、网络爬虫工具提供商在内的众多企业进行了深度的合作,中文网页也已经上线。而Derek Wang也透露,Signals平台将会在12月底正式登陆中国市场。

* 本文为ChinaByte比特网原创内容,版权所有,转载请注明出处和原文链接,未经授权请勿用于商业用途。

最近更新
科普

科普图集
带着朋友和机器人上月亮散步

带着朋友和机器人上月亮散步>>详情

比食人鱼更恐怖:长着人类牙齿的鱼

比食人鱼更恐怖:长着人类牙齿的鱼>>详情

邮件订阅

软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
网络周刊
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
存储周刊
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
安全周刊
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家网
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。