知识图谱

与深度学习区别 #

深度学习是显性模型,知识图谱是隐性模型
场景:人脸识别;语音助手
目前进展: 在一些任务上已超过人类;知识量超过人类,推理不如人类
任务范围:面向具体任务,难以迁移;广泛适用于不同任务
可解释性:较难解释;可解释性强
数据量:海量训练数据;海量知识数据
未来趋势:深度融合

历史 #

2010年: 微软构建Satori、Probase
2012年: 谷歌X实验室识别"猫", 发布Google Knowledge Graph
2013年:百度布局
2015年:阿里布局
2016年:亚马逊布局

特点 #

视觉思维
关联
推理
结构识别
降维
概念图
网络模型
潜在领域寻迹

领域 #

宇宙图谱
    绘图学
    陆地地图
    天体图
    生物图谱
轨迹
    旅行商
    虚拟世界搜索
    信息觅食,过程建模

应用 #

内容理解
    篇章理解
    推荐场景
        路径推荐
        知识融入推荐
        广告
    召回排序
    智能营销
        画像
            用户画像
            产品画像
            场景画像
        库
            概念库
            语义本体库
            规则库
        建模分析
            分词、词性标注、命名实体识别
            句法分析、语义表示、概念发现
            用户打标、场景打标、产品打标
            语义匹配、指代消解、主题模型
搜索理解
    语义搜索
    演化分析
    场景化搜索
    路径召回
    对话理解
商家
    智能化商家运营
    商业大脑
        商业分析
可解释性
    图谱路径推荐理由
    知识融入生成推荐理由
实体卡片
    资源聚合
    内容分发
    产业链图谱
    用户画像
    高管画像
    价格图谱
    债券风险预警
    中小企业风控图谱
    营销获客图谱
    产品与工艺创新研发
    安全质量
    供应链
    社会关系图谱
    交易关系图谱
    网络图谱
    时空关系图谱
任务自动化
    维度:可发现、可移接、可推理
    自动化:自动数据结构化、流程自动化、业务服务化、服务开放化
推理
    本体推理
        概念补全
        商品品类上下位发现
        同质类目/属性项/属性值识别,新类目发现
        实体识别与分类
    关系抽取
        实体对齐
        实体链接
        商品分类、增量商品分类、商品标题
    常识推理
        关系推理与链接预测
        规则学习
        百科知识发现
        商品对齐
        可比价同款规则挖掘
    知识问答
        知识增强学习
        知识融入语言预训练
        人货匹配
网络安全
    专家系统->感知智能->认识智能->决策智能

流程 #

数据爬取
    数据爬取平台
    知识获取
        实体识别
        概念、关系、属性抽取
        标签挖掘
        情感分析
        知识融合:概念层融合,数据层融合
        知识建模: 概念上下位关系生成、概念属性识别、规则建模、事件建模、时空建模
    多元异构数据
        非结构化文档
        半结构化数据
        结构化知识
    抽取模块
        基于规则
        基于模板   
        基于模型
            经典模型: PCNN、BiLSTM
            预训练模型: BERT、摩天
    预/后处理
        先验知识库: 规则库、领域词表、模板库、黑白名单
        数据集构建:人工标注、远程标注、数据集管理
知识融合
    Schema对齐(异构转同构)
    数据清洗
    实体对齐(去重,消岐)
    属性择优
知识关联
    规则推理
    建边模型
存储检索
    图引擎
        图存储引擎
        图学习引擎
        图查询引擎
    优化
        KV库
        索引库
        控制和数据分离
        Schema压缩
知识计算
    知识补全
    知识推理
    知识统计与图挖掘
知识图谱金字塔
    文本(text)->标签(label、tag)->表格(table)->图(graph)->模式(schema)->本体(ontology)->规则(rule)
技术
    计算:Spark
    中间存储:HIVE
    检索:ES
监控体系
    知识管理系统

框架 #

Spark
HIVE
ES

工具 #

CiteSpace
Jigsaw
Carrot
iOpener