-
一篇学会了Hadoop3数据容错技术
所属栏目：[大数据] 日期：2021-11-24 热度：70
随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了数据的可靠性，HDFS通过多副本机制来保证。在HDFS中的每一份数据都有两个副本，1TB的原始数据需要占用3TB的磁盘空间，存储利用率只有1/3。而且系统中大部分是使用频率非常低的冷数[详细]
-
大数据的数据整治与应用场景
所属栏目：[大数据] 日期：2021-11-24 热度：172
医疗大数据治理 医疗大数据的采集及管理、分析等环节的统称，目的是妥善管理有用的数据并从海量数据中挖掘价值。 02医疗大数据采集及管理 目前，医疗数据大多散落在各个系统，碎片化、低质量、孤立分类、类型多样、标准不一，而优质的数据采集手段可以实现异[详细]
-
如何使用技术解决方案做出数据驱动的决定
所属栏目：[大数据] 日期：2021-11-24 热度：196
数据驱动决策(DDDM)是一种基于可量化目标或关键绩效指标(KPI)的方法，可以收集信息、从发现中评估模式和事实，并以各种方式实施有利于企业的战略和行动。一般来说，数据驱动的决策需要依靠经过验证和研究的数据，而不是利用未处理的数据来实现重要的业务目标[详细]
-
大数据集群开始 kerberos 认证后 Hive 作业执行失败
所属栏目：[大数据] 日期：2021-11-24 热度：154
大数据集群开启 kerberos 安全认证后，HIVE ON SPARK 作业执行失败。通过客户端 beeline 提交作业，报错 spark client 创建失败，其报错信息是： Failed to create spark client for spark session xxx: java.util.concurrent.TimeoutException: client xxx t[详细]
-
因HIVE元数据与HDFS上的数据不一致引起的问题修补
所属栏目：[大数据] 日期：2021-11-24 热度：142
客户端报错如下： Unable to move source xxx to destination xxx 客户端报错 问题分析 客户端的报错信息，并没有完全展现问题背后的全貌。我们进入 hiveserver2 所在节点查看hiveserver2的日志，可以看到如下相关信息： 2021-09-01 11:47:46,795 INFO org.ap[详细]
-
简谈大数据风控平台的功能需要
所属栏目：[大数据] 日期：2021-11-24 热度：70
大数据风控业务的开展依赖智能风控平台，智能风控平台的技术基础是大数据技术，智能风控系统技术架构也是以大数据系统技术架构为基础演进而来的。 智能风控系统技术架构主要分为访问层、展现层、系统层、大数据平台四部分，其中大数据平台又分为接入层、清洗[详细]
-
数据研发，如何平衡效率与质量
所属栏目：[大数据] 日期：2021-11-24 热度：178
数据开发的效率，是如何尽快的将产品设计、业务过程，转换为数据模型;数据开发的质量，则是如何尽快的将数据加工过程中的问题，识别出来。向业务交付的内容，是开发的内容;而如果开发的时候，忽略质量的问题，虽然交付的时候不会有感知，但往往会在排查问题阶[详细]
-
浅谈人工智能、大数据等技术在交通行业的应用
所属栏目：[大数据] 日期：2021-11-24 热度：82
我们将浅谈一下人工智能、大数据、云计算、物联网等技术将会给交通行业带来哪些便利与变革： 1.数据资源整合 由于我国线路众多，与交通相关的绝大多数部门都有自己的信息化平台，并产生着海量数据，但是现在的每个部门及单位内的系统平台大都是独立的，信息与[详细]
-
时代大数据安全和隐私
所属栏目：[大数据] 日期：2021-11-24 热度：66
随着大数据的发展，大数据的安全问题越来越受到行业的重视。 日前，中国信息通信研究院指出了目前大数据发展面临的安全问题，提出了促进大数据安全技术发展的具体建议。 大数据已经严重影响了经济运行机制、社会生活方式和国家治理能力，需要从大安全的角度认[详细]
-
从技术视角看大数据行业的发展走势
所属栏目：[大数据] 日期：2021-11-24 热度：95
关于该趋势，明哥在前期发布过一篇博文，大数据与云计算深度融合的趋势体现在哪些方面? 对该趋势做了自己的解读，这里再次简要描述下。该博文链接如下: 大数据与云计算深度融合的趋势体现在哪些方面? 云原生(Cloud Native)理念，本质上是一套利用云计算技术为[详细]
-
Hdfs 相对路径和静态代码块引起的问题
所属栏目：[大数据] 日期：2021-11-24 热度：109
HIVE 作为大数据生态的数仓解决方案，因为历史的原因在很多行业很多公司都有着广泛的应用。对于比较复杂的业务逻辑，HIVE SQL 往往比较难以表达，此时大家在开发中往往会辅以 HIVE UDF。所以充分理解和掌握 HIVE UDF正确的表写和使用方式，是大数据从业人员[详细]
-
大数据时代，移动联通大数据技术的价值，你知道了多少
所属栏目：[大数据] 日期：2021-11-24 热度：141
大数据时代，移动联通大数据技术的价值，你掌握了多少 大数据技术就是在多种类型的大量数据信息中，快速获得有使用价值信息的技术性，然后做到大数据精准营销。拥有大量信息本身并不能造就出多少使用价值，必须选用具体方法进行处理分析才能够获得其智能化的[详细]
-
大数据与云计算之间的联系
所属栏目：[大数据] 日期：2021-11-24 热度：77
大数据处理大量的结构化，半结构化或非结构化数据，以进行存储和处理以进行数据分析。大数据有五个方面，通过5V来描述 数量数据量 种类不同类型的数据 速度系统中的数据流率 价值 基于其中包含的信息的数据价值 准确性 数据保密性和可用性 云计算以按需付费的[详细]
-
企业IT可以真正将大数据应用到什么地方?
所属栏目：[大数据] 日期：2021-11-23 热度：148
企业IT可以真正将大数据应用到哪些地方? 了解企业IT如何以及在何处准确地应用大数据为其带来利益，将取决于几个关键因素。 作者：Bill Scudder 来源：企业网D1Net|2021-11-12 14:10 收藏 分享 在各行业领域中，很少有比大数据更容易提及同时又不太容易理解的[详细]
-
大数据分析，到底分析了何？
所属栏目：[大数据] 日期：2021-11-23 热度：177
大数据分析，到底分析了啥？ 大数据仨字已经被喊烂了，大数据分析也经常被人提起。可到底咋完全是大数据分析?为啥大家喊得很多，平时工作中很少感受得到?今天系统讲解一下。 作者：接地气的陈老师来源：接地气学堂|2021-11-11 11:27 收藏 分享 大数据仨字已经[详细]
-
数据经济时代大数据基础软件呈现四大发展走势
所属栏目：[大数据] 日期：2021-11-23 热度：119
大数据基础软件是大数据软件的一个组成部分，涉及传统数据库、大数据平台(中台)、大数据操作系统等多个门类，在信息系统中起基础性、平台性的作用，对整个大数据软件行业发展起到基础性、变革性的推动作用。我国正处于数字经济加速发展时期，以大数据操作系统[详细]
-
扫身份证识别健康码设备利用大数据技术致力疫情高效防控
所属栏目：[大数据] 日期：2021-11-23 热度：73
扫身份证识别健康码设备的方案利用行程轨迹、身份证、GPS等大数据应用，通过扫取人脸或身份证验证，获取健康码亮码(红码、黄码、绿码)，有效的在全国多个车站、医院疫情防控中起到了重要技术支撑作用。 非接触式红外热成像测温设备验码一体机整合了红外热成像[详细]
-
大数据致力政治学研究
所属栏目：[大数据] 日期：2021-11-23 热度：140
随着信息技术迅猛发展，新型信息分析技术被应用到政治学研究中来。许多政治学研究者采用当前比较成熟的大数据爬[详细]
-
大数据如何为优化营商环境助力？
所属栏目：[大数据] 日期：2021-11-23 热度：168
营商环境是是一个国家或地区综合竞争力的重要体现，利用技术力量优化营商环境对提升市场效率,释放市场活力等意义重大。营商环境的技术力量主要是数字技术，特别是大数据。大数据和营商环境多维关联、相互促进、动态进化，对国家经济建设具有战略意义。 大数据[详细]
-
我们一起说说大数据框架发展史
所属栏目：[大数据] 日期：2021-11-23 热度：50
这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的[详细]
-
通过更好的数据质量改进决策的八个主要提示
所属栏目：[大数据] 日期：2021-11-23 热度：87
企业对良好数据质量的需求日益增长，人们需要了解如何获得良好的数据质量以及它如何影响决策。 搜索引擎上有关数据质量这一术语多达600万项，这清楚地表达了数据质量的重要性及其在决策场景中的关键作用。了解数据有助于对其进行分类和鉴定，以便在所需场景中[详细]
-
大数据：阻止网络安全威胁的五种可行方式
所属栏目：[大数据] 日期：2021-11-23 热度：104
大数据是一门新科学，数据生产率如今正在以惊人的速度发展。全球正在产生数量惊人的数据，而且随着物联网的发展，这一增长速度正在加快。调查表明，全球产生的数据90%都是在过去两年中产生的。此外，根据一些调研机构的预测，预计到2025年，全球将会产生200ZB[详细]
-
大数据下的千人千面，让你沉迷于网络之中
所属栏目：[大数据] 日期：2021-11-23 热度：75
通过这种技术，抖音和今日头条两款APP迅速成为全民APP用户数量成倍增长。据数据显示，截至2020年8月，包含抖音火山版在内，抖音的日活跃用户已经超过了6亿。今日头条用户接近6亿，MAU为2.6亿，日活跃近1.2亿。 字节跳动成功的背后离不开大数据下的千人千面技[详细]
-
电源选购要注意什么
所属栏目：[大数据] 日期：2021-11-23 热度：63
用户在选购电脑电源的时候，一定要注意以下这六个电源的参数，这对您能否选择一款优质电源很有帮助的噢! 一、电源的重量 通过重量往往能观察出电源是否符合规格，一般来说：好的电源外壳一般都使用优质钢材，材质好、质厚，所以较重的电源，材质都较好。电源[详细]
-
UPS电源故障灯亮，蜂鸣器长鸣报警怎么办
所属栏目：[大数据] 日期：2021-11-23 热度：59
一台迈普1KVA在线式UPS电源，开机后旁路输出正常，按ON键，能由旁路转入逆变器工作，但立即又跳转旁路，且故障灯亮，蜂鸣器长鸣报警，按OFF键，蜂鸣器停止报警，旁路输出正常。 UPS电源故障分析与维修：根据故障现象，初步认为控制电路部分工作正常，因为按ON[详细]
