-
数据处理---Spring Batch之实践
所属栏目：[大数据] 日期：2021-02-23 热度：87
上面介绍了Spring Batch的基本概念和简单的demo项目，显然这些还是不够实际使用的。下面我们来更多的代码实践。 ? ? ? ? 在上面的基础项目上面，我们来更多的修改： ? ? ? ? 不用项目默认的hsql DB，用mysql,让ItemReader,ItemWriter 支持mysql； ? ? ? ? 支[详细]
-
LightOJ1282 Leading and Trailing 大数取首尾
所属栏目：[大数据] 日期：2021-02-01 热度：98
任何一个数都可以转换为10^k，k是一个小数，k的整数部分决定了这个数的位数，小数部分决定了每一位的值，根据此可以快速找到前三位。 通过快速幂取模可以快速找到后三位。 题目链接：http://acm.hust.edu.cn/vjudge/problem/26992 #pragma comment(linker,"/[详细]
-
数据处理之——data.table
所属栏目：[大数据] 日期：2021-02-01 热度：175
data.table 简介 关于 R 中的数据处理，我们接着介绍 data.table 包。上期我们介绍的 dplyr 有类似于sql的一套数据处理的语法，而 data.table 则有着它自己的一套语法，它能处理几乎所有 dplyr 可以处理的数据，而且代码量更少，效率更高，特别是在处理大至G[详细]
-
日均请求量百亿级数据处理平台的容器云实践
所属栏目：[大数据] 日期：2021-02-01 热度：56
from:?http://geek.csdn.net/news/detail/97887 声明： 本文为CSDN原创投稿文章，未经许可，禁止任何形式的转载。? 作者： 袁晓沛，目前在七牛云的主要工作是基于容器平台构建分布式应用，借助容器的优势，实现大规模分布式应用的自动化运维以及高可用，以Pa[详细]
-
如何计算文档相似性
所属栏目：[大数据] 日期：2021-02-01 热度：103
最近课题需要，整理一下文档相似性的一些研究，主要是参考知乎上面的回答和52nlp的相关文章。以备后期综述使用。具体还需要好好细读链接。 主要思路 01/one hot representation，BOW+tf-idf+LSI/LDA体系. docsim方法：gensim包，使用corpora.Dictionary(text[详细]
-
关联规则挖掘——Apriori算法
所属栏目：[大数据] 日期：2021-02-01 热度：99
前言 大二的时候，一个老师为了勾起我们对数据挖掘的兴趣，老是问我们这个问题：你们知道超市为什么要把啤酒跟尿布放在一起吗？但是从来没告诉我们答案。现在，很多人都听过这个问题，觉得很平常，但是那时的我真觉得挺神奇的。直到后来，了解了关联规则挖掘[详细]
-
在「不稀缺」的商业世界，如何挖掘稀缺的资源？
所属栏目：[大数据] 日期：2021-02-01 热度：173
要生存壮大，就要找到新的稀缺资源， 并且想尽办法掌握在自己手中。 文 | 曲凯 编者按：本文来源42章经（ID：MyFortyTwo），一家生产原创优质内容的科技媒体，誓同有趣、有料、有企图心的灵魂共成长。 “Technology increases access to what is scarce. ”[详细]
-
新闻中文本地域信息标签的抽取
所属栏目：[大数据] 日期：2021-02-01 热度：100
这里主要是基于规则的新闻地域提取方法，这里简要记录一下思路。 首先我们拥有了地域信息数据库，并且标注了省市的layer层信息。主要思路是利用nlp库，分词得到标有地名属性词，在于地域数据库匹配。 第一步，提取正文分词得到标注为地名的词语。 第二步，匹[详细]
-
视音频数据处理入门：H.264视频码流解析
所属栏目：[大数据] 日期：2021-02-01 热度：105
===================================================== 视音频数据处理入门系列文章： 视音频数据处理入门：RGB、YUV像素数据处理 视音频数据处理入门：PCM音频采样数据处理 视音频数据处理入门：H.264视频码流解析 视音频数据处理入门：AAC音频码流解析[详细]
-
序列模式挖掘——GSP算法
所属栏目：[大数据] 日期：2021-02-01 热度：177
序列模式挖掘的基本概念 项目全集I、项集X和事务集合T的概念和文章关联规则挖掘——Apriori算法 中定义的一致。一个序列(Sequence)是一个有序的项集列表，这个有序通常是指时间有序。我们将序列s表示为： a 1 a 2 . . . a r 其中， a i 是一个项集，也称为s[详细]
-
科普丨五个角度浅析大数据与BI的区别，教你迅速把握大数据的精髓
所属栏目：[大数据] 日期：2021-02-01 热度：82
作者：咨行天下 BI(Business Intelligence)，中文翻译是商务智能，是一套完整的解决方案，用来将组织中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助组织做出明智的业务经营决策。 大数据(Big Data)是从收集的海量数据中，通过算法将这[详细]
-
[POJ 1811 Prime Test] Miller_Rabin + Pollard_rho 大数质数判
所属栏目：[大数据] 日期：2021-01-31 热度：164
[POJ 1811 Prime Test] Miller_Rabin + Pollard_rho 大数质数判断/质因子分解模板 题目链接 ：[POJ 1811 Prime Test] 题意描述 ：判断N是否为质数，如果是，求最小的质因子( 2 ≤ N 2 54 )。 解题思路 ：Miller_Rabin + Pollard_rho 模板走起。 #include cti[详细]
-
干货丨企业级大数据知识图谱产品的构建及应用
所属栏目：[大数据] 日期：2021-01-31 热度：65
报道大数据企业： 大数据产品、大数据方案、 ? 大数据人物 分享大数据干货： 大数据书籍、大数据报告、 大数据视频 本文系大数据人精选自网络。欢迎更多优质原创文章投稿给大数据人：289585305@qq.com 导读： 大数据，一个现今人人都在讨论的火爆话题。大数[详细]
-
FP-growth算法挖掘频繁项集
所属栏目：[大数据] 日期：2021-01-31 热度：72
概述 FP-growth算法基于Apriori构建，但在完成相同任务时采用了一些不同的技术。这里的任务是将数据集存储在一个特定的称作FP树的结构之后发现频繁项集或者频繁项对，即常在一块出现的元素项的集合FP树。这种做法使得算法的执行速度要快于Apriori，通常性能[详细]
-
麦肯锡报告：让高管了解大数据分析
所属栏目：[大数据] 日期：2021-01-31 热度：200
原标题：Mobilizing your C-suite for big-data analytics 作者：Brad Brown,David Court,and Paul Willmott 编译：谢润超，工业和信息化部国际经济技术合作中心 来源：中国经济网 导读 现在，数据分析的力量正深刻影响着商业格局。大数据对公司的影响非常广[详细]
-
自动机+高斯消元 ifrog1025 Magic boy Bi Luo with his excited
所属栏目：[大数据] 日期：2021-01-31 热度：182
传送门：点击打开链接 题意：告诉你ｎ个串，现在随机写字符，直到之前的字典里某个差un是当前写的串的子串时停止，问期望次数是多少． 思路：玲珑套路杯，求个自动机发现next数组就是接下来的状态,套个高斯消元就做完了.. #include map#include set#include[详细]
-
HHUOJ 1003 数字整除（模拟大数整除）
所属栏目：[大数据] 日期：2021-01-31 热度：92
1003: 数字整除 时间限制: 1 Sec?? 内存限制: 128 MB 提交: 10?? 解决: 7 题目描述 定理：把一个至少两位的正整数的个位数字去掉，再从余下的数中减去个位数的5倍。当且仅当差是17的倍数时，原数也是17的倍数 。 例如，34是17的倍数，因为3-20=-17是17的倍数[详细]
-
【报名】工业大数据深度挖掘应用与技术实现——清华大数据“技术
所属栏目：[大数据] 日期：2021-01-31 热度：111
大数据与工业数据的结合，使制造过程能进行分析、推理、判断、构思和决策等。通过人与机器的合作共事，去扩大、延伸和部分地取代人类专家在制造过程中的脑力劳动。它把制造自动化的概念更新，扩展到柔性化、智能化和高度集成化。然而，这一切又都必须服从企[详细]
-
阶乘的精确值（大数）
所属栏目：[大数据] 日期：2021-01-30 热度：70
首先确定阶乘的位数。 我们知道整数n的位数的计算方法为：log10(n)+1 故n!的位数为log10(n!)+1 ? 如果要求出n!的具体值，对很大的n（例如n=1000000）来说，计算会很慢，如果仅仅是求阶乘的位数，可以用斯特林(Stirling)公式求解 ? 斯特林（Stirling）公式：[详细]
-
LSHForest进行文本相似性计算
所属栏目：[大数据] 日期：2021-01-30 热度：152
LSH Forest: Locality Sensitive Hashing forest,局部敏感哈希森林， 是最近邻搜索方法的代替，排序实现二进制搜索和32位定长数组和散列，使用hash家族的随机投影方法近似余弦距离。 随机投影树，对所有的数据进行划分，将每次搜索与计算的点的数目减小到一[详细]
-
【R语言数据处理】一步一步来分析数据之不知哪位收集的淘宝推荐
所属栏目：[大数据] 日期：2021-01-30 热度：181
文件名：淘宝最全年货大促特价整理 数据我先传百度云了，分享一下，你们看了就知道是什么样子的了，我改了一下名字，文件名：tbtj.xls 360云盘：https://yunpan.cn/cMTiN2Lyk5MpK 访问密码 d2cc 百度云：http://pan.baidu.com/s/1hsBHuGO 我们先来看下里面是[详细]
-
HDU 1042 N！ N的阶乘（大数）
所属栏目：[大数据] 日期：2021-01-28 热度：101
N! Time Limit: 10000/5000 MS (Java/Others)????Memory Limit: 262144/262144 K (Java/Others) Total Submission(s): 75303????Accepted Submission(s): 21981 Problem Description Given an integer N(0 ≤ N ≤ 10000),your task is to calculate N! ? In[详细]
-
如何在企业硬件设备中挖掘安全漏洞
所属栏目：[大数据] 日期：2021-01-26 热度：87
研究发现，亚马逊上销量最好的50种消费级路由器都存在有安全漏洞，其中20款是出厂固件就可被黑客利用。但功能之战和利润收窄可能会导致进入不安全路由器时代。为确定该问题是否仅局限于消费市场，有必要对企业网络应用的无线路由器进行评估。 买得起的消费级[详细]
-
如何挖掘nand flash I/O性能
所属栏目：[大数据] 日期：2021-01-26 热度：199
NAND Flash 芯片是构成 SSD 的基本存储单元， NAND Flash 芯片工艺的发展、结构的变化将会推动整个闪存存储产业的高速发展。在设计闪存存储系统的时候，特别是在设计 NAND Flash 控制器、 SSD 盘或者卡的时候，都需要深入的了解 NAND Flash 的操作方法、接口[详细]
-
hdu5834Magic boy Bi Luo with his excited tree(树形DP)
所属栏目：[大数据] 日期：2021-01-26 热度：195
Magic boy Bi Luo with his excited tree Time Limit: 8000/4000 MS (Java/Others)????Memory Limit: 131072/131072 K (Java/Others) Total Submission(s): 823????Accepted Submission(s): 222 Problem Description Bi Luo is a magic boy,he also has a mi[详细]
