-
大数据处理语言：U-SQL 介绍
所属栏目：[大数据] 日期：2021-03-06 热度：136
微软宣布了新的 Azure 数据湖（Azure Data Lake）服务，该服务被用于云分析，包括了一个超大规模信息库；一个在 YARN 上建立的新的的分析服务，该服务允许数据开发者和数据科学家分析全部的数据；还有 HDInsight，一个全面管理 Hadoop、Spark、Storm 和 HBas[详细]
-
大数定理_介绍和证明
所属栏目：[大数据] 日期：2021-03-06 热度：62
? ? ? 证明： 其实仔细看看公式下面的一句话： X的方差越少，事件{|x-u|e}发生的概率越大。 由于n无限的接近 总的变量数，导致X无限的接近期望u,所以方差约等于0 所 p{|x-u| =1-0/(e 2 )=1-0=1 (概率p的最大值＝1) ? 伯努利定理： ? ?[详细]
-
机器学习中距离和相似性度量方法
所属栏目：[大数据] 日期：2021-03-06 热度：58
在机器学习和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如 K 最近邻（KNN）和 K 均值（K-Means）等等。根据数据特性的不同，可以采用不同的度量方法。一般[详细]
-
为什么在大数据处理中Cassandra与Spark如此受欢迎？
所属栏目：[大数据] 日期：2021-03-06 热度：77
随着现代云应用对正常运行时间及性能水平的要求逐步提高，已经有越来越多用户开始将注意力集中在Apache Cassandra数据库身上。 那么，为什么要选择Apache Cassandra？这套分布式OLTP数据库能够带来高可用性与线性可扩展能力。在说起Cassandra的用途时，我们[详细]
-
模拟大数运算
所属栏目：[大数据] 日期：2021-03-06 热度：192
1.大数乘法 void multify( const char * a, const char * b){ assert(a != NULLb != NULL); int lena = strlen (a); int lenb = strlen (b); vector int sum(lena + lenb, 0 ); for ( int i = 0 ; i lena; i++){ for ( int j = 0 ; j lenb; j++){ sum[i + j[详细]
-
大数乘法、大数加法实现
所属栏目：[大数据] 日期：2021-03-06 热度：172
span style="font-size:14px;"#include iostream#include stack#include queue#include algorithm#include string.h#include cstdio#include stdlib.h#include cctypeusing namespace std;// 实现两个数的加法// 判断一个字符串是否为有效的数bool isValidNu[详细]
-
3只大牛教你从0到1构建大数据分析平台
所属栏目：[大数据] 日期：2021-03-05 热度：68
StuQ?联合三位大数据资深专家桑文锋、曹犟、付力力共同推出《从0到1构建大数据分析平台》精品小班教学，仅有50席位，精品小班课区别于大众在线视频教学，课程设置具有如下特色： 采用在线视频直播授课 以实战为主 在线解答疑问 课后作业review 精品小班课通[详细]
-
大数运算+web服务器
所属栏目：[大数据] 日期：2021-03-05 热度：126
//http.h#pragma?once???????????????????????????????????????????????????????????????????#includestdio.h#includestdlib.h#includestring.h#includesys/types.h#includesys/socket.h#includesys/sendfile.h#includesys/stat.h#includesys/epoll.h#includ[详细]
-
从搭台到唱戏，电商卷皮BI的实践演进和架构体系
所属栏目：[大数据] 日期：2021-03-05 热度：155
本文是6月16日大数据杂谈群分享的内容。 关注“大数据杂谈”公众号，点击“加群学习”，更多大牛一手技术分享等着你。 实习编辑：Melody 大家好，我是卷皮BI团队负责人柴楹，今天在这里给大家分享一下卷皮的BI和大数据的一些东西。 BI大数据是什么？ 首先我[详细]
-
NB-MAFIA: 基于N-List 的最长频繁项集挖掘算法
所属栏目：[大数据] 日期：2021-03-05 热度：91
基于N-List,提出一个高效的最长频繁项集挖掘算法NB-MAFIA，发表在《北京大学学报》上，论文可从以下网址免费下载： http://xbna.pku.edu.cn/CN/abstract/abstract2916.shtml[详细]
-
【bzoj4542】【HNOI2016】【大数】【莫队】
所属栏目：[大数据] 日期：2021-03-05 热度：123
Description 小 B 有一个很大的数 S，长度达到了 N 位；这个数可以看成是一个串，它可能有前导 0，例如00009312345 。小B还有一个素数P。现在，小 B 提出了 M 个询问，每个询问求 S 的一个子串中有多少子串是 P 的倍数（0 也 是P 的倍数）。例如 S为0077时，[详细]
-
论如何打造高性能大数据分析平台
所属栏目：[大数据] 日期：2021-03-05 热度：185
本文将从技术无关的角度讨论一些提高性能的方法。下面我们将讨论一些能够应用在大数据分析系统不同阶段的技巧和准则(例如数据提取，数据清洗，处理，存储，以及介绍)。本文应作为一个通用准则，以确保最终的大数据分析平台能满足性能要求。 1. 大数据是什么?[详细]
-
HPE大数据商业白皮书 | 大数据分析给OEM软件开发商带来巨大发展
所属栏目：[大数据] 日期：2021-03-05 热度：186
我们都知道：大数据的崛起不可逆转；迎接这一趋势才能驾驭未来。 IDC最新的预测表明，大数据技术市场将以26.4%的年复合增长率增长，到2018年将达到415亿美元——大约相当于整体信息技术市场增长率的六倍。此外，IDC相信，到2020年，业务部门采购者会将数据分[详细]
-
Acdream 1420 High Speed Trains（大数 + 容斥原理）
所属栏目：[大数据] 日期：2021-03-05 热度：198
传送门 High Speed Trains Time Limit: 2000/1000MS (Java/Others) Memory Limit: 128000/64000KB (Java/Others) Submit Statistic Next Problem Problem Description The kingdom of Flatland has n cities. Recently the king of Flatland visited Japan a[详细]
-
【剑指offer】（扩展）大数相加
所属栏目：[大数据] 日期：2021-03-05 热度：55
问题： 实现一个加法，将两个大数相加，不使用BigInteger。 分析： 使用字符串或者数组，实现每位相加进位，要注意两个数对齐及最终进位的情况。 首先将两个字符串倒置，方便补0将位数对齐及逐位相加。并且使用StringBuffer方便字符串修改。 注意：字符实现[详细]
-
.net中大数处理的一些算法思想
所属栏目：[大数据] 日期：2021-03-05 热度：136
? 在 .NET 开发中,有时会因为处理一些边缘学科的知识内容,如统计,金融,天文等计算,是加密解密算法 都会涉及到大数的运算,就是.net中最大数值类型储存了都会溢出的数,我的一个想法是计算时用数值类型,储 存(暂时)和输出时是字符串 那么储存时就需要BOX[n] n个[详细]
-
构建数据处理“小窗口”、实现渠道掌控“大作为”| 记渠道监控中
所属栏目：[大数据] 日期：2021-03-02 热度：104
点击上方 蓝色字体 关注我们 作者 吴逊 ? ? ?浙江移动业务架构师 肖亮 ? ? ?浙江移动实体渠道运营管理 建设背景 ? 在当下移动互联网高速发展的时代，企业以前的金字塔组织结构，已经不能快速响应市场需求，移动互联网时代，商业流的加速，使得用户需求瞬息万[详细]
-
『Data Science』R语言学习笔记，基础语法
所属栏目：[大数据] 日期：2021-03-01 热度：149
Data Types Data Object Vector x - c(0.5,0.6) ## numericx - c(TRUE,FALSE) ## logicalx - c(T,F) ## logicalx - c("a","b","c") ## characterx - 9:29 ## integerx - c(1+0i,2+4i) ## complexx - vector("numeric",length = 10) ## create a numeric vect[详细]
-
图解机顶盒数据处理流程
所属栏目：[大数据] 日期：2021-03-01 热度：171
1. 前端数据的打包、调制 与 广播 前端系统负责将电视节目的音视频数据，数字电视业务信息的各种表 按照 数字电视业务信息规范，打包成 ts 流，然后进行调制，再通过cable线，卫星，地面直播信号塔这些物理信道进行广播。 两层复用：多个电视节目通过? 时分[详细]
-
深度解析 Twitter Heron 大数据实时分析系统
所属栏目：[大数据] 日期：2021-03-01 热度：106
2015年6月1号， Twitter 对外宣讲了他们的Heron系统， 从ppt和论文中，看起来完爆storm。昨天，抽空把论文，仔细读了一遍， 把个人笔记和心得分享一下： 摘要： Heron更适合超大规模的机器， 超过1000台机器以上的集群。 在稳定性上有更优异的表现， 在性能[详细]
-
81个开源大数据处理工具汇总（下），包括日志收集系统/集群管理/
所属栏目：[大数据] 日期：2021-03-01 热度：78
上一部分：http://my.oschina.net/u/2391658/blog/711016 第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。 ? 日志收集系统 一、Facebook?Scribe 贡献者 ：Faceb[详细]
-
81个开源大数据处理工具汇总（上），包括查询引擎/流式计算/存储
所属栏目：[大数据] 日期：2021-03-01 热度：175
本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。下面是第一部分。 查询引擎 一、Phoenix 贡献者：：Salesforce 简介：这是一个Java中间层，可以让开发者在Apache H[详细]
-
文本挖掘的基本流程
所属栏目：[大数据] 日期：2021-03-01 热度：153
一、获取文本 ??我们获取网络文本，主要是获取网页HTML的形式。我们要把网络中的文本获取文本数据库(数据集)。编写爬虫（Spider）程序,抓取到网络中的信息。可以用广度优先和深度优先；根据用户的需求，爬虫可以有垂直爬虫和通用爬虫之分，垂直爬取主要是在[详细]
-
Mondrian 4 测试的简单demo（Saiku简单测试Schema文件）
所属栏目：[大数据] 日期：2021-03-01 热度：168
##?整理此文章方便大家做测试（手写Mondrian?Schema自测），不必每次都向saiku上传文件了 ##?关键文件 *?foodmart4.xml??测试对应的schema文件 *?foodmart-sql.zip????测试对应的数据库脚本 maven项目： pom文件 project?xmlns=" http://maven.apache.org/PO[详细]
-
EMC存储上的大数据 – 大数据分析实施路线
所属栏目：[大数据] 日期：2021-03-01 热度：84
? ? ?企业一直在处理快速增长的数据量（也称为大数据）的存储和管理问题。本文为系列的第十篇，介绍了发现适当的大数据业务机会并制定利用该机会的全面路线图。 ? ???? 大数据时代，各公司都在努力挖掘有关他们业务的令人信服的见解，以赢得竞争优势。他们在[详细]
