• 【干货】蒋步星:关系代数的问题及尝试

    有些传统OLAP工具能够根据维的类型自动关联,但解决得不彻底,当同一个表中出现多个同维字段时就会对不上了,比如一个学生有出生地和入学地,都是地区维度,就不知道该怎么自动对应了。对于自关联的处理也很麻烦,...
    文章 2017-04-03 1103浏览量
  • 《计算机网络:自顶向下方法(原书第6版)》一1.8 小...

    作为该题的遗留问题,假定使用分组交换。为什么如果两个或更少的用户同时传输的话,在链路前面基本上没有排队时延?为什么如果3个用户同时传输的话,将有排队时延?c.求出某指定用户正在传输的概率。d.假定现在有3个...
    文章 2017-06-02 6946浏览量
  • C#黔驴技巧之去重(Distinct)

    总结上述结果耗时大小比较理论应该不会出现逆转的情况,只是多少的问题,数据量较少时理论上差异也很明显,本文对于去重方式只是基于性能角度来分析,还是那句话大部分情况下,我们完全不需要考虑这些问题,不过,...
    文章 2020-05-10 443浏览量
  • 从MapReduce的执行来看如何优化MaxCompute(原ODPS)...

    所以当分片处理的不合理,map阶段就会出现问题。而map端经过shuffle和combianer(可选)后,会把数据交给reduce端。从input&split 到map可能出现的问题 输入存在大量小文件,导致map instance数量超标>同上 ...
    文章 2017-07-21 5863浏览量
  • 中国互联网大会:数据挖掘解决微博商业化难题

    “现在的数据特别多,如果能把我们的数据使用好,包括数据、数据挖掘能力、算法、平台……有这些东西,就能够很好地解决商业化的一些问题。以下是腾讯微博高自光的分享实录: 大家下午好,我用30分钟分享一下我们在...
    文章 2017-04-03 888浏览量
  • MapReduce的模式,算法以及用例

    这个问题可以用上一节提到的框架来解决。我们咋下面定义了名为 getMessage和 calculateState 的方法: 1 class N 2 State in {True=2,False=1,null=0}, 3 initialized 1 or 2 for end-of-line categories,0 ...
    文章 2015-01-28 700浏览量
  • Hive性能优化

    继续《那些年使用Hive踩过的坑》一文中的剩余部分,本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现问题。下面开始本篇文章的优化介绍。2.介绍 首先,我们来看看Hadoop的计算框架特性,在此...
    文章 2016-04-19 3149浏览量
  • Hive性能优化

    继续《那些年使用Hive踩过的坑》一文中的剩余部分,本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现问题。下面开始本篇文章的优化介绍。2.介绍 首先,我们来看看Hadoop的计算框架特性,在此...
    文章 2016-04-25 3230浏览量
  • Hive性能优化(全面)

    问题:日志中常会出现信息丢失,比如每日约为 20 亿的全网日志,其中的 user_id 为主 键,在日志收集过程中会丢失,出现主键为 null 的情况,如果取其中的 user_id 和 bmw_users 关联,就会碰到数据倾斜的问题。...
    文章 2018-02-05 1901浏览量
  • Hive性能优化(全面)

    问题:日志中常会出现信息丢失,比如每日约为 20 亿的全网日志,其中的 user_id 为主 键,在日志收集过程中会丢失,出现主键为 null 的情况,如果取其中的 user_id 和 bmw_users 关联,就会碰到数据倾斜的问题。...
    文章 2019-12-30 1489浏览量
  • 256变4096:分库分表扩容如何实现平滑数据迁移?

    五 总结整个数据迁移过程还是比较复杂的,时间也不是很充裕(过程中还穿插着十一全链路压测改造),在有限的时间内集大家之力重复讨论挖掘可能存在的问题,然后论证解决方案,不放过任何一个可能出现问题的环节,...
    文章 2021-03-01 6346浏览量
  • 稳定性专题|通过链路追踪快速发现和定位业务问题的...

    在介绍业务分析功能之前,先简单提两个问题,大家发散思考下怎么解决这两个问题。1、某个应用的对外接口流量突增,是不是由于某个用户或者地域流量暴涨?2、应用出现比较多空指针异常,这些异常对业务有多大的影响?...
    文章 2020-01-20 5381浏览量
  • 系统架构-性能篇章2(系统拆分2-问题

    从上面的理论提出,你应该看到如果请求过大,这里虽然做了100的增长,在并发量极高的时候,也是会出现问题的,为了降低压力,我们想用两个序列,但是又想保证一致性,没办法吗?不是,办法稍微变通下,就是每个序列...
    文章 2011-11-15 1430浏览量
  • 一个秒杀系统的设计思考

    秒杀无外乎解决两个核心问题,一是并发读,一是并发写,对应到架构设计,就是高可用、一致性和高性能的要求。关于秒杀系统的设计思考,本文即基于此 3 层依次推进,简述如下—— 高性能:秒杀涉及高读和高写的支持,...
    文章 2020-06-23 1600浏览量
  • 【Linux】Linux中正则表达式

    这条简单的命令就轻松解决了我们的问题,。d?你纳闷了,这个小东西配合起来怎么会有那么大的威力呢?这好比玩三国杀时刘备、司马懿、香香之间配合的威力……"^d",就是正则表达式的用法,"^"表示匹配行首,"^d"合...
    文章 2014-12-10 1640浏览量
  • SLS:海量日志数据管理利器

    其实以上只是典型的在线服务系统的一部分日志,还有数据库、网络服务、文件系统等的日志能够帮助管理人员在出现问题时及时处理。6个月之后,小A的应用非常受欢迎,不仅数据量和机器数目随之增加,SLS服务能力也随之...
    文章 2016-12-25 10169浏览量
  • Apache Storm 官方文档 —— Trident 教程

    Trident 同样有联结(join)、聚合(aggregation)、分组(grouping)、函数(function)以及过滤器(filter)这些功能。Trident 为数据库或者其他持久化存储上层的状态化、增量式处理提供了基础原语。由于 Trident ...
    文章 2016-04-01 1399浏览量
  • Apache Storm 官方文档 —— Trident 教程

    Trident 同样有联结(join)、聚合(aggregation)、分组(grouping)、函数(function)以及过滤器(filter)这些功能。Trident 为数据库或者其他持久化存储上层的状态化、增量式处理提供了基础原语。由于 Trident ...
    文章 2017-05-22 1369浏览量
  • DockOne微信分享(一零七):SRE工程实践——基于时间...

    Q:数据量庞大的情况怎么解决,比如说万台机器,500个指标数据等 一分钟一个点 60243050010000 的数据量,如何保存,如何快速查询数据。需要什么样的架构和硬件?A:简单回答,Prometheus可以通过分组支持大规模的...
    文章 2017-10-12 1964浏览量
  • SQL入门,就这么简单

    那么数据库是怎么解决这个问题的呢?答案是:约束。约束作用域每一列,约束用于规定表中的数据存储规则。如果我们在录入数据时,不符合约束的规定,那么你将不能把该记录录入数据库中。3,约束 数据库中主要的约束有...
    文章 2020-04-22 409浏览量
  • HIVE TopN shuffle 原理

    在这种情况下,每个分组内取 topN 的逻辑采用 GBY 的逻辑就可以了,于是就解决了这问题。后记 这里有一个给笔者造成很大困扰的问题问题的根源就在于这个返回值 TopNHash.FORWARD。由于 map 端的输入是无序的,那么...
    文章 2019-03-21 1395浏览量
  • SLS:海量日志数据管理利器

    其实以上只是典型的在线服务系统的一部分日志,还有数据库、网络服务、文件系统等的日志能够帮助管理人员在出现问题时及时处理。6个月之后,小A的应用非常受欢迎,不仅数据量和机器数目随之增加,SLS服务能力也随之...
    文章 2016-03-14 6636浏览量
  • 阿里巴巴电商搜索推荐实时数仓演进之路

    第二是Lightning采用的是公共集群,多用户资源不隔离,当需要查询大量数据时,容易出现性能波动和资源排队等问题,使得查询耗时较久,在实际业务场景使用中有一定的限制。2)实时数仓架构 2.0版 基于Lightning的限制...
    文章 2020-09-08 6428浏览量
  • 基于containerpilot的服务注册与发现

    所谓分久必合合久必分,分治可以解决all in one的问题,但是更多的问题因为隔离而产生,为了解决这些问题又会有相应的工具产生。作为已经不算火热的微服务概念,落地解决方案也渐渐成熟和成型,为了说明...
    文章 2017-11-04 2248浏览量
  • Java程序员在写SQL程序时候常犯的10个错误

    它(也许)解决了表面症状但并没有解决问题。它也有可能无法解决极端情况下的症状。对具有很多列的庞大的结果集合来说它很慢。DISTINCT要执行ORDER BY操作来消除重复。对庞大的笛卡尔积集合来说它很慢,还是需要加载很...
    文章 2016-05-18 1650浏览量
  • 【NIO系列】——之TCP探秘

    此时可以定位这些问题IP,通过防火墙过滤就能解决大量的假连接问题。六、消失的连接——TIME_WAIT 在网络中,某一端主动关闭而没有通过四次握手关闭,此时tcp已经建立的通道是否还在,多久会关闭?此时的TCP 状态为...
    文章 2018-06-29 2967浏览量
  • Hadoop/Spark相关面试问题总结

    大体分为四大类,分类、聚类、回归、协同过滤。8、简答说一下hadoop的map-reduce编程模型?首先map task会从本地文件系统读取数据,转换成key-value形式的键值对集合。将键值对集合输入mapper进行业务处理过程,将其...
    文章 2015-07-16 1140浏览量
  • Java程序员在写SQL程序时候常犯的10个错误

    它(也许)解决了表面症状但并没有解决问题。它也有可能无法解决极端情况下的症状。对具有很多列的庞大的结果集合来说它很慢。DISTINCT要执行ORDER BY操作来消除重复。对庞大的笛卡尔积集合来说它很慢,还是需要加载很...
    文章 2013-08-05 1307浏览量
  • 云栖PPT下载|破解企业数据库“疑难杂症”,最佳实践...

    幂等同步:采用独有的幂等同步算法,合并热点、解决数据重复、多次提交等疑难问题,完美解决断点续传以及各种数据冲突场景。加密压缩:提供智能数据压缩能力,根据网络环境选择数据压缩,极大节省网络带宽并提高网络...
    文章 2019-10-16 1529浏览量
  • 前端开发知识点整理

    此处是不是又要出现,经典问题:当你在浏览器输入 URL 并回车(非单页应用的传统网站),直到你看见这个页面,此时经历了哪些过程(略去浏览器渲染环节)。TCP/IP HTTP 请求 请求头 请求正文 响应 HTTP 状态码(2xx...
    文章 2017-12-14 2437浏览量
1 2 3 4 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化
http://www.vxiaotou.com