• 阿里云ECS资源分组之创建资源支持资源分组

    资源组是一种偏向解决方案的分组策略,有专门的控制台进行集合的资源操作(企业控制台)。在企业控制台可以对资源进行资源组间的转换,本文介绍的更偏向控制台操作(非OpenAPI操作),因此授权操作会直接在企业控制...
    文章 2019-05-07 1021浏览量
  • 【干货】蒋步星:关系代数的问题及尝试

    用计算机解决问题的过程是类似的,拿到一个问题,想出解法,然后还要把解法翻译成计算机能理解能执行的动作才能完成。那么代码为什么难写呢?其中很大一部分原因是用来记录解法的形式语言和人的自然思维相差很远,它...
    文章 2017-04-03 1103浏览量
  • MySQL 大批量插入,如何过滤掉重复数据?

    总去想之前怎么可以,现在怎么不行了,这也是有问题的!我发现,最近确实状态不太对,失去了探索和求知的欲望,今天算是一个警醒,颇有迷途知返的感觉。言归正传,下面详细介绍去重步骤。CREATE TABLE `animal` `id`...
    文章 2021-08-10 42浏览量
  • Facebook是怎么做到每秒索引数百万条记录的?

    我们已经采用一种新方法而非通过预整理数据集或维护二级索引数据结构这两种方法,来解决如何跳过非必要数据以提高过滤器性能这一问题。假定系统中所有的表格都是被每一维度列进行分区排列的,我们对传统的数据库分区...
    文章 2017-07-03 925浏览量
  • 电商网站数据分析的重要性

    如果你的转换率很低,你需要找出原因-销售不畅,导航问题,等等-并解决这些问题。Analytics(分析)的电子商务比其他网站不同,虽然它们可能看起来很复杂,他们不是。通过实施正确的战略就可以得到您的网站怎么运行...
    文章 2015-12-30 1976浏览量
  • 《计算机网络:自顶向下方法(原书第6版)》一1.8 小...

    作为该题的遗留问题,假定使用分组交换。为什么如果两个或更少的用户同时传输的话,在链路前面基本上没有排队时延?为什么如果3个用户同时传输的话,将有排队时延?c.求出某指定用户正在传输的概率。d.假定现在有3个...
    文章 2017-06-02 6946浏览量
  • Facebook是怎么做到每秒索引数百万条记录的?

    我们已经采用一种新方法而非通过预整理数据集或维护二级索引数据结构这两种方法,来解决如何跳过非必要数据以提高过滤器性能这一问题。假定系统中所有的表格都是被每一维度列进行分区排列的,我们对传统的数据库分区...
    文章 2017-08-01 1085浏览量
  • 一次有趣的Elasticsearch+矩阵变换聚合实践

    学会培养一些算法思维,用微观算法的思维分析问题解决问题。本次项目中采用矩阵转换,有效避免了诸多技术产品的不足,满足了性能与功能。项目案例是在 2019 年 3 月完成,时任职于跨越速运大数据中心。项目方案依赖...
    文章 2020-06-16 1437浏览量
  • C#黔驴技巧之去重(Distinct)

    其实我们大可借助该比较接口实现通用解决方案,对于每一个类都得实现一个比较器的原因在于,我们将属性比较放在类该接口内部,如果我们将属性比较放在外围呢,这个时候就达到了通用解决方案,那么我们怎么实现呢,...
    文章 2020-05-10 443浏览量
  • SQL语言艺术实践篇——局外思考

    刚好这阵子正好看过《SQL语言艺术》,有一章节就讲:战略大于战术,有时候解决问题,仅仅需要站在局外思考(Think Outside),不要因为太关注问题本身而受到干扰。我们需要大胆的思维,站得跟远一些。试着从大局的角度...
    文章 2016-04-22 1087浏览量
  • 深度学习如何应用在广告、推荐及搜索业务?...

    这样的挑战怎么解决?我们分析了现在在互联网的深度学习建模里面经常用的分布方式叫参数服务器(Parameter Server),我的样本有一个worker遍历样本,需要参数的时候从server端取参数。能不能承担这样的计算?首先把...
    文章 2018-04-16 4734浏览量
  • 中国互联网大会:数据挖掘解决微博商业化难题

    “现在的数据特别多,如果能把我们的数据使用好,包括数据、数据挖掘能力、算法、平台……有这些东西,就能够很好地解决商业化的一些问题。以下是腾讯微博高自光的分享实录: 大家下午好,我用30分钟分享一下我们在...
    文章 2017-04-03 888浏览量
  • 【阿里算法天才盖坤】解读阿里深度学习实践,CTR 预估...

    这样的挑战怎么解决?我们分析了现在在互联网的深度学习建模里面经常用的分布方式叫参数服务器(Parameter Server),我的样本有一个worker遍历样本,需要参数的时候从server端取参数。能不能承担这样的计算?首先把...
    文章 2018-04-09 4340浏览量
  • MapReduce的模式,算法以及用例

    这个问题可以用上一节提到的框架来解决。我们咋下面定义了名为 getMessage和 calculateState 的方法: 1 class N 2 State in {True=2,False=1,null=0}, 3 initialized 1 or 2 for end-of-line categories,0 ...
    文章 2015-01-28 700浏览量
  • Hive性能优化(全面)

    这是通用的算法优化,但算法优化有时不能适应特定业务背景,开发人员了解业务,了解数据,可以通过业务逻辑精确有效的解决数据倾斜问题。数据量较大的情况下,慎用count(distinct),count(distinct)容易产生倾斜问题...
    文章 2018-02-05 1901浏览量
  • Hive性能优化

    这是通用的算法优化,但算法优化有时不能适应特定业务背景,开发人员了解业务,了解数据,可以通过业务逻辑精确有效的解决数据倾斜问题。数据量较大的情况下,慎用count(distinct),count(distinct)容易产生倾斜问题...
    文章 2016-04-19 3149浏览量
  • Hive性能优化

    这是通用的算法优化,但算法优化有时不能适应特定业务背景,开发人员了解业务,了解数据,可以通过业务逻辑精确有效的解决数据倾斜问题。数据量较大的情况下,慎用count(distinct),count(distinct)容易产生倾斜问题...
    文章 2016-04-25 3230浏览量
  • Hive性能优化(全面)

    这是通用的算法优化,但算法优化有时不能适应特定业务背景,开发人员了解业务,了解数据,可以通过业务逻辑精确有效的解决数据倾斜问题。数据量较大的情况下,慎用count(distinct),count(distinct)容易产生倾斜问题...
    文章 2019-12-30 1489浏览量
  • 稳定性专题|通过链路追踪快速发现和定位业务问题的...

    在介绍业务分析功能之前,先简单提两个问题,大家发散思考下怎么解决这两个问题。1、某个应用的对外接口流量突增,是不是由于某个用户或者地域流量暴涨?2、应用出现比较多空指针异常,这些异常对业务有多大的影响?...
    文章 2020-01-20 5381浏览量
  • 一个秒杀系统的设计思考

    秒杀无外乎解决两个核心问题,一是并发读,一是并发写,对应到架构设计,就是高可用、一致性和高性能的要求。关于秒杀系统的设计思考,本文即基于此 3 层依次推进,简述如下—— 高性能:秒杀涉及高读和高写的支持,...
    文章 2020-06-23 1600浏览量
  • SLS:海量日志数据管理利器

    因此开发人员和运维人员只需将注意力放在具体的业务逻辑上,所有异构系统、机器等细节问题都由SLS服务解决,将所有机器上日志当成在一台机器上使用。例如:有一个业务场景横向分布在3台机器(Machine1、Machine2和...
    文章 2016-12-25 10169浏览量
  • 第2版》第10章 数据聚合与分组运算

    第10章 数据聚合与分组运算第11章 时间序列第12章 pandas高级应用第13章 Python建模库介绍第14章 数据分析案例附录A NumPy高级应用附录B 更多关于IPython的内容(完) 对数据集进行分组并对各组应用一个函数(无论是...
    文章 2017-12-17 912浏览量
  • 256变4096:分库分表扩容如何实现平滑数据迁移?

    怎么解决问题呢?我们采用数据染色方案,只要能够标识写入到数据库中的数据使data-sync中间件写入而非业务写入,当下次接收到该binlog数据的时候就不需要进行再次消息流转。所以data-sync中间件要求,每个数据库...
    文章 2021-03-01 6346浏览量
  • SQL入门,就这么简单

    那么数据库是怎么解决这个问题的呢?答案是:约束。约束作用域每一列,约束用于规定表中的数据存储规则。如果我们在录入数据时,不符合约束的规定,那么你将不能把该记录录入数据库中。3,约束 数据库中主要的约束有...
    文章 2020-04-22 409浏览量
  • 【Linux】Linux中正则表达式

    这条简单的命令就轻松解决了我们的问题,。d?你纳闷了,这个小东西配合起来怎么会有那么大的威力呢?这好比玩三国杀时刘备、司马懿、香香之间配合的威力……"^d",就是正则表达式的用法,"^"表示匹配行首,"^d"合...
    文章 2014-12-10 1640浏览量
  • 系统架构-性能篇章2(系统拆分2-问题

    9、各类批量分组、切换、扩展的问题。10、统一监控和恢复问题。进入正题: 一、负载均衡设备的问题: 负载均衡设备就是当系统被拆分为多个节点进行发布后,前端应用系统访问的过程中,还是应当有一个被一个统一认识...
    文章 2011-11-15 1430浏览量
  • HIVE TopN shuffle 原理

    在这种情况下,每个分组内取 topN 的逻辑采用 GBY 的逻辑就可以了,于是就解决了这问题。后记 这里有一个给笔者造成很大困扰的问题问题的根源就在于这个返回值 TopNHash.FORWARD。由于 map 端的输入是无序的,那么...
    文章 2019-03-21 1395浏览量
  • Apache Storm 官方文档 —— Trident 教程

    Trident 同样有联结(join)、聚合(aggregation)、分组(grouping)、函数(function)以及过滤器(filter)这些功能。Trident 为数据库或者其他持久化存储上层的状态化、增量式处理提供了基础原语。由于 Trident ...
    文章 2016-04-01 1399浏览量
  • Apache Storm 官方文档 —— Trident 教程

    Trident 同样有联结(join)、聚合(aggregation)、分组(grouping)、函数(function)以及过滤器(filter)这些功能。Trident 为数据库或者其他持久化存储上层的状态化、增量式处理提供了基础原语。由于 Trident ...
    文章 2017-05-22 1369浏览量
  • 阿里巴巴电商搜索推荐实时数仓演进之路

    在排查问题或观测核心商家指标时,经常需要指定商家ID、商品ID查询实时指标,需要基于明细实时表中的id字段过滤后进行聚合计算;流批一体 由于实时数仓仅保留最近2天的数据,在面对计算同比、环比等需求时,就需要...
    文章 2020-09-08 6428浏览量
1 2 3 4 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化
http://www.vxiaotou.com