您现在的位置是：主页 > news > 吴彦祖做的艺术家网站/湖南手机版建站系统开发
吴彦祖做的艺术家网站/湖南手机版建站系统开发
admin2025/6/27 4:58:19【news】
简介吴彦祖做的艺术家网站,湖南手机版建站系统开发,自己有域名如何做网站,有些网站为什么可以做资讯前言 较为准确的估算出一个Dataset的大小，有助于对该Dataset下一步的操作做规划，比如是否可以直接使用collect、使用cache还是checkpoint等等。那么如果做个较为准确的评估呢？ 近似计算公式 Dataset大小（ M） = (N * V * W) / 1024^2 其中： N = 数据的条数 V = 字段的数…
吴彦祖做的艺术家网站,湖南手机版建站系统开发,自己有域名如何做网站,有些网站为什么可以做资讯前言
较为准确的估算出一个Dataset的大小，有助于对该Dataset下一步的操作做规划，比如是否可以直接使用collect、使用cache还是checkpoint等等。那么如果做个较为准确的评估呢？
近似计算公式 Dataset大小（ M） = (N * V * W) / 1024^2 其中： N = 数据的条数 V = 字段的数…
前言
较为准确的估算出一个Dataset的大小，有助于对该Dataset下一步的操作做规划，比如是否可以直接使用collect、使用cache还是checkpoint等等。那么如果做个较为准确的评估呢？
近似计算公式
Dataset大小（ M） = (N * V * W) / 1024^2
其中：
N = 数据的条数
V = 字段的数量
W = 每个字段的平均大小（单位是字节）
如何计算W呢？
| 字段类型 | 大小（B） |
|---|---|
| integers：−127 <= x <= 100 | 1 |
| Integers：32,767 <= x <= 32,740 | 2 |
| Integers： -2,147,483,647 <= x <= 2,147,483,620 | 4 |
| Floats | 4 |
| Doubles | 8 |
