月度归档: 2022 年 6 月
spark IDEA代码初步
IDEA通过DS+Row查询数据 IDEA通过case cla…
spark表缓存
实测可以从1s降低到76ms scala> val df…
spark-SQL连接Hive
server端(biddata166主机hive/conf目录下…
scala 日志统计代码 自定义分区 数据库连接
自定义分区: &nbs…
集群网关设置
重新检查并尝试备份一下网络配置顺便配置…
记录一个bug
spark cache checkpoints mapPartitionsWithIndex aggregate
aggregate:聚合, …
scala两种环境备忘
IDEA环境: HDFS环境: 其…
CDH部署
安装分布式,标准:各机器能ping通各机器…