关系型数据库(如Oracle)中,对分区表Insert数据时候,数据库自动会根据分区字段的值,将数据插入到相应的分区中,Hive中也提供了类似的机制,即动态分区(Dynamic Partition),只不过,使用Hive的动态分区,需要进行相应的配置。 先看一个应用场景,源表 t_table 的数据如下: SELECT day,url FROM t_table; 2015-05-10 url1 2015-05-10 url2 2015-06-14 url1 2015-06-14 url2 2015-06-15 url1 2015-06-15 url2 创建目标表
1、多泛型变量定义及字母规范
在现有的数据资产管理系统中,系统支持text、orc等格式的表,其中text格式的表列可以由多种分割符进行分割,由于需要,仓库中需要存储json相关的数据,因此,系统需要支持json格式表创建,遇到的问题总结如下:
为什么要用单例模式?手写几种线程安全的单例模式?
在实际后台服务开发中,RPC框架具有很大的优势,其中当前dubbo已经受到大家的关注和认可,现在开始进行手动码一个简单的RPC框架。 项目背景 假如项目背景为:
Gson介绍 Gson(又称Google Gson)是Google公司发布的一个开放源代码的Java库,主要用途为序列化Java对象为JSON字符串,或反序列化JSON字符串成Java对象。而JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,易于人阅读和编写,同时也易于机器解析和生成,广泛应用于各种数据的交互中,尤其是服务器与客户端的交互。 下载地址:https://mvnrepository.com/artifact/com.google.code.gson/gson 对象转JSON 单独转一个对象 Article item; Gson gson = new Gson(); String result = gson.toJson(item); 输出结果: ```java {“id”:1,”uuid”:”868621d3-d55d-486e-bd7e-1f2df5ec4746”,”title”:”Update Test Title”,”categories”:”Update Test Categories”,”tags”:”Update Test Tags”,”createTime”:”May 23, 2017 11:38:38 PM”,”updateTime”:”May 24, 2017 9:46:46 PM”,”enable”:true}
HashMap 简介 HashMap基于哈希表的 Map 接口的实现。此实现提供所有可选的映射操作,并允许使用 null 值和 null 键。(除了不同步和允许使用 null 之外,HashMap 类与 Hashtable 大致相同。)此类不保证映射的顺序,特别是它不保证该顺序恒久不变。 值得注意的是HashMap不是线程安全的,如果想要线程安全的HashMap,可以通过Collections类的静态方法synchronizedMap获得线程安全的HashMap。
将日期转换为Unix时间戳
添加meta
Data Discovery and Lineage for Big Data Ecosystem
分享简单的快乐
这个是关于动态代理的例子