字符串函数字符串函数字符串长度函数： length字符串反转函数： reverse字符串连接函数：concat带分隔符字符串连接函数：concat_ws字符串截取函数：substr,substring(string A, intstart, int len)字符串转大写函数：upper,ucase字符串转小写函数：lower,lcase去空格函数：trim左边去空格函数：ltrim右边去空格函数
转载
2023-07-14 22:41:39
355阅读
hive 的自带 函数
LIKE比较: LIKE
语法: A LIKE B
操作类型: strings
描述: 如果字符串A或者字符串B为NULL，则返回NULL；如果字符串A符合表达式B的正则语法，则为TRUE；否则为FALSE。B中字符”_”表示任意单个字符，而字符”%”表示任意数量的字符。
举例：
hive> select 1 from dual where ‘football
转载
2024-01-23 20:57:35
126阅读
文章目录通过方法解析现实示例通过序列化实现示例 通过方法解析现实在 Hive 中提供了直接解析 JSON 字符串数据的方法 get_json_object(json_txt, path)，该方法参数解析如下：json_txt：顾名思义，就是 JSON 字符串；path：指的是匹配 JSON 字符串的格式，通过固定的语法获取 JSON 字符串中的内容。常用的 path 参数匹配符号有四个，分别是：
转载
2024-07-18 14:36:52
31阅读
产品出了一个奇怪的需求，想通过字符串相似度取匹配城市= =（当然，最后证实通过字符串相似度取判断两个字符串是不是一个城市是不对的！！！）这里就记录一下我计算字符串(英文字符串)相似度的方法吧～参考文档：python_levenshtein 的安装和使用相似度算法之余弦相似度LevenshteinLevenshtein.hamming(str1, str2)计算汉明距离。要求str1和str2必须长
转载
2023-09-06 17:12:46
156阅读
第6章查询查询语句语法：[WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available
starting with Hive 0.13.0)
SELECT [ALL | DISTINCT] select_expr, select_expr, ...
FROM table_reference
0.这个算法实现起来很简单
1.百度百科介绍： Levenshtein 距离，又称编辑距离，指的是两个字符串之间，由一个转换成另一个所需的最少编辑操作次数。 许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。 编辑距离的算法是首先由俄国科学家Levenshtein提出的，故又叫Levenshtein Distance。
2.用途 模糊查
转载
2023-10-31 17:36:57
121阅读
目录1. ascii(string str)2.base64(binary bin)3.character_length(string str)4.chr(bigint|double A)5.concat(string|binary A, string|binary B...)6.context_ngrams(array<array<string>>, array<
转载
2023-07-12 11:43:40
489阅读
0.这个算法实现起来很简单1.百度百科介绍：Levenshtein 距离，又称编辑距离，指的是两个字符串之间，由一个转换成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。编辑距离的算法是首先由俄国科学家Levenshtein提出的，故又叫Levenshtein Distance。2.用途模糊查询3.实现过程a.首先是有两个字符串,这里写一个简
转载
2023-08-25 16:29:08
93阅读
1. 背景项目中经常用到字符串模糊匹配，这里就用到了字符串的匹配算法， 例如，我们有字符串A=“abcabcdhijk”，B=“abce”，求字符串B在字符串A中的位置，这种子串的定位操作通常称作串的匹配模式。我们把字符串A称为主串，子串B称为模式串。2. 朴素模式匹配算法假如让我们求上面那个例子中，字串B在主串A中是否存在，若存在，求在主串A中的什么位置2.1 图片分析我们先从第一个字符去匹配，
转载
2024-06-25 11:37:28
75阅读
时下机器学习和大数据可谓是互联网行业炙手可热的术语，Viktor Mayer在Big Data一书中提到大数据时代我们需要的是混杂性而不是精确性，统计意义在大数据下给了我们更多空间。既然不过分追求精确性，那么字符串完全比配也就不那么重要了，字符串的相似度将会扮演更重要的角色。相似度评价在信息检索系统中也有非常广泛的使用，那么我们可以用那些方法评价字符串的相似度呢，换个说法就是求字符串之间的距离。&
转载
2023-09-04 22:36:03
435阅读
hive 常用运算
第一部分：关系运算
Hive支持的关系运算符
•常见的关系运算符
•等值比较: =
•不等值比较: <>
•小于比较: <
•小于等于比较: <=
•大于比较: >
•大于等于比较: >=
•空值判断: IS NULL
•非空判断: IS NOT NULL
•LIKE比较: LIKE
•JAVA的LIKE操作: RLIKE
•REGEXP操作
转载
2024-05-18 12:54:05
58阅读
前言在数据存储时研发端经常为了方便很多字段为了冗余存储了文本格式：json或者固定分隔符，但是数仓和数据分析在处理的时候又要进行取出单独的某个字段，进行使用，本文会详解下平时在工作中遇到的问题与处理办法。字符串固定分隔符处理案例：字符串以：|*|分隔，k-v以:分隔，取出其中scene_ids字段值 字符串：|*|cityId:201|*|qId:4890f057-8c8d-4fd6-8029-9
转载
2023-07-12 11:40:23
2601阅读
SpringBoot 2.1.4与Mybatis集成--实现Map内的Key自动转换为驼峰的命名
编者： wRitchie(吴理琪
使用Mybatis的时候，简单的连表查询，用Map接收的时候，key值如数据库定义的字段一样，例如：user_id， user_name，没有转换为驼峰，但是又不能因为这个，去定义一个Javabean来映射数据库字段集合，或者在Mybatis的xml文件中定义一
转载
2024-06-11 06:22:04
62阅读
1. 字符 ascii 码函数:ascii语法: ascii(string str)返回值: int说明:返回字符串 str 中第一个字符的ascii 码举例:hive> select ascii('ba') from test;
OK
982. base64 字符串语法: base64(binary bin)返回值: string说明:返回二进制 bin 的 base 编码字符串举例:hi
转载
2023-07-21 16:39:04
171阅读
近期校验数据，深感自己还有太多需要好好学习的地方，尤其是mentor师父写的hql和自己写的一对比，效率提升太多了。 将自己最近遇到的和看到相关的，先记录整理下。查看表和字段信息查看表的信息两种方式showhive -e " show create tableName ;"deschive -e "desc tableName;"两个都会显示相应字段、字段的类型和对应的注释；查看当前用户有的表 s
转载
2023-09-08 13:02:19
203阅读
Hive是基于Hadoop生态的一个重要组件，是对数据仓库进行管理和分析数据的工具。她提供了SQL查询方式来分析存储在HDFS分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能。 这种SQL就是Hive SQL，她可以将SQL语句转换为Map Reduce任务运行，通过特殊的SQL去查询分析需要的内容，使不熟悉map reduce
转载
2024-08-16 07:05:50
9阅读
这个知识点不常用到，所以感觉会容易忽略忘记，不过又是java基础内容，下边写区别,下边文字大部分从别人那里粘贴来的，不过已经忘记出处了1、char转int，指的是数字字符转整数，因为字符分数字字符（0-9）和非数字字符字符，而我们一般说的字符转整数，指的就是数字字符转整数。字符转整数过程是，先将字符类型转化成字符串，然后再字符串转化成整数，假设c是char类型，i是int类型，s是String类型
转载
2024-02-26 18:22:49
43阅读
字符串函数 String Functionsascii(string str)返回结果: 返回字符串str首字母的十进制ascii码返回类型: int
select ascii('ABC'); -- 结果为 65base64(binary bin)返回结果: 将二进制转换为base64编码返回类型: string
select base64(encode('Uncle Bean', 'u
转载
2023-08-22 19:56:16
429阅读
hive里经常需要将字符串转化为date或timestamp 或者转化为日期格式的string先说一个简单的 cast(xx as date/string/timestamp) 这个大多情况都可以用1.to_dateto_date只保留年月日,参数必须是string类型的yyyy-MM-dd HH:mm:ss或者date或timestamp类型,返回值是date类型，注意这个返回类型，这个是少数返
转载
2023-12-13 16:01:08
50阅读
工作中需要合并区号与号码，因两个字段均为数值，无法直接使用 “+” 进行拼接，需要通过其他方法。一、concat拼接concat 将多个字段（字段类型可不相同）拼接起来。使用语法为：-- 语法
concat(string a, int b, float c)
-- 拼接多个字段
select concat('aa', 100, 5.5) from table_name;
-- 按分隔符拼接
s
转载
2023-05-22 22:23:54
2144阅读
