python快速去除非数字字符

转载

definitely 2024-10-01 11:40:47

文章标签 python快速去除非数字字符 python 正则表达式 mysql 时间戳 文章分类 Python 后端开发

文章目录

基础应用

1. 引入正则表达式模块
2. 基本匹配
3. 替换与分割
4. 编译正则表达式
5. 正则表达式基础
6. 实战技巧
7. 更高级的正则表达式功能

预查（Lookahead 和 Lookbehind）
非捕获组（Non-capturing Group）
重复限定符的贪婪与非贪婪

8. 实践与调试
9. 性能考虑
10. 学习资源

应用案例

示例1：提取网页中的所有链接
示例2：清洗电话号码
示例3：过滤敏感词汇
示例4：解析日志文件中的时间戳
示例5：提取电子邮件地址
示例6：验证密码强度

基础应用

Python在文本处理方面非常强大，配合正则表达式可以高效地进行复杂字符串的匹配、搜索、替换等操作。以下是使用Python进行文本处理和正则表达式的一些基础指南：

1. 引入正则表达式模块

在Python中，re模块提供了所有正则表达式相关的功能。首先需要导入这个模块：

import re

2. 基本匹配

search: 查找第一个匹配项。

text = "Hello, my email is example@example.com"
match = re.search(r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b', text)
if match:
    print("找到邮箱:", match.group())
else:
    print("未找到匹配的邮箱")

match: 只在字符串开始处查找匹配项。
findall: 查找所有非重叠匹配项，并返回一个列表。
finditer: 类似于findall，但返回一个迭代器，每次迭代返回一个Match对象。

3. 替换与分割

sub: 替换匹配到的子串。

new_text = re.sub(r'\bexample\b', 'sample', text)
print(new_text)  # 将"example"替换为"sample"

split: 使用正则表达式作为分隔符来分割字符串。

4. 编译正则表达式

为了提高效率，特别是当同一个正则表达式被多次使用时，可以先编译它：

pattern = re.compile(r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b')
match = pattern.search(text)

5. 正则表达式基础

\d: 代表任何数字。
\w: 匹配字母数字字符及下划线。
\s: 匹配任何空白字符。
.: 匹配除换行符之外的任意字符。
*: 零次或多次匹配前面的字符或组。
+: 一次或多次匹配前面的字符或组。
{m,n}: 匹配前面的字符或组至少m次，但不超过n次。
^: 行的开始。
$: 行的结束。
\b: 单词边界。
[]: 字符集，匹配其中任意一个字符。
[^...]: 负向字符集，不匹配括号内的字符。

6. 实战技巧

使用re.IGNORECASE标志进行大小写不敏感匹配。
利用分组( )捕获特定部分，并通过\1, \2等引用这些组。
在编写复杂的正则表达式时，使用 verbose 模式（通过在正则前加re.VERBOSE或在字符串前加上(?x)），允许添加注释和空格，使正则更易读。

正则表达式是一个强大但可能复杂的话题，熟练掌握需要时间和实践。上述内容只是入门级的介绍，更深入的学习可以通过在线教程、书籍和实践项目进行。

7. 更高级的正则表达式功能

预查（Lookahead 和 Lookbehind）

正向前瞻（Lookahead）: (?=...)，匹配后面跟随着指定模式的位置，但不包括该模式本身。

text = "foo123bar, baz456qux"
numbers_followed_by_bar = re.findall(r'\d+(?=bar)', text)
print(numbers_followed_by_bar)  # 输出: ['123']

反向前瞻（Lookbehind）: (?<=...)，匹配前面紧跟着指定模式的位置，同样不包括该模式。

numbers_after_foo = re.findall(r'(?<=foo)\d+', text)
print(numbers_after_foo)  # 输出: ['123']

非捕获组（Non-capturing Group）

使用(?:...)来创建一个不会被捕获的分组，这对于只希望使用分组进行逻辑分组而不需要提取其内容时非常有用。

# 匹配http或https开头的URL，但不单独捕获它们
urls = re.findall(r'(?:http|https)://\S+', text)

重复限定符的贪婪与非贪婪

默认情况下，*, +, {m,n}等重复限定符是“贪婪”的，即尽可能多地匹配。通过在其后添加?使其变为“非贪婪”（最小匹配）。

text = "Hello world! Hello universe!"
greedy_match = re.search(r'Hello.*world!', text).group()
non_greedy_match = re.search(r'Hello.*?world!', text).group()
print(greedy_match)  # 输出可能包含到最后一个"world!"
print(non_greedy_match)  # 输出第一个"Hello world!"

8. 实践与调试

在线正则表达式测试工具：如regex101.com，可以帮助你实时测试和理解正则表达式的匹配情况。
编写单元测试：确保你的正则表达式在不同场景下都能正确工作。
利用re.DEBUG：当你使用re.compile时，可以通过传入re.DEBUG标志来查看正则表达式的内部编译过程，有助于调试复杂的正则表达式。

9. 性能考虑

尽量减少不必要的重复匹配，尤其是在循环中使用正则表达式时。
对于频繁使用的复杂正则表达式，考虑预编译。
理解正则表达式引擎的工作原理，避免写出过于复杂的表达式，这可能会导致性能下降。

10. 学习资源

Python官方文档中的re模块说明。
书籍，如《精通正则表达式》（Jeffrey Friedl著），虽然不是专门针对Python，但对理解正则表达式原理非常有帮助。
在线课程和教程，如Coursera、Udemy上有关正则表达式的课程。

正则表达式是文本处理的强大工具，随着实践的增加，你会逐渐掌握更多高级技巧和最佳实践。不断实践并结合具体应用场景学习，将会让你在这方面更加游刃有余。

应用案例

让我们通过几个实际例子来展示如何在Python中使用正则表达式进行文本处理。

示例1：提取网页中的所有链接

假设我们有一个包含HTML链接的文本字符串，我们想提取所有的URL。

import re

html_text = """
<html>
<body>
    <a href="http://www.example.com">Example</a>
    Also visit <a href="https://www.example.org/page.html">our page</a>.
</body>
</html>
"""

# 使用正则表达式匹配HTTP和HTTPS链接
url_pattern = re.compile(r'http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\\(\\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+')
urls = url_pattern.findall(html_text)

print(urls)
# 输出: ['http://www.example.com', 'https://www.example.org/page.html']

示例2：清洗电话号码

假设我们有一段文本，包含多种格式的电话号码，我们想要统一格式为"(XXX) XXX-XXXX"。

phone_numbers = """
Call me at 123-456-7890 or 555.123.4567. My office number is +1 (555) 456-7890 ext 123.
"""

# 正则表达式匹配多种电话号码格式，并用函数统一格式
def format_phone_number(match):
    return f"({match.group(1)}) {match.group(2)}-{match.group(3)}"

phone_pattern = re.compile(r'(\d{3})[-.\s]?(\d{3})[-.\s]?(\d{4})(?:\s*(?:ext|x)\s*(\d+))?')
cleaned_numbers = phone_pattern.sub(format_phone_number, phone_numbers)

print(cleaned_numbers)
# 输出: Call me at (123) 456-7890 or (555) 456-7890. My office number is +1 (555) 456-7890.

示例3：过滤敏感词汇

如果我们需要从用户提交的评论中过滤掉敏感词汇，可以这样操作：

comments = ["This product is awesome!", "Terrible service, don't buy it!", "Great price for the quality."]

sensitive_words = ["terrible", "don't"]
filtered_comments = []

for comment in comments:
    # 使用正则表达式替换敏感词汇为空
    for word in sensitive_words:
        comment = re.sub(r'\b{}\b'.format(re.escape(word)), '*', comment, flags=re.IGNORECASE)
    filtered_comments.append(comment)

print(filtered_comments)
# 输出: ['This product is awesome!', '* * service, * buy it!', 'Great price for the quality.']

以上示例展示了正则表达式在文本提取、格式化和内容过滤方面的应用，通过灵活运用正则表达式，可以高效解决各种文本处理问题。

示例4：解析日志文件中的时间戳

日志文件通常包含时间戳信息，下面是如何使用正则表达式提取这些时间戳，并将其转换为Python的日期时间对象以便进一步处理。

import re
from datetime import datetime

log_entry = "2023-04-01 15:30:00 INFO: Application started."

# 正则表达式匹配ISO 8601格式的时间戳
timestamp_pattern = re.compile(r'(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2})')

match = timestamp_pattern.search(log_entry)

if match:
    # 提取时间戳字符串并转换为datetime对象
    timestamp_str = match.group(1)
    dt_object = datetime.strptime(timestamp_str, "%Y-%m-%d %H:%M:%S")
    
    print("提取的时间戳:", timestamp_str)
    print("转换为datetime对象:", dt_object)
else:
    print("没有找到时间戳")

示例5：提取电子邮件地址

从一段文本中提取所有的电子邮件地址，这是一个常见的需求，可以用正则表达式轻松实现。

text_with_emails = """
Please contact us at info@example.com for more information. 
Our sales team can be reached at sales@examplecorp.com.
"""

email_pattern = re.compile(r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b', re.IGNORECASE)

emails = email_pattern.findall(text_with_emails)

print("提取到的电子邮件地址:", emails)
# 输出: ['info@example.com', 'sales@examplecorp.com']

示例6：验证密码强度

在用户注册或修改密码时，可以使用正则表达式来检查密码是否符合一定的复杂度要求，比如必须包含大小写字母、数字和特殊字符。

password = "P@ssw0rd!"

# 正则表达式要求密码至少包含一个大写字母、一个小写字母、一个数字和一个特殊字符
password_pattern = re.compile(r'^(?=.*[a-z])(?=.*[A-Z])(?=.*\d)(?=.*[@$!%*?&])[A-Za-z\d@$!%*?&]{8,}$')

is_valid = password_pattern.match(password) is not None

print("密码是否符合复杂度要求:", is_valid)
# 输出: 密码是否符合复杂度要求: True

通过这些实例，我们可以看到正则表达式在实际开发中的广泛应用，无论是数据提取、格式校验还是内容过滤，正则表达式都是一个强大且高效的工具。随着对正则表达式深入学习和实践，你可以解决更多复杂和特定的文本处理任务。

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。