Py快速识别文本编码_去除标签获得文本

去除标签获得文本

• 最近公司要做一个论坛模块,需要对文章添加一个简略的信息,就是获取文章文字的前几十个字
• 文章由于是富文本编辑器或者md编辑器导致纯文本提取困难所以想到了bs4库中的一个工具

from bs4 import BeautifulSoup

def simple_content_tool(content):
    '''
    得到文章的简略信息
    :param content:
    :return:
    '''
    simple_info = BeautifulSoup(content, 'html.parser')
    return simple_info.get_text()[:50]

快速识别文本编码

import chardet
d = b"\xd7\xca\xbd\xf0\xb2\xbb\xd7\xe3"

print(chardet.detect(d))
>>> {'encoding': 'ISO-8859-1', 'confidence': 0.73, 'language': ''}