正则表达式提取网页源代码中的中文标题和内容

板块:网站服务 | 回复:2 | 浏览:2416 | 发布时间:2023-10-25 11:04:16

工正数码 2023-10-25 11:04:16 楼主
一、操作目的:从网页源代码中获取标题和内容。并保留标题和正文的网页标签

和

。
网页源代码如下:

袁白燕小考


万德敬 袁氏文化

2018-11-02


【摘要】 袁凯是元末明初著名的诗人,以《白燕》诗闻名。人称“袁白燕”,享年当在百岁上下。但是,关于他的生卒年代,清初就有人质疑,当今学术界对袁凯生卒年代的说法也多牵强。袁凯之父袁介也是当时著名诗人,有作品传世。然而,明清两代许多文献对于袁介存世的界定是不符合史实的。袁介为袁凯的文学才华提供了家学滋养,袁凯也很有乃父之风。现实中的袁凯喜欢交游,与之交游者多为当时俊彦。袁凯与家人感情甚笃,相濡以沫。饱读诗书的袁凯一生有仕有隐,富有传奇色彩,其后裔却湮没无闻。







一、袁凯的生卒年代


 


《明史·袁凯传》曰:袁凯,字景文,松江华亭人。元末为府吏,博学有才辩,议论飚发,往往屈座人。洪武三年,荐授御史。武臣恃功骄恣,得罪者渐众。凯上言:“诸将习兵事,恐未悉君臣礼,请于督都府延通经学古之士,令诸武臣赴都堂听讲,庶得保族全身之道。”帝敕台省延名士直午门,为诸将说书。后帝虑囚毕,命凯送皇太子覆讯,多得矜减。凯还报,帝问:“朕与太子孰是?”凯顿首:“陛下法之正,东宫心之慈”。帝以凯老猾持两端,恶之。凯惧,佯狂免,告归,久之以寿终。凯工诗,有盛名。性诙谐,自号海叟。背戴乌巾,倒骑黄牛,游行九峰间,好事者至绘为图。初,在杨维桢座,客出所赋《白燕诗》,凯微笑,别作一篇以献。维桢大惊赏,遍示座客,人遂呼为“袁白燕”云。


二、使用工具:
水淼正则表达式助手(SMRegular)v1.6.3.1 基于Deelx引擎
提取标题正则表达式:
.*[\u4e00-\u9fa5].*
运行结果:

袁白燕小考


提取标题正则表达式:

.*[\u4e00-\u9fa5].*


提取结果:

【摘要】 袁凯是元末明初著名的诗人,以《白燕》诗闻名。人称“袁白燕”,享年当在百岁上下。但是,关于他的生卒年代,清初就有人质疑,当今学术界对袁凯生卒年代的说法也多牵强。袁凯之父袁介也是当时著名诗人,有作品传世。然而,明清两代许多文献对于袁介存世的界定是不符合史实的。袁介为袁凯的文学才华提供了家学滋养,袁凯也很有乃父之风。现实中的袁凯喜欢交游,与之交游者多为当时俊彦。袁凯与家人感情甚笃,相濡以沫。饱读诗书的袁凯一生有仕有隐,富有传奇色彩,其后裔却湮没无闻。




 


三、批量提取
正则表达式助手-正则提取-批量提取-修改输出路径-开始-完成-生成新目录《批量提取结果》

四、进一步优化
工具:UtraReplace(超级批量文本替换5.0)。可以把整个文件夹一次性处理。支持一般替换、开始和结尾特征替换、正则替换。
可以用一般替换分几次查找下面内容,并替换为空白
class="rich_media_title" id="activity-name"


 


五、加工成网页
在提取的干净的带有

文本

标签的内容,用超级批量文本替换工具在开头和结尾分别加上自己的页头和页脚。



袁氏文化之窗





...
...


回复列表

工正数码 | 2023-10-25 14:32:51 | 2#
为了解决正则表达式.*[\u4e00-\u9fa5].*只提取标题,而

.*[\u4e00-\u9fa5].*

只提取内容不提取标题的问题。把两个提取方法用[]表示出现其中一个就算匹配的方法,把2个公式修改如下:
<[p|h2].*>.*[\u4e00-\u9fa5].*。这样改也存在缺点:一是不准确判断

和

;二是不能去掉标签内的参数,如:

上面所录袁介的《检田吏》一诗,《辍耕录》
或者这样
<[h2p].*>.*[\u4e00-\u9fa5].*[

]
提取结果:

袁白燕小考


《明史·袁凯传》曰:袁凯,字景文,松江华亭人。......遍示座客,人遂呼为“袁白燕”云。


 


说明:前边正则表达式之所以不和后边的一样,是因为后边的直接<>了,而前边的有参数:

汉字汉字汉字

工正数码 | 2023-10-27 08:28:20 | 3#
网页内复制的方法:
1、先获取标题内容再存入分组

(.*)


2、两次调用分组中存入的内容(正则替换)
\1

\1


3、UtraReplace超级文本批量替换工具测试通过
title和h2里面的内容都一样了。
返回列表