使用wget命令爬取整站
本文最后更新于924天前,其中的信息可能已经有所发展或是发生改变。

2019年4月8日

wget -c -r -npH -k -nv http://www.baidu.com

参数说明
-c:断点续传
-r:递归下载
-np:递归下载时不搜索上层目录
-nv:显示简要信息
-nd:递归下载时不创建一层一层的目录,把所有文件下载当前文件夹中
-p:下载网页所需要的所有文件(图片,样式,js文件等)
-H:当递归时是转到外部主机下载图片或链接 -k:将绝对链接转换为相对链接,这样就可以在本地脱机浏览网页了
-L:     只扩展相对连接,该参数对于抓取指定站点很有用,可以避免向宿主主机 启用地址伪装 -user-agent=”Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4482.400 QQBrowser/9.7.13001.400″

点击数:133

暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇