奇酷教育-Python培训|UI培训|WEB大前端培训|Unity3D培训|HTML5培训|人工智能培训|JAVA开发的教育品牌

您現在所在的位置:首頁 >關于奇酷 > 行業動態 > 爬蟲實戰丨高能預警!抖音小姐姐視頻集來了!

爬蟲實戰丨高能預警!抖音小姐姐視頻集來了!

來源:奇酷教育 發表于:

前方高能預警!抖音小姐姐視頻集來了!

  前言
 
  前方高能預警!抖音小姐姐視頻集來了!

 
  總感覺抖音小姐姐連一個手勢都能擦出不一樣的火花,她們有一千種模樣,我就有一萬種喜歡,沒有看夠怎么辦?!
 
  雙十二福利來了!這次Python爬蟲實戰篇,爬的就是當下大火的抖音小姐姐視頻。問我pick哪位小姐姐,當然是唱歌老跑調,跳舞數拍子的楊超越了。
  本文主要講解:抖音視頻爬蟲
 
  抖音視頻爬蟲
//aweme.snssdk.com/aweme/v1/aweme/post/?iid=40337863888&device_id=35102252294&os_api=18&app_name=aweme&channel=App%20Store&idfa=11926ED5-C282-4BBC-AF01-0E8C18120647&device_platform=iphone&build_number=23101&vid=177A5A79-D6F6-4A03-9352-57C0681CDDDC&openudid=1ee725d39e05794bcdc14537f8c1f4220c7d6fd5&device_type=iPhone8,1&app_version=2.3.1&version_code=2.3.1&os_version=11.4.1&screen_width=750&aid=1128&ac=WIFI&count=21&max_cursor=0&min_cursor=0&user_id=58554069260&mas=01bf537030d65155897d6fd1d7c97862dbca9722fea8c96d2b68de&as=a1858817de104b87435065&ts=1534297870

  抖音使用的智能推薦機制。我們這里依舊是通過fiddler抓包(Fiddler是一款常見的抓包分析工具,對數據進行截獲、重發、編輯、轉存的過程叫做抓包)。現在的抖音有加密算法,之前網上的大部分代碼都不能用了,我們先看看有哪些加密字段。

import requestsimport jsonf = open('2.txt','w+',encoding='utf-8')headers = {'Host': 'api.amemv.com','Accept': '*/*','Cookie': 'install_id=40337863888; login_flag=d6f29ec905af4bf1101199aa942c466f; odin_tt=a1e12dc3e4b92de77cccf6be1717377188f8aa7582f703c1391c8dc7d4a0df1b166119681af4277bd2cdc8aeb56000a7; sessionid=718df70f4e4964723cd1c8337c367b45; sid_guard=718df70f4e4964723cd1c8337c367b45%7C1534207148%7C5184000%7CSat%2C+13-Oct-2018+00%3A39%3A08+GMT; sid_tt=718df70f4e4964723cd1c8337c367b45; ttreq=1$ad10f98ec66ad6df5b86a7b1a613c77bb674236d; uid_tt=765536856bdc4f0f299b85dbc7338982','User-Agent': 'Aweme/2.3.1 (iPhone; iOS 11.4.1; Scale/2.00)','Accept-Language': 'zh-Hans-CN;q=1','Accept-Encoding': 'br, gzip, deflate','Connection': 'keep-alive'}def get_info(url):res = requests.get(url,headers=headers)json_data = json.loads(res.text)datas = json_data['aweme_list']for data in datas:desc = data['desc']download_url = data['video']['play_addr']['url_list'][0]print(desc,download_url)f.write(desc+','+download_url+'')if __name__ == '__main__':fp = open('1.txt', 'r')for line in fp.readlines():get_info(line.strip())
  這里主要是mas和as參數不知道咋構造,這里因為只是爬一個用戶的數據,所以把整個url都copy到txt中,然后請求獲取數據。
  視頻下載
  在網上看說,這個鏈接只有10多分鐘的有效期(沒有驗證),所以爬蟲先把視頻鏈接先保存下來,然后再統一下載。

  1. 哈哈哈,當爬蟲撞見小姐姐,你的樣子我都有啦!
  爬蟲基礎知識
  那么一般學習爬蟲要學習到哪種程度呢?
  (必要部分)
  語言選擇:一般是了解Python、Java、Golang之一
  熟悉多線程編程、網絡編程、HTTP協議相關
  開發過完整爬蟲項目(最好有全站爬蟲經驗,這個下面會說到)
  反爬相關,cookie、ip池、驗證碼等等
 
  熟練使用分布式
  (非必要,建議)
  了解消息隊列,如RabbitMQ、Kafka、Redis等
  具有數據挖掘、自然語言處理、信息檢索、機器學習經驗
  熟悉APP數據采集、中間人代理
  大數據處理(Hive/MR/Spark/Storm)
  數據庫Mysql、redis
  熟悉Git操作、linux環境開發
  讀懂js代碼、這個真的很重要
  好了,大家收到這份雙十二福利,開不開心?

主站蜘蛛池模板: 实战IT培训机构_IT培训班选大学生IT技术培训中心_中公优就业 | 学习虾-免费的学习资料下载平台| 开业庆典_舞龙舞狮_乔迁奠基仪式_开工仪式-神挚龙狮鼓乐文化传媒 | 仓储笼_仓储货架_南京货架_仓储货架厂家_南京货架价格低-南京一品仓储设备制造公司 | 马尔表面粗糙度仪-MAHR-T500Hommel-Mitutoyo粗糙度仪-笃挚仪器 | 磁力加热搅拌器-多工位|大功率|数显恒温磁力搅拌器-司乐仪器官网 | 全球化工设备网—化工设备,化工机械,制药设备,环保设备的专业网络市场。 | 济南品牌包装设计公司_济南VI标志设计公司_山东锐尚文化传播 | 液氮罐_液氮容器_自增压液氮罐-北京君方科仪科技发展有限公司 | 合肥升降机-合肥升降货梯-安徽升降平台「厂家直销」-安徽鼎升自动化科技有限公司 | 天津拓展_天津团建_天津趣味运动会_天津活动策划公司-天津华天拓展培训中心 | 锡膏喷印机-全自动涂覆机厂家-全自动点胶机-视觉点胶机-深圳市博明智控科技有限公司 | 棉服定制/厂家/公司_棉袄订做/价格/费用-北京圣达信棉服 | 网优资讯-为循环资源、大宗商品、工业服务提供资讯与行情分析的数据服务平台 | 深圳激光打标机_激光打标机_激光焊接机_激光切割机_同体激光打标机-深圳市创想激光科技有限公司 深圳快餐店设计-餐饮设计公司-餐饮空间品牌全案设计-深圳市勤蜂装饰工程 | 蒸汽热收缩机_蒸汽发生器_塑封机_包膜机_封切收缩机_热收缩包装机_真空机_全自动打包机_捆扎机_封箱机-东莞市中堡智能科技有限公司 | 飞利浦LED体育场灯具-吸顶式油站灯-飞利浦LED罩棚灯-佛山嘉耀照明有限公司 | 危废处理系统,水泥厂DCS集散控制系统,石灰窑设备自动化控制系统-淄博正展工控设备 | 超声骨密度仪,双能X射线骨密度仪【起草单位】,骨密度检测仪厂家 - 品源医疗(江苏)有限公司 | 冷却塔降噪隔音_冷却塔噪声治理_冷却塔噪音处理厂家-广东康明冷却塔降噪厂家 | 澳洁干洗店加盟-洗衣店干洗连锁「澳洁干洗免费一对一贴心服务」 干洗加盟网-洗衣店品牌排行-干洗设备价格-干洗连锁加盟指南 | 全自动真空上料机_粉末真空上料机_气动真空上料机-南京奥威环保科技设备有限公司 | 上海logo设计| 东莞市踏板石餐饮管理有限公司_正宗桂林米粉_正宗桂林米粉加盟_桂林米粉加盟费-东莞市棒子桂林米粉 | 发光字|标识设计|标牌制作|精神堡垒 - 江苏苏通广告有限公司 | 12cr1mov无缝钢管切割-15crmog无缝钢管切割-40cr无缝钢管切割-42crmo无缝钢管切割-Q345B无缝钢管切割-45#无缝钢管切割 - 聊城宽达钢管有限公司 | 石家庄救护车出租_重症转院_跨省跨境医疗转送_活动赛事医疗保障_康复出院_放弃治疗_腾康26年医疗护送转诊团队 | 成都治疗尖锐湿疣比较好的医院-成都治疗尖锐湿疣那家医院好-成都西南皮肤病医院 | 定制液氮罐_小型气相液氮罐_自增压液氮罐_班德液氮罐厂家 | 减速机三参数组合探头|TSM803|壁挂式氧化锆分析仪探头-安徽鹏宸电气有限公司 | 清水混凝土修复_混凝土色差修复剂_混凝土色差调整剂_清水混凝土色差修复_河南天工 | 消泡剂_水处理消泡剂_切削液消泡剂_涂料消泡剂_有机硅消泡剂_广州中万新材料生产厂家 | 海外整合营销-独立站营销-社交媒体运营_广州甲壳虫跨境网络服务 焊管生产线_焊管机组_轧辊模具_焊管设备_焊管设备厂家_石家庄翔昱机械 | 破碎机锤头_耐磨锤头_合金锤头-鼎成机械一站式耐磨铸件定制服务 微型驱动系统解决方案-深圳市兆威机电股份有限公司 | 温控器生产厂家-提供温度开关/热保护器定制与批发-惠州市华恺威电子科技有限公司 | 电磁流量计厂家_涡街流量计厂家_热式气体流量计-青天伟业仪器仪表有限公司 | 青岛球场围网,青岛车间隔离网,青岛机器人围栏,青岛水源地围网,青岛围网,青岛隔离栅-青岛晟腾金属制品有限公司 | 塑木弯曲试验机_铜带拉伸强度试验机_拉压力测试台-倾技百科 | 大型果蔬切片机-水果冬瓜削皮机-洗菜机切菜机-肇庆市凤翔餐饮设备有限公司 | EPK超声波测厚仪,德国EPK测厚仪维修-上海树信仪器仪表有限公司 | 蔬菜配送公司|蔬菜配送中心|食材配送|饭堂配送|食堂配送-首宏公司 |