奇酷教育-Python培训|UI培训|WEB大前端培训|Unity3D培训|HTML5培训|人工智能培训|JAVA开发的教育品牌

您現在所在的位置:首頁 >關于奇酷 > 行業動態 > 爬蟲實戰丨高能預警!抖音小姐姐視頻集來了!

爬蟲實戰丨高能預警!抖音小姐姐視頻集來了!

來源:奇酷教育 發表于:

前方高能預警!抖音小姐姐視頻集來了!

  前言
 
  前方高能預警!抖音小姐姐視頻集來了!

 
  總感覺抖音小姐姐連一個手勢都能擦出不一樣的火花,她們有一千種模樣,我就有一萬種喜歡,沒有看夠怎么辦?!
 
  雙十二福利來了!這次Python爬蟲實戰篇,爬的就是當下大火的抖音小姐姐視頻。問我pick哪位小姐姐,當然是唱歌老跑調,跳舞數拍子的楊超越了。
  本文主要講解:抖音視頻爬蟲
 
  抖音視頻爬蟲
//aweme.snssdk.com/aweme/v1/aweme/post/?iid=40337863888&device_id=35102252294&os_api=18&app_name=aweme&channel=App%20Store&idfa=11926ED5-C282-4BBC-AF01-0E8C18120647&device_platform=iphone&build_number=23101&vid=177A5A79-D6F6-4A03-9352-57C0681CDDDC&openudid=1ee725d39e05794bcdc14537f8c1f4220c7d6fd5&device_type=iPhone8,1&app_version=2.3.1&version_code=2.3.1&os_version=11.4.1&screen_width=750&aid=1128&ac=WIFI&count=21&max_cursor=0&min_cursor=0&user_id=58554069260&mas=01bf537030d65155897d6fd1d7c97862dbca9722fea8c96d2b68de&as=a1858817de104b87435065&ts=1534297870

  抖音使用的智能推薦機制。我們這里依舊是通過fiddler抓包(Fiddler是一款常見的抓包分析工具,對數據進行截獲、重發、編輯、轉存的過程叫做抓包)?,F在的抖音有加密算法,之前網上的大部分代碼都不能用了,我們先看看有哪些加密字段。

import requestsimport jsonf = open('2.txt','w+',encoding='utf-8')headers = {'Host': 'api.amemv.com','Accept': '*/*','Cookie': 'install_id=40337863888; login_flag=d6f29ec905af4bf1101199aa942c466f; odin_tt=a1e12dc3e4b92de77cccf6be1717377188f8aa7582f703c1391c8dc7d4a0df1b166119681af4277bd2cdc8aeb56000a7; sessionid=718df70f4e4964723cd1c8337c367b45; sid_guard=718df70f4e4964723cd1c8337c367b45%7C1534207148%7C5184000%7CSat%2C+13-Oct-2018+00%3A39%3A08+GMT; sid_tt=718df70f4e4964723cd1c8337c367b45; ttreq=1$ad10f98ec66ad6df5b86a7b1a613c77bb674236d; uid_tt=765536856bdc4f0f299b85dbc7338982','User-Agent': 'Aweme/2.3.1 (iPhone; iOS 11.4.1; Scale/2.00)','Accept-Language': 'zh-Hans-CN;q=1','Accept-Encoding': 'br, gzip, deflate','Connection': 'keep-alive'}def get_info(url):res = requests.get(url,headers=headers)json_data = json.loads(res.text)datas = json_data['aweme_list']for data in datas:desc = data['desc']download_url = data['video']['play_addr']['url_list'][0]print(desc,download_url)f.write(desc+','+download_url+'')if __name__ == '__main__':fp = open('1.txt', 'r')for line in fp.readlines():get_info(line.strip())
  這里主要是mas和as參數不知道咋構造,這里因為只是爬一個用戶的數據,所以把整個url都copy到txt中,然后請求獲取數據。
  視頻下載
  在網上看說,這個鏈接只有10多分鐘的有效期(沒有驗證),所以爬蟲先把視頻鏈接先保存下來,然后再統一下載。

  1. 哈哈哈,當爬蟲撞見小姐姐,你的樣子我都有啦!
  爬蟲基礎知識
  那么一般學習爬蟲要學習到哪種程度呢?
  (必要部分)
  語言選擇:一般是了解Python、Java、Golang之一
  熟悉多線程編程、網絡編程、HTTP協議相關
  開發過完整爬蟲項目(最好有全站爬蟲經驗,這個下面會說到)
  反爬相關,cookie、ip池、驗證碼等等
 
  熟練使用分布式
 ?。ǚ潜匾ㄗh)
  了解消息隊列,如RabbitMQ、Kafka、Redis等
  具有數據挖掘、自然語言處理、信息檢索、機器學習經驗
  熟悉APP數據采集、中間人代理
  大數據處理(Hive/MR/Spark/Storm)
  數據庫Mysql、redis
  熟悉Git操作、linux環境開發
  讀懂js代碼、這個真的很重要
  好了,大家收到這份雙十二福利,開不開心?

主站蜘蛛池模板: 武汉天安盾电子设备有限公司 - 安盾安检,武汉安检门,武汉安检机,武汉金属探测器,武汉测温安检门,武汉X光行李安检机,武汉防爆罐,武汉车底安全检查,武汉液体探测仪,武汉安检防爆设备 | 深圳APP开发_手机软件APP定制外包_小程序开发公司-来科信 | 岩石钻裂机-液压凿岩机-劈裂机-挖改钻_湖南烈岩科技有限公司 | PVC地板|PVC塑胶地板|PVC地板厂家|地板胶|防静电地板-无锡腾方装饰材料有限公司-咨询热线:4008-798-128 | 冷油器-冷油器换管改造-连云港灵动列管式冷油器生产厂家 | 塑料脸盆批发,塑料盆生产厂家,临沂塑料广告盆,临沂家用塑料盆-临沂市永顺塑业 | 冷水机-冰水机-冷冻机-冷风机-本森智能装备(深圳)有限公司 | 范秘书_懂你的范文小秘书 | 冷却塔减速机器_冷却塔皮带箱维修厂家_凉水塔风机电机更换-广东康明冷却塔厂家 | 南方珠江-南方一线电缆-南方珠江科技电缆-南方珠江科技有限公司 南汇8424西瓜_南汇玉菇甜瓜-南汇水蜜桃价格 | 南京试剂|化学试剂|分析试剂|实验试剂|cas号查询-专业60年试剂销售企业 | 至顶网| 金属切削液-脱水防锈油-电火花机油-抗磨液压油-深圳市雨辰宏业科技发展有限公司 | 标准品网_标准品信息网_【中检计量】 | 称重传感器,测力传感器,拉压力传感器,压力变送器,扭矩传感器,南京凯基特电气有限公司 | LED太阳能中国结|发光红灯笼|灯杆造型灯|节日灯|太阳能灯笼|LED路灯杆装饰造型灯-北京中海轩光电 | 亿诺千企网-企业核心产品贸易| 通信天线厂家_室分八木天线_对数周期天线_天线加工厂_林创天线源头厂家 | 执业药师报名时间,报考条件,考试时间-首页入口 | 特种电缆厂家-硅橡胶耐高温电缆-耐低温补偿导线-安徽万邦特种电缆有限公司 | 昆山新莱洁净应用材料股份有限公司-卫生级蝶阀,无菌取样阀,不锈钢隔膜阀,换向阀,离心泵 | 皮带机-带式输送机价格-固定式胶带机生产厂家-河南坤威机械 | 土壤有机碳消解器-石油|表层油类分析采水器-青岛溯源环保设备有限公司 | 磁棒电感生产厂家-电感器厂家-电感定制-贴片功率电感供应商-棒形电感生产厂家-苏州谷景电子有限公司 | 气动绞车,山东气动绞车,气动绞车厂家-烟台博海石油机械有限公司 气动隔膜泵厂家-温州永嘉定远泵阀有限公司 | 拖鞋定制厂家-品牌拖鞋代加工厂-振扬实业中国高端拖鞋大型制造商 | 回转炉,外热式回转窑,回转窑炉-淄博圣元窑炉工程有限公司 | RFID电子标签厂家-上海尼太普电子有限公司 | CE认证_FCC认证_CCC认证_MFI认证_UN38.3认证-微测检测 CNAS实验室 | 下水道疏通_管道疏通_马桶疏通_附近疏通电话- 立刻通 | 金库门,金库房,金库门厂家,金库门价格-河北特旺柜业有限公司 | 雷达液位计_超声波风速风向仪_雨量传感器_辐射传感器-山东风途物联网 | 卧涛科技有限公司科技项目申报公司|高新技术企业申报|专利申请 | 上海办公室装修公司_办公室设计_直营办公装修-羚志悦装 | 水性漆|墙面漆|木器家具漆|水漆涂料_晨阳水漆官网 | 盘式曝气器-微孔曝气器-管式曝气器-曝气盘-斜管填料 | 郑州市前程水处理有限公司 | 气动调节阀,电动调节阀,自力式压力调节阀,切断阀「厂家」-浙江利沃夫自控阀门 | 橡胶弹簧|复合弹簧|橡胶球|振动筛配件-新乡市永鑫橡胶厂 | 包装机_厂家_价格-山东包装机有限公司 | 工业铝型材生产厂家_铝合金型材配件批发精加工定制厂商 - 上海岐易铝业 | 老城街小面官网_正宗重庆小面加盟技术培训_特色面馆加盟|牛肉拉面|招商加盟代理费用多少钱 |