抓取微博，同步到Twitter

2017-12-28 17:51:44 阅读：1127 作者：子龙 来源：巨推传媒 分类：

抓取微博，同步到Twitter

前几个月买了 NintendoSwitch ，沉迷于“塞尔达-荒野之息”不能自拔，同时也关注着NS 新游戏的资讯。 微博上有几个帐号会发布各种NS 游戏信息，不过微博做的和:hankey: 一样，完全不想用。联系了那几个微博博主，询问是否考虑也同步发在Twitter，没理我，那就自己动手吧。

爬取微博

本来还以为得手动解析网页，偶尔发现移动版居然有现成的API 可以用，十分酸爽。

例如：

http://m.weibo.cn/u/5084965647

http://m.weibo.cn/api/container/getIndex?containerid=1076035084965647&page=2

结构挺清晰的，data-cards 就是每一条微博，不过会有不同的card-type，选出card-type=9 的即可。

每一个card 里面，主要关注：

• itemid： 微博的唯一ID
• text： 文本内容
• pics： 图片
• page_info: 如果带视频，会有一个page_info，其中包含视频信息

这些接口应该有频率限制，不过我只想抓较新的，几十分钟访问一次即可。

发布到Twitter

创建一个帐号，然后再在这个帐号下创建一个 apps.twitter.com，直接生成一堆token，这样最方便。

关于Twitter 的认证可以参考： OAuth 认证步骤

重点得到这四个东西即可：

CONSUMER_KEY = 'your-consumer-key'
CONSUMER_SECRET = 'your-consumer-secret'
ACCESS_TOKEN = 'your-access-token'
ACCESS_TOKEN_SECRET = 'your-access-secret'

关于图片和视频上传可以参考： twitterdev/large-video-upload-python

微博的text 中带了大量的链接，需要处理一下，用re.sub 替换掉即可。

微博的话题是 #话题# ，而Twitter 是 #话题 ，也需要处理一下。

t = card["mblog"]["text"]
t = re.sub(r'data-url=\"([^\" ]+)\"',
           r'> \1 <',
           t,
           0)

t = re.sub(r'<[^<]*>',
           r'',
           t,
           0)

t = re.sub(r'#([^#]+)#',
           r'#\1',
           t,
           0)

关于图片、视频的几个问题：

• Twitter 的图片（除GIF 之外）限制一条tweet 只能发4张，微博可以有多张，需要注意拆分，然后把先进条tweet 的ID 作为第二条的 in_reply_to_status_id ，就能串成所谓的“主题帖”；
• Twitter 的视频有一大堆限制，允许的视频时长也很短。索性不传视频了，直接保留微博原来的秒拍跳转链接；
• GIF 图片，Twitter 一条tweet 也只能传一张，还不能是动图，懒得判断，直接丢弃GIF 图了。
• 传图片和视频时，记得带上 media_category ，图片是 tweet_image ，视频是 tweet_video 。

写好之后，丢到VPS 上，15分钟运行一次即可。

@NinSwitch_News

代码就不发了，写得很快很糙，也没啥难度。

微博营销 微博代运营 Twitter 微博 微信公众号怎么赚钱 2017微信最火的公众号 微信公众号注册 微信公众号怎么申请 个人微信公众号收费吗 微信公众号申请注册 微信公众号怎么做编辑 个人公众号怎么赚钱 2018微信注册账号申请

上一篇：马斯克推特晒照片：猎鹰重型火箭组装基本完成，预计1月发射 下一篇：微信小程序录音与播放录音

更多推荐

• 
  抖音上热门：抖音长视频怎么上传？抖音如何发长视频？ 网友：抖音怎么传长视频? 如何把录制好的长视频加速上传到抖音里?现如今，短视频应用可谓是火热，今日头条旗下的抖音就是其中的一个产品。很多人有事没事都会刷上那么几...

  2018-12-01 18:15:52 1695

  抖音企业认证 抖音服务商

• 
  抖音上传长视频_抖音如何拍长视频_抖音怎么录长视频? 一说到抖音，那现在10个人中有8个都在玩吧，在抖音里你就能看到丰富多彩的世界啦！也是很不错娱乐消遣的工具，但是一般抖音只能发15秒视频，这对于很多抖友来说是远远...

  2018-12-01 17:47:44 1861

  抖音企业认证 抖音服务商

• 
  浅淡教育行业如何进行微信运营?如何选择代运营？ 企业公众账号需要尽可能地提高和微信用户的黏度，而不是群发垃圾广告。一个先进的教育行业微信代运营企业需要针对每一个客户不同的需求，来制定相对应的服务：经过前期不同...

  2018-12-01 17:15:33 1720

• 
  事业单位微信代运营为什么越来越热门？ 为企业节约了大量人力、时间及资金的成本。公司只需要与代运营公司定期沟通各自的想法，就公众号的内容侧重点及推广方式等达成共识，并不需要投入一个团队来运营。

  2018-12-01 13:43:12 1657

• 
  微信小程序如何助攻餐饮业运营？为什么商家会选择代运营公司 巨推传媒讯 客户面对的问题：一家刚开业不久的特色餐厅，急需解决以下问题-如何快速为餐厅招揽顾客?如何为餐厅积累会员数据?如何有效提升餐厅复购率?巨推传媒给出的建...

  2018-12-01 11:42:20 1751

  微信托管 微信小程序