一个对人类友好的“爬虫” requests-html ——没有之一

使用Python开发的同学一定听说过Requsts库,它是一个用于发送HTTP请求获取网页内容的库。我们用Python做基于HTTP协议的接口测试,那么一定会首选Requsts,简单又强大。现在作者Kenneth Reitz 又开发了requests-html 用于做爬虫。HTML Parsing for Humans, 这句话是库作者(kennethreitz)原话, 体现出了这个库的人性化。

requests-html 是基于现有的框架 PyQuery、Requests、lxml、beautifulsoup4等库进行了二次封装,作者将Requests设计的简单强大的优点带到了该项目中。

该项目从3月上线到现在已经8K+的star了!

(更多…)

“数字资产会成为人类最大的资产”-区块链对公司的影响会是摧枯拉朽的

【开宗明义】这个演讲是上一个 “价值互联网”演讲的延续,两个核心概念,

第一,我从来不认为区块链是“下一代互联网”

就像100年前,在纽约的街头出现了汽车,这是一个全新的东西。《纽约时报》是这样来描述的:“这是一辆跑得比马还快的马车”。今天,我们很难去描述区块链的概念,只好说“这是下一代互联网”。桥是桥,路是路,我认为,区块链是一个全新的时代。

第二,区块链是人类历史上最大的数字化迁徙体系

由此,我们看到 “数字资产会成为人类最大的资产”-区块链对公司的影响会是摧枯拉朽的。

赵胜:区块链对公司的影响会是摧枯拉朽的

区块笔记侠2018-06-17

(更多…)

以太坊开发入门,完整入门篇

1月9日 发布,来源:me.tryblockchain.org

可能是目前为止最全的以太坊开发入门指南

翻译自:https://medium.com/@mattcondon/getting-up-to-speed-on-ethereum-63ed28821bbe

从入门到精通,干货篇。

必读,如果你:

  • 是一个专业的程序员
  • 如果你想了解以太坊当前可以做到什么程度,通过什么,如何做到。

预备知识:

  1. 你需要知道区块链的概念及实现一个无需信任的电子货币的运作原理。可以先看看长版,如果你觉得太长,可以看看短版。但我还是建议,看那个长的视频。
  2. 如果你是一名软件工程师,拥有软件开发的经验。能知道从系统、架构角度学一个东西,其实能倍增学习效果。
  3. 如果有一周的空闲时间。好了,下面开始就不再是废话了。
  4. 你需要了解merkle tree的基本概念,看他是如何做到防止信息篡改,以及信息自校验的(译者注:可以看我曾经翻译的以太坊官方的关于merkle tree的文章,http://me.tryblockchain.org/Ethereum-MerklePatriciaTree.html )。

不用必须读白皮书,只需要了解一些基本概念。但说实话,如果不读,不会相信这些概念,从而不能真正明白这些概念,所以读白皮书也许仍然是最快的方式。

我建议你完整的读一下本文,从一个较高的层面了解一下,然后再挑感兴趣的,一一钻研,也许要花几天时间哦。

你最后会发现,区块链就是建立在朴实无华的基本技术之上,一点也不神奇。虽然最近各种ICO把它炒得非常热。每个人都是站在巨人的肩膀上,如果你是程序员,你能对这些项目和技术,理解得更深。所以不要因为其它一些糟粕,而失去了一个提升自己的机会。

(更多…)

手机淘宝的技术–绿色、低功耗、低网耗

【奥呦】移动互联网时代,IOS和安卓移动平台要求的是“绿色、低功耗、低网耗”,大安装包,在很多只有1G内存的安卓低端机上,是很大的安装负担。从技术架构上,我们把手机淘宝打造成一个开放的插件平台,模拟web上按需加载的方式,成功将Android的安装包从40M缩减到27M。

“双12”别谈卖货了,我们来讲讲手机淘宝的技术

2014年“双十一”,开始三分钟总成交即超过10亿,而移动端占比超70%,毫无异议地宣告移动互联时代的到来。——在这个最高峰时段,提供顺畅的移动体验支持的,就是手机淘宝技术团队。从APP启动、到首页的加载、下单、支付……手机淘宝上购物流程完成时间,已经从年初的20多秒优化到9秒以内。
这也意味着,在任何一款主流机型上,用户点击手机淘宝都可以实现秒开。而在原来APP启动环节,消费者等待的时间,现在可以再完成一次商品购买。
移动时代的“双12”,不仅仅是疯狂购物,也是手机淘宝的“表演秀”,手机淘宝已经成为了全球最大的移动消费生活平台:转让闲置物品、跑腿服务、家庭保洁、电影票销售、汽车日常保养应有尽有。然而,前面的风光,背后却是更为复杂的技术问题。

牛P正明是如何去IOE(IBM小型机、Oracle、EMC存储)的

【淘宝技术委员会期刊·二月-牛P日志】正明【老林读后】在政府终于开始对IOE动手的时候,突然想起来当年去IOE的牛人:章文嵩 博士。对于技术的执着追求和如其是的了解,是在章文嵩博士给我们分析他对于一个事情的看法:元数据的分析。当时我还不知道这就是牛P的正明,只知道眼前这个人就像打着少林拳的张无忌。说的轻松无比,其实背后有雄厚实力。

现在看看正明是如何从板卡和操作系统层面上来一步步搬开IOE三座大山的!free hit counters

【淘宝技术委员会期刊·二月-牛P日志】正明

子柳:感谢正明抽出宝贵时间接受我们的采访,从正明这一路走过来看,总的感觉就是“技术驱动人生”,正明已经把技术融进了骨子里。
发表于:2012年03月01日  15:06 转发 184
@淘宝正明:集团核心系统研发负责人,高级研究员。现为2012年“大淘宝技术委员会”会长,毕业于国防科学技术大学计算机专业,工学博士,曾任TelTel首席科学家,国防科技大学计算机学院副教授,RedHat 内核开发者,LVS 开源软件创始人,ChinaCluster 的共同创办者。

HTTP方式播放FLV/mp4 :nginx+Yamdi/MP4BOX

【导语】chrome浏览器确实很强,直接支持MP4拖动播放,对于其他播放器,可以使用以下方法来支持拖动播放。拖动的关键在于生成关键帧等元数据信息,便于服务器和播放器支持拖动。

另外,nginx web服务器体验起来,也是很有前途的一个web服务器,值得研究。


free hit counters

flv 视频可以采用两种方式发布:

一、普通的 HTTP 下载方式

二、基于 Flash Media Server 或 Red5 服务器的 rtmp/rtmpt 流媒体方式。

多数知名视频网站都采用的是前一种方式。

两种方式对比如下:

Http Rtmp/rtmpt
生成关键帧后可拖动播放 任意拖动播放
下载完成后不再消耗服务器资源 无缓存,每次播放都会消耗服务器资源

(更多…)

推荐:浅谈jQuery Mobile设计思想

jQuery Mobile Framework【导语】jQuery 终于不可避免的迎头碰上了。了解它的内容,首先要了解他的动机和思想。简而言之,jQuery Mobile 有两个巨大的亮点:1、 找到它,操作它;2、链式操作,一口气整到底。free hit counters

这是一篇很好,并且很精简介绍出jQuery Mobile特点的文章。推荐!

jQuery Mobile设计思想是本文要介绍的内容,主要是来了解jQuery Mobile的使用方法技巧的学习,具体内容来看本文详解。

一、选择网页元素

jQuery的基本设计思想和主要用法,就是”选择某个网页元素,然后对其进行某种操作”。这是它区别于其他Javascript库的根本特点。

使用jQuery的第一步,往往就是将一个选择表达式,放进构造函数jQuery()(简写为$),然后得到被选中的元素。 (更多…)

写在互联网创业的路上​:如何从无到有的打造​一个产品@SmartTony

【导语】无中生有,是最困难的事情,看看一个创业者的感受分享。

和大家分享“我心目中一个产品项目标准的执行套路与方法”,但是依据个人的经验发现:宏观的套路与道理,路人皆知,区别能力与决定成败的往往在于细节的“度”以及全局上“节奏”。“从无到有建造一个产品”和“做从有到优打磨一个产品”,虽然套路是一样的,但是在宏观执行节奏把控上却是完全不同的。如果单纯的按上述方法去开发一个全新的方向或者产品,很可能出现以下问题: (更多…)

ios(苹果)设备直播流媒体 服务搭建

iOS设备上要用原生的浏览器或者播放器来跑直播流媒体,确实是有点费周折,不过找对了软件和方法就相对容易许多。收集了一下关于iOS设备上搭建直播流媒体服务器的一些解决方案,如下:
free hit counters

1、凤雨小城,HLS 简介,http://www.vexx.cn/blog/read.php?240

2、dancong , wowza服务器无法将RTMP的流播放到iOS上(已解决),http://www.cocoachina.com/bbs/read.php?tid-47849.html (更多…)