邵珠庆の日记 生命只有一次,你可以用它来做很多伟大的事情–Make the world a little better and easier


205月/17

whistle-全新的跨平台web调试工具

发布在 邵珠庆

whistle是基于Node实现的跨平台web调试代理工具,类似的工具有Windows平台上的Fiddler+Willow,基于Java实现的Charles,及公司同事基于Node实现的Livepool等等;whistle与所有的web调试代理工具一样,主要功能也是用于查看、修改HTTP、HTTPS、Websockt的请求响应或者作为HTTP代理服务器,但不同于Fildder+Willow、Charles和Livepool通过断点的方式修改请求响应,whistle采用的是类似配置Hosts方式,通过配置修改请求响应,且提供规则分组功能及通过域名、路径、正则三种匹配方式(系统的hosts配置只支持域名匹配),特别针对终端调试提供了weinre,log等功能,并支持通过Node模块进行扩展。

基本功能

Github地址

安装启动

安装启动whistle,需要以下四个步骤: 安装node、安装whistle、启动whistle、配置代理。

  1. 安装Node(建议安装最新版本,LTS版本或当前版本都可以,如果已安装可以忽略此步骤): https://nodejs.org/
    安装tnpm():

    npm install @tencent/tnpm -g --registry=http://r.tnpm.oa.com --no-proxy
    
    # Mac、Linux用户可能需要加sudo
    sudo npm install @tencent/tnpm -g --registry=http://r.tnpm.oa.com --no-proxy
    
  2. 安装whistle及在公司网络访问外网需要用到的插件txpac插件:
    tnpm install -g whistle @tencent/whistle.txpac
    
    # Mac、Linux用户可能需要加sudo
    sudo tnpm install -g whistle @tencent/whistle.txpac
    
  3. 启动whistle
    w2 start
    whistle默认端口为8899,如果要修改端口号,可以这么启动:
    w2 start -p 8888
    重启whistle:
    w2 restart
    关闭whistle:
    w2 stop
    更多内容请查看命令行帮助:
    w2 help
  4. 配置代理
    whistle需要手动配置浏览器代理或者系统代理(代理的ip为whistle所在机器的ip,如果是本机就填127.0.0.1;端口号为启动时设置的端口号,默认为8899):

    • 配置浏览器代理(推荐使用):
      安装chrome代理插件: whistle-for-chrome插件 或者 Proxy SwitchySharp
      安装firefox代理插件: Proxy Selector

使用方法

安装node、安装whistle、启动whistle、配置代理后可以开始使用whistle,用Chrome浏览器打开whistle配置管理页面

界面相关操作参见界面功能;

配置模式

传统hosts的配置模式:

# 单个host
ip hostname

# 组合host
ip hostname1 hostname2 ... hostnameN

# 例如
127.0.0.1 www.example.com
127.0.0.1 a.example.com b.example.com c.example.com

whistle的配置模式:

# 单个操作
pattern operator-uri
# 如果pattern和operator-uri不同时为域名或路径的一种组合,位置可以调换
operator-uri pattern

# 组合模式
pattern operator-uri1 operator-uri2 ... operator-uriN
# pattern1和operator-uri不同时为域名或路径的一种组合,可以如下配置
operator-uri pattern1 pattern2 ... patternN

其中,pattern可以为:

  1. 域名:www.test.com(所有该域名下的请求都会匹配operator-uri)
  2. 路径:http://www.test.com/xxx(http://www.test.com/xxx 及其子路径的请求都会匹配operator-uri),或不加协议protocol://www.test.com/xxx,protocol可以为http、https、ws、wss(http://www.test.com/xxx及其子路径的请求都会匹配operator-uri)
  3. 正则:/^https?:\/\/([^\/]+)\/xxx/(http(s)://host:port/xxx及其子路径的请求都会匹配operator-uri,且在operator-uri中可以通过$1, $2, ..., $9获取url里面的子匹配)

operator-uri由上述基本功能抽象成的形如protocol://ruleValue的URI,whistle会根据匹配的operator-uri的protocol及ruleValue修改请求或响应,protocol和ruleValue的详细内容参见whistle帮助文档协议列表

例如:

# 修改www.example.com的响应cors
www.example.com resCors://*
# 或
resCors://* www.example.com

# 同时修改多个自定域名或路径
resCors://* /example\.com/ a.test.com b.test.com
# 修改www.test.com的带端口host、referer和响应的cors
www.test.com 127.0.0.1:8080 referer://http://www.example.com resCors://*

一些例子

  1. 拦截HTTPS

    不开启拦截HTTPS,无法在whistle看到HTTPS和Websockt请求响应的明文,且只能通过whistle对HTTPS和Websockt设置host、代理等有限的操作,要通过whistle完全操作HTTPS、Websocket请求响应,需要开启HTTPS拦截及在系统或浏览器安装whistle的根证书,具体参见:https://avwo.github.io/whistle/webui/https.html

  2. 配置host
    # 传统hosts配置
    127.0.0.1 www.example.com # 等价于: www.example.com  127.0.0.1
    127.0.0.1 a.example.com b.example.com c.example.com
    
    # 支持带端口
    127.0.0.1:8080 www.example.com # 等价于: www.example.com  127.0.0.1:8080
    127.0.0.1:8080 a.example.com b.example.com c.example.com
    
    # 支持通过域名获取host
    host://www.qq.com:8080 www.example.com # 等价于: www.example.com  host://www.qq.com:8080
    host://www.qq.com:8080 a.example.com b.example.com c.example.com
    
    # 支持通过正则表达式匹配
    127.0.0.1:8080 /example\.com/i # 等价于: /example\.com/i  127.0.0.1:8080
    127.0.0.1:8080 /example\.com/ /test\.com/
    
    # 支持路径匹配
    127.0.0.1:8080 example.com/test # 等价于: example.com/test 127.0.0.1:8080
    127.0.0.1:8080 http://example.com/index.html https://www.test.com/test
    

    完整功能参见协议列表

  3. 修改请求

    以下功能都支持通过域名、路径、正则匹配方式,为方便只以域名匹配方式为例,其它同理:

    # 修改url参数
    www.qq.com urlParams://E:\test\params.json        
    
    # 请求方法
    www.qq.com method://post
    
    # 添加请求头
    www.qq.com reqHeaders://(x-a=1&x-b=a%20b)
    
    # 修改referer(修改referer快捷方法)
    www.qq.com referer://http://ke.qq.com/
    
    # 修改cookie(修改请求cookie快捷方法)
    www.qq.com reqCookie://{reqCookie.json}
    
    # 修改请求表单
    www.qq.com params://{form.json}
    

    JSON对象可以存在本地文件,或存在界面的Values,也可以内联到Rules配置里面,具体参见实现原理数据格式
    完整功能参见协议列表

  4. 修改响应

    以下功能都支持通过域名、路径、正则匹配方式,为方便只以域名匹配方式为例,其它同理:

    # 修改响应状态码
    www.qq.com statusCode://500 # 请求不会发送到后台服务器,可以用来模拟4xx、5xx请求
    www.qq.com replaceStatus://404 # 请求返回后再修改statusCode
    
    # 添加响应头
    www.qq.com resHeaders://(x-res-a=1&x-res-b=a%20b)
    
    # 修改响应类型(修改响应类型的快捷方法)
    www.qq.com resType://text/plain # 或者: www.qq.com resType://text
    
    # 请求替换
    www.qq.com https://www.baidu.com
    
    # 本地替换(windows中目录分割符可以用`\`,也可以用`/`)
    www.qq.com file://E:\xxx # 等价于: file://E:/xxx www.qq.com
    # Mac或Linux
    www.qq.com file:///User/xxx/test
    # 如果要让本地没有对应文件的请求继续请求线上,可以采用
    www.qq.com xfile://E:\xxx
    
    # 本地替换jsonp
    www.qq.com tpl://E:\xxx.json # xxx.json: {callback}({"ec": 0})
    www.qq.com xtpl://E:\xxx.json # xxx.json: {callback}({"ec": 0})
    
    # 注入html、css、js(whistle会自动根据响应类型封装后注入)
    www.qq.com html://htmlFile
    www.qq.com css://cssFile
    www.qq.com js://jsFile
    

    JSON对象或注入的文本可以存在本地文件,或存在界面的Values,也可以内联到Rules配置里面,

  5. 设置代理

    以下功能都支持通过域名、路径、正则匹配方式,为方便只以域名匹配方式为例,其它同理:

    # http代理
    www.qq.com proxy://127.0.0.1:8888 # 等价于: proxy://127.0.0.1:8888 www.qq.com
    # 同时设置多个
    proxy://127.0.0.1:8888 www.qq.com /google/ /facebook/
    
    # socks代理
    www.qq.com scoks://127.0.0.1:1008 # 等价于: socks://127.0.0.1:8888 www.qq.com
    # 同时设置多个
    socks://127.0.0.1:1008 www.qq.com /google/ /facebook/
    
    # pac脚本
    # 设置办公网pac脚本(如果安装了whistle.txpac,则无需设置)
    /./ pac://http://txp-01.tencent.com/proxy.pac
    # 设置办公网pac脚本(如果安装了whistle.txpac,则无需设置)
    /./ pac://http://txp-01.tencent.com/proxy_devnet.pac
    

    完整功能参见协议列表

  6. 移动端调试

    打开whistle配置界面右上角的Online按钮获取当前whistle的ip和端口,移动设备根据相应的ip和端口配置代理(确保移动设备和PC要在同一网段);配置完后如果还是无法访问,可能需要关闭防火墙或者设置白名单

    # weinre(调试网页DOM结构)
    www.qq.com weinre://test
    
    # log(输出网页console打印的日志)
    www.qq.com log://{test.js}
    

    具体参见:weinrelog

    完整功能参见协议列表

  7. 其它功能

    以下功能都支持通过域名、路径、正则匹配方式,为方便只以域名匹配方式为例,其它同理:

    # 禁用缓存
    www.qq.com disable://cache
    
    # 忽略规则
    www.qq.com filter://rule|host|https
    

    完整功能参见协议列表

插件扩展及应用

whistle支持通过Node模块的方式扩展功能,具体参见:插件开发

插件的一些应用:

  1. HTTP代理服务器功能:imweb本地代理imwebproxy(里面的Pb和CMEM的功能分别对应两个whistle插件whistle.imwebproxywhistle.cmem)
  2. 扩展协议功能:imweb前端本地调试环境whistle.imwebenv
  3. 扩展界面功能:whistle.websocket

用户反馈

有问题可以先查whistle帮助文档;

如果还是无法解决或者有建议、贡献代码等可以使用下面任一种方式:

最后,如果whistle对你有帮助,给项目加个Star: https://github.com/avwo/whistle

205月/17

手机无须ROOT和修改hosts在本地测试安卓和H5应用

发布在 邵珠庆

开发手机APP和 H5 应用经常需要在本地和线上环境分开测试,一般想到的操作都是修改hosts,我也一直这么干的,但手机上修改hosts是需要 ROOT权限的,这样太过麻烦,还有变砖头的风险,而且有些手机根本不能ROOT的。

忙和了一下午,总算完全达到预期,有点收获,下面说说重点,主要是两个:

  1. 本地 DNS 服务
  2. 网络代理

做个本地的 DNS 服务,有点像DNS劫持的感觉,这个是一劳永逸的办法
首先,你需要一个Linux 虚拟机或一台服务器
我下面的配置使用的 Centos7.0 系统,不通版本可能有些差别的。

一、安装 DNSMasq

# 安装
yum install dnsmasq -y 
service dnsmasq start

# 编辑配置参数
vi /etc/dnsmasq.conf

# 查找 resolv-file 去掉注释符,添加文件路径
# 表示 dnsmasq 会从这个指定的文件中寻找上游dns服务器
resolv-file=/etc/resolv.conf

# 查找 no-hosts , 确保前面有 # 井号的(表示被注释掉的),否则 hosts 配置不起作用
# 监听的IP
listen-address=127.0.0.1,192.168.0.103
strict-order
addn-hosts=/etc/hosts
cache-size=32768

# 配置到网卡参数,centos7 和 6 的网卡名是不同的,用ifconfig 查看替换下
# centos 7 以前
vi /etc/sysconfig/network-scripts/ifcfg-eth0
# centos7 不一定相同
vi /etc/sysconfig/network-scripts/ifcfg-enp3s0

#  最多只能写3个,注意原配置中若存在则需要调整
DNS1=127.0.0.1
DNS2=192.168.0.103
DNS3=202.101.172.35
#DNS3=202.101.172.47

# 保存后, resolv.conf 文件内容会自动更新的
cat /etc/resolv.conf

# 查看DNS是否已添加进去

# 注册服务
chkconfig dnsmasq on

# 重启
/etc/init.d/dnsmasq restart

# centos7 下使用的命令
systemctl restart dnsmasq

# 检查是否安装成功
netstat -tunlp|grep 53
yum install bind-utils

# 测试是否启用 DNS 配置
dig m.ai9475.com

# 编辑 hosts 文件,配置本地 DNS 劫持域名 IP 的映射关系
vi /etc/hosts
192.168.0.105 m.ai9475.com


这样服务端的 DNS 劫持就基本配置好了
下一步还需要在手机上设置 DNS 对应的 IP,

打开 网络设置 -> wifi连接 -> 修改网络 -> 高级 -> 静态IP方式 -> 修改第一个NSIP即可,第二个可用正常的公网DNS

如下图:

Android手机DNS配置

最后注意:修改 hosts 之后,需要重启 dnsmasq 还有 network 最好也重启

二、使用本地网络代理

这个方法比较有局限性,对 H5 网页应用还可以,对部分原生 APP 可能无效哦,但有个好处是配合一些软件可以做前端的抓包查看,对测试接口之类的查看数据很有用

我用到过两个软件,
1. Fiddler
这个软件使用很方便,网上有很多介绍,这里就不说了,但据说仅支持 windows 平台
2. Whistle
这个是开源的项目,跨平台,我目前用的是这个,配置也很简单
下面简单说下如何安装使用

依赖 Nodejs,所以先安装 nodejs
我这里图方便,就用 yum 的方式安装了

curl --silent --location https://rpm.nodesource.com/setup_4.x | bash -
yum install -y nodejs

下载速度可能有些忙,10KB/s 下载了好半天才下完,耐心等吧

npm install cnpm -g --registry=https://registry.npm.taobao.org
cnpm install -g whistle
w2 start

这样就完成了。。。

查看代理请求数据,就是抓包数据

http://127.0.0.1:8900
http://127.0.0.1:8899

:8899 是代理的端口,但也可以查看抓包数据

两个端口都可以看,下图看看效果先(图片可以直接拖拽查看大图)

手机无须ROOT不用修改hosts即可在本地测试安卓、苹果APP和H5应用

其他的就直接看官方说明文档吧,中文的,很清晰明了
https://avwo.github.io/whistle/install.html

后面就是手机上操作和上面的 DNS 设置是同一个地方

打开 网络设置 -> wifi连接 -> 修改网络 -> 高级 -> 代理(手动配置) -> 填写局域网中服务器的IP,如192.168.0.103,端口 8899 

如下图:

Android手机设置代理

最后就是修改服务器上的 hosts,参考上方 DNS 配置 hosts 的操作是一样的

差不多就这样设置好了。

最后需要注意的就是清除手机上的缓存,一定要关闭浏览器和应用,清理内存后再打开,否则手机上的 DNS 和网络设置可能没有切换过来的。

以上配置我都是在 Android 设备上测试的, iOS 没有应用可测试,不过按理说应该是一样的效果的。
虽然代理的方法对有些APP 不一定有用,但建议还是 DNS 和 代理一起上吧。。。就这样了。

205月/17

百度文字转语音免费接口使用实例

发布在 邵珠庆

1、接口

http://tts.baidu.com/text2audio?lan=zh&ie=UTF-8&spd=2&text=你要转换的文字

上述接口的url,在浏览器上直接打开,即可听到文字转换后的语音。

 

lan=zh:语言是中文,如果改为lan=en,则语言是英文。

ie=UTF-8:文字格式。

spd=2:语速,可以是1-9的数字,数字越大,语速越快。

text=**:这个就是你要转换的文字。

2、js调用

  1. <!DOCTYPE html>
  2. <html lang="en">
  3. <head>
  4.     <meta charset="UTF-8">
  5.     <title>Document</title>
  6. </head>
  7. <body>
  8.     <form action="" method="post">
  9.         <table align="center">
  10.             <tr>
  11.                 <td><input type="text" id='val' placeholder='你要装换的文字'></td>
  12.                 <td><input type="button" value="提交" onclick="fun()"></td>
  13.             </tr>
  14.         </table>
  15.     </form>
  16. </body>
  17. </html>
  18. <script type="text/javascript">
  19. function fun()
  20. {
  21.     var val=document.getElementById("val").value;
  22.     var zhText = val;
  23.     zhText = encodeURI(zhText);
  24.     document.write("<audio autoplay=\"autoplay\">");
  25.     document.write("<source src=\"http://tts.baidu.com/text2audio?lan=zh&ie=UTF-8&spd=2&text="+ zhText +"\" type=\"audio/mpeg\">");
  26.     document.write("<embed height=\"0\" width=\"0\" src=\"http://tts.baidu.com/text2audio?lan=zh&ie=UTF-8&spd=2&text="+ zhText +"\">");
  27.     document.write("</audio>");
  28. }
  29. </script>