Qiulin’s blog

基于telethon的Telegram爬虫

2021-02-20T00:00:00+00:00

为了阻止人工智能接管世界我不得不去 Telegram 爬取大量 Dog 图片来优化我的神经网络

*此脚本主要用到 Telegram的python开源工具包telethon，以及asyncio等实现异步并发下载电报消息。

测试环境 debian 10 & Python 3.8.3*

导包

主要用到 Telegram的python开源工具包telethon，以及异步IO工具包asyncio等，缺啥补啥。

import difflib
import os
import re
import time
import asyncio 
import asyncio.subprocess 
from telethon import TelegramClient, events, errors 
from telethon.tl.types import MessageMediaWebPage

授权

在此链接获取Telegram账号的 api_id 和 api_hash 。
在此链接获取你的 bot_token 和 admin_token。

api_id = 1234567   # your telegram api id
api_hash = '123456789asdfg'  # your telegram api hash

bot_token = '13454236:ADFAGADAF'  # your bot_token
admin_id = 12314567  # your chat id

自定义配置

根据需要修改

save_path = '/var/downloads'  # 文件下载路径
max_num = 10  # 同时下载数量

filter_file_name = ['png',] # 过滤特定格式的文件
filter_list = ['猫猫', '\n'] # 文件名过滤

定义函数

文件名处理函数等

# 文件夹/文件名称处理
def validateTitle(title):
    r_str = r"[\/\\\:\*\?\"\<\>\|\n]"  # '/ \ : * ? " < > |'
    new_title = re.sub(r_str, "_", title)  # 替换为下划线
    return new_title

# 获取相册标题
async def get_group_caption(message):
    group_caption = ""
    entity = await client.get_entity(message.to_id)
    async for msg in client.iter_messages(entity=entity, reverse=True, offset_id=message.id - 9, limit=10):
        if msg.grouped_id == message.grouped_id:
            if msg.text != "":
                group_caption = msg.text
                return group_caption
    return group_caption

# 获取本地时间
def get_local_time():
    return time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())

# 判断相似率 ，用于过滤标题
def get_equal_rate(str1, str2):
    return difflib.SequenceMatcher(None, str1, str2).quick_ratio()

# 用于跳过特定格式文件 
def skip(file_name):
    for filter_file in filter_file_name:
            if file_name.endswith(filter_file):
                print('skip .'+filter_file + ' file')
                return True

待下载队列

队列里的数据结构 [message, chat_title, entity, file_name]

queue = asyncio.Queue() # 待下载队列

handler

handler 相当于一个传话员，将你的命令处理过后，生成一个 ⬆queue待下载队列，供⬇worker使用
通过与 Telegram 客户端的 bot 交互，告诉脚本要爬哪些内容，并依次放入queue队列
消息格式 /start <群组链接> <从第N条消息开始下载>，如图：

@events.register(events.NewMessage(pattern='/start', from_users=admin_id))
async def handler(update):
	#*********************处理bot消息****************************#
    text = update.message.text.split(' ')
    if len(text) == 1:
        await bot.send_message(admin_id, '参数错误，请按照参考格式输入:\n\n '
                                         '<i>/start https://t.me/fkdhlg 0 </i>\n\n'
                                         'Tips:如果不输入offset_id，默认从第一条开始下载。', parse_mode='HTML')
        return
    elif len(text) == 2:
        chat_id = text[1]
        try:
            entity = await client.get_entity(chat_id)
            chat_title = entity.title
            offset_id = 0
            await update.reply(f'开始从{chat_title}的第一条消息下载。')
        except:
            await update.reply('chat输入错误，请输入频道或群组的链接')
            return
    elif len(text) == 3:
        chat_id = text[1]
        offset_id = int(text[2])
        try:
            entity = await client.get_entity(chat_id)
            chat_title = entity.title
            await update.reply(f'开始从{chat_title}的第{offset_id}条消息下载。')
        except:
            await update.reply('chat输入错误，请输入频道或群组的链接')
            return
    else:
        await bot.send_message(admin_id, '参数错误，请按照参考格式输入:\n\n '
                                         '<i>/start https://t.me/fkdhlg 0 </i>\n\n'
                                         'Tips:如果不输入offset_id，默认从第一条开始下载。', parse_mode='HTML')
        return
	#*********************处理bot消息****************************#


    if chat_title:
        print(f'{get_local_time()} - 开始下载：{chat_title}({entity.id}) - {offset_id}')
        last_msg_id = 0
        async for message in client.iter_messages(entity, offset_id=offset_id, reverse=True, limit=None):
            if message.media:
                # 如果是一组媒体
                caption = await get_group_caption(message) if (
                    message.grouped_id and message.text == "") else message.text
                # 过滤文件名称中的广告等词语
                if len(filter_list) and caption != "":
                    for filter_keyword in filter_list:
                        caption = caption.replace(filter_keyword, "")
                # 如果文件文件名不是空字符串，则进行过滤和截取，避免文件名过长导致的错误
                caption = "" if caption == "" else f'{validateTitle(caption)} - '[
                    :50]
                file_name = ''
                # 如果是文件
                if message.document:
                    if type(message.media) == MessageMediaWebPage:
                        continue
                    if message.media.document.mime_type == "image/webp":
                        continue
                    if message.media.document.mime_type == "application/x-tgsticker":
                        continue
                    for i in message.document.attributes:
                        try:
                            file_name = i.file_name
                        except:
                            continue
                    if file_name == '':
                        file_name = f'{message.id} - {caption}.{message.document.mime_type.split("/")[-1]}'
                    else:
                        # 如果文件名中已经包含了标题，则过滤标题
                        if get_equal_rate(caption, file_name) > 0.6:
                            caption = ""
                        file_name = f'{message.id} - {caption}{file_name}'
                elif message.photo:
                    file_name = f'{message.id} - {caption}{message.photo.id}.jpg'
                else:
                    continue
                    
                #****************核心部分******************#
                await queue.put((message, chat_title, entity, file_name))
                last_msg_id = message.id
        await bot.send_message(admin_id, f'{chat_title} all message added to task queue, last message is：{last_msg_id}')

worker

经过handler的处理后的queue，client.download_media
这里改进了原作者代码中的文件格式过滤部分，（见注释）

async def worker(name):
    while True:
   		# 将queue队列中的信息分别提取
        queue_item = await queue.get()
        message = queue_item[0]
        chat_title = queue_item[1]
        entity = queue_item[2]
        file_name = queue_item[3]
		
		#此处对原代码(以下注释)进行优化，使其不会因过滤文件太多而停止运行
        if skip(file_name):
            continue
        # for filter_file in filter_file_name:
        #     if file_name.endswith(filter_file):
        #         print('find')
        #         return
        dirname = validateTitle(f'{chat_title}({entity.id})')
        datetime_dir_name = message.date.strftime("%Y年%m月")
        file_save_path = os.path.join(save_path, dirname, datetime_dir_name)
        if not os.path.exists(file_save_path):
            os.makedirs(file_save_path)
        # 判断文件是否在本地存在，如果存在，则移除重新下载
        if file_name in os.listdir(file_save_path):
            os.remove(os.path.join(file_save_path, file_name))
        print(f"{get_local_time()} 开始下载： {chat_title} - {file_name}")
        
        # 核心部分
        try:
            loop = asyncio.get_event_loop()
            task = loop.create_task(client.download_media(
                message, os.path.join(file_save_path, file_name)))
            await asyncio.wait_for(task, timeout=3600)
        # 核心部分   
        
        except (errors.FileReferenceExpiredError, asyncio.TimeoutError):
            print(f'{get_local_time()} - {file_name} 出现异常，重新尝试下载！')
            async for new_message in client.iter_messages(entity=entity, offset_id=message.id - 1, reverse=True,
                                                          limit=1):
                await queue.put((new_message, chat_title, entity, file_name))
        except Exception as e:
            print(f"{get_local_time()} - {file_name} {e}")
            await bot.send_message(admin_id, f'Error!\n\n{e}\n\n{file_name}')
        finally:
        	#确保任务正常结束
            queue.task_done()

main

主调函数，通过 id 和 token 等启动 telethon 的 bot。

if __name__ == '__main__':
	# 通过 id 和 token 等启动 bot 机器人
    bot = TelegramClient('telegram_channel_downloader_bot',
                         api_id, api_hash).start(bot_token=str(bot_token))
    client = TelegramClient(
        'telegram_channel_downloader', api_id, api_hash).start()
    bot.add_event_handler(handler)
    # 任务列表
    tasks = []
    try:
    	# 启动 max_num 个 task
        for i in range(max_num):
            loop = asyncio.get_event_loop()
            task = loop.create_task(worker(f'worker-{i}'))
            tasks.append(task)
        print('Successfully started (Press Ctrl+C to stop)')
        client.run_until_disconnected()
    # 确保程序正确终止
    finally:
        for task in tasks:
            task.cancel()
        client.disconnect()
        print('Stopped!')

本文代码来源Github

原项目地址

个人修改版

树莓派安装UbuntuServer20.04

2021-02-18T00:00:00+00:00

1.树莓派4b刷入ubuntu server 20.04

1.1 下载树莓派官网中的ubuntu server

因为主要是用于vscode的服务器，所以这里不装图形界面。如果有需要，可以自行选择链接中的Ubuntu Desktop

1.2 插入内存卡

这里记住内存卡盘符

1.3 使用win32diskimager将下载好的镜像刷入上述内存卡

注意别选错了，尤其是电脑插了u盘或移动硬盘的情况下

至此，镜像已经刷入内存卡中

1.4 开启ssh

为了能够在没插显示器的情况下，能够进入ssh远程配置
在boot分区中，新建空白文件ssh，注意没有任何后缀

1.5 连接网络

因为没插显示器，所以需要开机前配置好网络
此处提供两种方法

1.5.1 在boot分区中，找到`network-config`文件，在里面更改成你的wifi信息

wifis:
	wlan0:
		dhcp4: true
		optional: true
		access-points:
			wifi名称:
				password: “密码”

1.5.2 或者直接插网线

插路由器LAN口

1.6 插电开机

1.6.1 找到设备的`ip`

这里不作过多赘述，一般在路由器的管理界面可以找到，设备名是ubuntu

1.6.2 用ssh登陆设备，（用户名和密码都是ubuntu）

ssh ubuntu@[你的ip]

1.6.3 登陆成功后会要求你重新设置密码

至此ubuntu server已经安装完毕

【部署 `code-server`】

字符画图形之代码高复用

2020-12-17T00:00:00+00:00

源码已在Github同步

一、代码描述

用字符分别画出： 1.矩形
2.空心矩形
3.实心等腰三角形
4.空心棱形
5.“回”字
其中，图形大小可任意指定，字符可任意指定，尽量模块化，可复用化，

二、效果展示

$ gcc draw.c
$ ./a.out
input a b c :                          
11 7 @
@@@@@@@@@@@
@@@@@@@@@@@
@@@@@@@@@@@
@@@@@@@@@@@
@@@@@@@@@@@
@@@@@@@@@@@
@@@@@@@@@@@

@@@@@@@@@@@
@         @
@         @
@         @
@         @
@         @
@@@@@@@@@@@
     @
    @@@
   @@@@@
  @@@@@@@
 @@@@@@@@@
@@@@@@@@@@@
     @
    @ @
   @   @
  @     @
 @       @
@         @
 @       @
  @     @
   @   @
    @ @
     @
@@@@@@@@@@@
@         @
@         @
@  @@@@@  @
@  @   @  @
@  @   @  @
@  @   @  @
@  @@@@@  @
@         @
@         @
@@@@@@@@@@@

三、分析

1、高频代码封装

因为画图经常需要换行，所以此处对换行操作进行封装

void n()
{
	putchar('\n');
}	

考虑到以上图形大多需要画直线，故将画直线操作封装

void line(int count, char c)
{
	while(count--){
		putchar(c);
	}
}

2、复用已封装代码实现新功能

1）矩形

通过分析可知，矩形可分解成多条直线：矩形的长(length)即为直线的长度，即line(length,) 矩形的宽(width)即为直线的条数，即调用width次line()函数

void rectangle(int length, int width,char c)
{
	while(width--){
		line(length,c);
		n();
	}
}

2）正方形

由“正方形是特殊的矩形”可知，正方形可调用矩形代码实现即正方形 == 长宽相等的矩形

void square(int length,char c)
{
	rectangle(length,length,c);
}

3）三角形

经过简单计算及验证，在题设条件下：

三角形也可由长度递减的直线叠加而成，其中顶部直线长度为1（即一个顶点）
为保证顶点为1，底边长需为奇数，而矩形等没有要求，故在代码头部进行修正，保证整体代码的健壮性
三角形的高为底边长的一半（向上取整），所以需要调用(bottom+1)/2次line(2*i+1,c)函数
另外需要针对每行进行若干空格，数目依次递减，即调用bottom/2-i次line(1,' ')函数

void triangle(int bottom,char c)
{
	if(bottom%2==0)//对底边做一个修正，因为若底边长为偶数，则三角形不尖...
		bottom+=1;
		
	for(int i = 0;i < (bottom+1)/2; i++){//三角形高
		for(int j = 0; j < bottom/2 - i; j++){//每行前的空格
			line(1,' ');//空格
		}
		line(2*i+1,c);
		n();	
	}	
}

4）棱形

分析可知，棱形由一个正三角和一个倒三角组成故棱形实现方案可分为两个部分

画一个正三角，调用triangle(a,c)函数
画一个底边为a-1的倒三角，即丢弃第一行。调用solidInvertedTriangle(a,c)函数

倒三角实现

void solidInvertedTriangle(int a,char c)
{
	//a-=2
	if(a % 2 == 0)
		a+=1;
	for(int i = 0; i < (a+1)/2; i++){
		if(i == 0)#跳过第一行       
			continue;
		for(int j = 0; j < i; j++)
			line(1,' ');
		line(a - 2*i,c);
		n();
	}
}

棱形代码实现

void solidLozenge(int a, char c)
{
	triangle(a,c);
	solidInvertedTriangle(a,c);
}

附、源码

初版代码，函待作以上更新  
---

#include<stdio.h>

void n()
{
	putchar('\n');
}	

void line(int a, char c)
{
	while(a--){
		putchar(c);
	}
}

void rectangle(int a, int b,char c)
{
	while(b--){
		line(a,c);
		n();
	}
}


void hollowRectangle(int a,int b ,int c)
{
	line(a,c);
	n();
	for(int i = 0; i < b - 2; i++ ){
		putchar(c);
		for(int j = 0; j < a - 2; j++)
			printf(" ");
		putchar(c);
		n();	
	}
	line(a,c);
}

void triangle(int a,char c)
{
	if(a%2==0)
		a+=1;
	for(int i = 0;i < (a+1)/2; i++){
		for(int j = 0; j < a/2 - i; j++){
			putchar(' ');
		}
		line(2*i+1,c);
		n();	
	}	
}

void lozenge(int a,char c)
{
	if(a % 2 == 0)
		a+=1;	
	for(int i = 0; i < (a+1)/2; i++){
		for(int j = 0; j < a/2 -i; j++)
			putchar(' ');
		putchar(c);
		for(int j = 0; j < 2*i-1;j++)
			putchar(' ');
		if(i != 0)
			putchar(c);
		n();
	}
	
	for(int i = 1; i < (a+1)/2; i++){
		for(int j = 0; j < i; j++)
			putchar(' ');
		putchar(c);
		for(int j = 0; j < a-2*i-2; j++)
			putchar(' ');
		if(i != (a+1)/2-1)
			putchar(c);
		n();
	}
}

void hui(int a,char c)
{
	line(a,c);
	n();
	for(int i = 0; i < a-2; i++){
		putchar(c);
		if(i<(a+1)/4-1 || i>a-(a+1)/4-2 ){
			for(int j=0;j<a-2;j++)
				putchar(' ');
		}
		else{
			for(int j=0;j<(a+1)/4-1;j++)
				putchar(' ');
			if(i == (a+1)/4 -1 || i == a-(a+1)/4-2)
				line(a-(a+1)/2,c);	
			else{
				putchar(c);
				for(int t = 0;t < a-(a+1)/2-2;t++)
					putchar(' ');
				putchar(c);
			}
			for(int j=0;j<(a+1)/4 -1;j++)
				putchar(' ');
		}
		putchar(c);
		n();
	}
	line(a,c);
	n();
}


void square(int a,char c)
{
	rectangle(a,a,c);
}


//  已丢弃的  实心倒三角方案
void solidInvertedTriangle(int a,char c)
{
	//a-=2
	if(a % 2 == 0)
		a+=1;
	for(int i = 0; i < (a+1)/2; i++){
		if(i == 0)       
			continue;
		for(int j = 0; j < i; j++)
			putchar(' ');
		line(a - 2*i,c);
		n();
	}
}
void solidLozenge(int a, char c)
{
	triangle(a,c);
	line(1,' ');
	solidInvertedTriangle(a-1,c);
}

int main(void)
{
	int a=12, b=4;
	char c = '*';

	puts("input a b :");
	scanf("%d %d",&a,&b);
	
	
	rectangle(a,b,c);n();	
	
	hollowRectangle(a,b,c);n();

	triangle(a,c);
		
	lozenge(a,c);	
	
	hui(a,c);

	
	//solidLozenge(a,c);
	//square(a,c);
	//hollowTriangle(a,c);
	return 0;
		
}

node.js快速入门

2020-12-17T00:00:00+00:00

一、Node.js简介

Node.js 是一个基于 Chrome V8 引擎的 JavaScrip 运行环境。 Node.js 使用了一个事件驱动、非阻塞式 I/O 的模型。

JavaScrip是一种具有函数优先的轻量级，解释型或即时编译型的高级编程语言。JavaScript 基于原型编程、多范式的动态脚本语言，并且支持面向对象、命令式和声明式（如函数式编程）风格。

Node是一个类似于perl,python,ruby等的一个本地运行环境，理论上可以在它的基础上开发任何应用，使用expressjs库，可在node环境下开发高性能web服务器。

事件驱动是指在持续事务管理过程中，进行决策的一种策略，即跟随当前时间点上出现的事件，调动可用资源，执行相关任务，使不断出现的问题得以解决，防止事务堆积。

非阻塞式 I/O ，也叫异步 I/O，显然对应的就是阻塞式 I/O。阻塞式 I/O 是指，当一个线程在执行 I/O 操作时，这个线程会阻塞，等待 I/O 操作完成后继续执行。故使用单线程非阻塞式I/O的node的性能优异。但存在线程崩溃的隐患。

二、安装配置

安装node.js和npm

sudo apt-get install nodejs
sudo apt-get install npm 

npm 是 Node.js 的包管理工具，用来安装各种 Node.js 的扩展 验证安装 ```bash $ node -v v10.19.0  

$ npm -v 6.14.4

测试js运行环境
```bash
$ vi hlwd.js
console.log("hello world")

$ node hlwd.js
hello world #成功

三、创建服务器

Node.js 应用是由以下部分组成：

1.引入 required 模块：我们可以使用 require 指令来载入 Node.js 模块。

2.创建服务器：服务器可以监听客户端的请求，类似于 Apache 、Nginx 等 HTTP 服务器。

3.接收请求与响应请求服务器很容易创建，客户端可以使用浏览器或终端发送 HTTP 请求，服务器接收请求后返回响应数据。

分析Node.js 的 HTTP 服务器

·第一行请求（require）Node.js 自带的 http 模块，并且把它赋值给 http 变量。
·

·接下来调用 http模块提供的函数： createServer 。这个函数会返回一个对象，这个对象有一个叫做 listen 的方法，这个方法有一个数值参数，指定这个 HTTP 服务器监听的端口号。

引入requred模块

使用 require 指令来载入 http 模块，并将实例化的 HTTP 赋值给变量 http。

vi server.js

var http = require("http");

创建服务器

使用 http.createServer() 方法创建服务器，并使用 listen 方法绑定 8888 端口。函数通过 request, response 参数来接收和响应数据。

var http = require('http');

http.createServer(function (request, response) {

    // 发送 HTTP 头部 
    // HTTP 状态值: 200 : OK
    // 内容类型: text/plain
    response.writeHead(200, {'Content-Type': 'text/plain'});

    // 发送响应数据 "Hello World"
    response.end('Hello World\n');
}).listen(8888);

// 终端打印如下信息
console.log('Server running at http://127.0.0.1:8888/');

测试服务器

以上代码我们完成了一个可以工作的 HTTP 服务器。

使用 node 命令执行以上的代码：

$ node server.js 
Server running at http://127.0.0.1:8888/                                                                                        

打开浏览器访问 http://127.0.0.1:8888/，可以看到一个写着 “Hello World”的网页

四、NPM介绍

NPM是随同NodeJS一起安装的包管理工具，能解决NodeJS代码部署上的很多问题，常见的使用场景有以下几种：

允许用户从NPM服务器下载别人编写的第三方包到本地使用。

允许用户从NPM服务器下载并安装别人编写的命令行程序到本地使用。

允许用户将自己编写的包或命令行程序上传到NPM服务器供别人使用。

常用 NPM 命令

安装常用的 Node.js web框架模块 express:

本地安装：将安装包放在 ./node_modules 下（运行 npm 命令时所在的目录）；可以通过 require() 来引入本地安装的包。

$ npm install express

全局安装：将安装包放在 /usr/local 下或者你 node 的安装目录；可以直接在命令行里使用。

$ npm install express -g 

更新模块

$ npm update express

搜索模块

$ npm search express

卸载express模块

$ npm uninstall express

查看是否卸载成功

$ npm ls

清空NPM本地缓存

$ npm cache clear可以

查看某条命令的详细帮助

npm help <command>

使用package.json

package.json 位于模块的目录下，用于定义包的属性。Package.json 属性说明:

name - 包名。

version - 包的版本号。

description - 包的描述。

homepage - 包的官网 url 。

author - 包的作者姓名。

` contributors` - 包的其他贡献者姓名。

dependencies - 依赖包列表。如果依赖包没有安装，npm 会自动将依赖包安装在 node_module 目录下。

repository - 包代码存放的地方的类型，可以是 git 或 svn，git 可在 Github 上。

main - main 字段指定了程序的主入口文件，require(‘moduleName’) 就会加载这个文件。这个字段的默认值是模块根目录下面的 index.js。

` keywords` - 关键字

其他命令

#创建模块
$ npm init
#在npm资源库中注册用户
$ npm adduser
#发布模块
$ npm publish

使用淘宝 NPM 镜像

淘宝 NPM 镜像是一个完整 npmjs.org 镜像，你可以用此代替官方版本(只读)，同步频率目前为 10分钟一次以保证尽量与官方服务同步。

$ npm install -g cnpm --registry=https://registry.npm.taobao.org

之后便可以使用淘宝定制的 cnpm (gzip 压缩支持) 命令行工具代替默认的 npm，如:

$ cnpm install [name]

五、Node.js REPL交互式解释器

Node 自带了REPL（Read Eval Print Loop:交互式解释器），可以执行以下任务：

` 读取` - 读取用户输入，解析输入的 Javascript 数据结构并存储在内存中。

执行 - 执行输入的数据结构

` 打印` - 输出结果

` 循环` - 循环操作以上步骤直到用户两次按下 ctrl-c 按钮退出。

node.js的REPL类似于python终端，所以只做一些简单补充：

变量声明需要使用 var 关键字
使用下划线_获取上一个表达式的运算结果

$ node

> var a = 1 +4
undefined
> var sum = _
undefined
> sum
5

REPL 命令

ctrl + c 按下两次 - 退出 Node REPL。

ctrl + d - 退出 Node REPL.

向上/向下键 - 查看输入的历史命令

tab 键 - 列出当前命令

.help - 列出使用命令

` .break` - 退出多行表达式

.clear - 退出多行表达式

.save filename - 保存当前的 Node REPL 会话到指定文件

.load filename - 载入当前 Node REPL 会话的文件内容。

以上，我们已经能够初步的使用node.js了，接下来会介绍node.js的一些特性。

Linux C语言指针与内存

2020-12-12T00:00:00+00:00

vi sample.c

以一个简单的数值交换为例，引入内存概念。

#include <stdio.h>

void change(int *a,int *b){
	int *temp = a;
	a = b;
	b = temp;
}

int main(void){
	int a,b;
	a=5;
	b=3;
	change(&a,&b);
	printf("a = %d ,b = %d\n",a,b);
	return 0;
}

编译

#安装gdb调试工具
sudo apt-get install gdb

#编译
gcc -g sample.c -o sample.out

#运行gdb
gdb sample.out

GDB调试工具常用命令

· start ：进入调试 break ：断点 list ：显示代码 回车键 :重复上一条命令 print ` <变量>` ：打印变量 `n`ext ：下一行 `s`tep ：进入函数？ `bt` ：堆栈状态 `f` ：切换堆栈 `q`uit ：退出

内存结构图

其中高位内存是给系统内核用的，程序员只用到其下部分。

后续知识概要

绿色部分可自由分配malloc

编译后的代码在代码段

变量的内存顺序：按顺序

函数的内存顺序：按逆序

静态变量，全局变量都在数据段

数组：指针与数组的内存本质

指针运算：p++,步长为数据类型的长度。p[n]

字符数组/指针字符串：

(gdb) x/6cb 0x7fffffffde03
#连续打印6个字节的字符

...
char str[] = "hello";
char *str2 = "world";
char str3[10];
scanf("%s",str);

//若此时输入为aaaaaaaaaaaaaaaaaa，
//超过6个字符的部分进入了str3

Git使用初步

2020-12-07T00:00:00+00:00

1. 配置

1.1 设置用户信息（必不可省）

$ git config --global user.name "githubID"
$ git config --global user.email 'youremail'

1.2 `gitconfig`文件作用范围

/etc/gitconfig 文件：系统中对所有用户都普遍适用的配置。 git config 时用 –system ~/.gitconfig 文件：用户目录下的配置文件只适用于该用户。 git config 时用 –global .git/config 文件：当前项目的 git 目录中的配置文件，这里的配置仅仅针对当前项目有效

每一个级别的配置都会覆盖上层的相同配置，所以 .git/config 里的配置会覆盖 /etc/gitconfig 中的同名变量。

2. 开始

① 初始化一个仓库

mkdir my-git
cd my-git
git init

② 或者克隆一个仓库

git clone git://github.com/monicedy/cw.git [rename]

克隆一个裸仓库

git clone --bare my-git

2.2 `git status`查看当前文件状态

文件状态变化周期图

2.3 `git add`的三种不同功能

开始跟踪新文件
把已跟踪的文件放到暂存区
合并时把有冲突的文件标记为已解决状态

2.4`.gitignore`忽略某些文件

1.所有空行或者以注释符号＃开头的行都会被 Git 忽略。 2.可以使用标准的 glob 模式匹配。 3.匹配模式最后跟反斜杠（/）说明要忽略的是目录。 4.要忽略指定模式以外的文件或目录，可以在模式前加上惊叹号（!）取反。

# 此为注释 – 将被 Git 忽略
    # 忽略所有 .a 结尾的文件
    *.a
    # 但 lib.a 除外
    !lib.a
    # 仅仅忽略项目根目录下的 TODO 文件，不包括 subdir/TODO
    /TODO
    # 忽略 build/ 目录下的所有文件
    build/
    # 会忽略 doc/notes.txt 但不包括 doc/server/arch.txt
    doc/*.txt

2.5 查看已暂存和未暂存的更新

git diff工作目录中当前文件和暂存区域快照之间的差异，也就是修改之后还没有暂存起来的变化内容

git diff --cached 查看已经暂存起来的变化

$ git diff --cached
    diff --git a/benchmarks.rb b/benchmarks.rb
    index 3cb747f..e445e28 100644
    --- a/benchmarks.rb
    +++ b/benchmarks.rb
    @@ -36,6 +36,10 @@ def main
    @commit.parents[0].parents[0].parents[0]
    end

    + run_code(x, 'commits 1') do
    + git.commits.size
    + end
    +
    run_code(x, 'commits 2') do
    log = git.commits('master', 15)
    log.size

2.6 `git commit` 提交

将文件从以上生命周期图的 staged 状态变成 unmodified状态

git commit -a 会自动把所有已经跟踪过的文件暂存起来一并提交，跳过 git add 步骤

2.7 `git rm <file>` 移除

要从 Git 中移除某个文件，就必须要从已跟踪文件清单中移除（确切地说，是从暂存区域移除），然后提交。可以用 git rm 命令完成此项工作，并连带从工作目录中删除指定的文件，这样以后就不会出现在未跟踪文件清单中了。

#如果删除之前修改过并且已经放到暂存区域的话，则必须要用强制删除选项 -f
$:~/my-git/my-clone/my-git$ git rm file
error: the following file has changes staged in the index:
    file
(use --cached to keep the file, or -f to force removal)

$:~/my-git/my-clone/my-git$ rm file #物理删除
$:~/my-git/my-clone/my-git$ git status
Changes to be committed:
        new file:   file
Changes not staged for commit:
        deleted:    file


lyon@LYON:~/my-git/my-clone/my-git$ git rm file #魔法删除
rm 'file'

lyon@LYON:~/my-git/my-clone/my-git$ git status
No commits yet

` git rm –cached`

我们想把文件从 Git 仓库中删除（亦即从暂存区域移除），但仍然希望保留在当前工作目录中。换句话说，仅是从跟踪清单中删除。比如一些大型日志文件或者一堆 .a 编译文件，不小心纳入仓库后，要移除跟踪但不删除文件，以便稍后在 .gitignore 文件中补上，用 –cached 选项即可

2.8`git mv file_from file_to` 移动/更名

可被git识别为renamed，等效于

$ mv README.txt README $ git rm README.txt $ git add README

3. 查看提交历史 `git log`

` -p` 选项展开显示每次提交的内容差异，用 -n 则仅显示最近的n次更新

` –stat`，仅显示简要的增改行数统计

--pretty 选项: oneline 将每个提交放在一行显示 ; 另外还有short，full 和 fuller

format，可以定制要显示的记录格式

%H 提交对象（commit）的完整哈希字串 %h 提交对象的简短哈希字串 %T 树对象（tree）的完整哈希字串 %t 树对象的简短哈希字串 %P 父对象（parent）的完整哈希字串 %p 父对象的简短哈希字串 %an 作者（author）的名字 %ae 作者的电子邮件地址 %ad 作者修订日期（可以用 -date= 选项定制格式） %ar 作者修订日期，按多久以前的方式显示 %cn 提交者(committer)的名字 %ce 提交者的电子邮件地址 %cd 提交日期 %cr 提交日期，按多久以前的方式显示 %s 提交说明

用 oneline 或 format 时结合 –graph 选项，可以看到开头多出一些 ASCII 字符串表示的简单图形

$ git log --pretty=format:"%h %s" --graph
    * 2d3acf9 ignore errors from SIGCHLD on trap
    * 5e3ee11 Merge branch 'master' of git://github.com/dustin/grit
    |\
    | * 420eac9 Added a method for getting the current branch.
    * | 30e367c timeout code and tests
    * | 5a09431 add timeout protection to grit
    * | e1193f8 support for heads with slashes in them
    |/
    * d6016bc require time for xmlschema
    * 11d191e Merge branch 'defunkt' into local

选项说明 -p 按补丁格式显示每个更新之间的差异。 –stat 显示每次更新的文件修改统计信息。 –shortstat 只显示 –stat 中最后的行数修改添加移除统计。 –name-only 仅在提交信息后显示已修改的文件清单。 –name-status 显示新增、修改、删除的文件清单。 –abbrev-commit 仅显示 SHA-1 的前几个字符，而非所有的 40 个字符。 –relative-date 使用较短的相对时间显示（比如，“2 weeks ago”）。 –graph 显示 ASCII 图形表示的分支合并历史。 –pretty 使用其他格式显示历史提交信息。可用的选项包括 oneline，short，full，fuller 和 format（后跟指定格式）。

4. 撤销

4.1 `git commit --amend`修改提交

$ git commit -m 'initial commit'
    $ git add forgotten_file
    $ git commit --amend

三条命令最终只是产生一个提交，第二个提交命令修正了第一个的提交内容

4.2 `git reset HEAD <file>...` 取消已经暂存的文件

将文件从 Changes to be committed 移到 Changes not staged for commit

$:~/my-git/my-clone/my-git$ git add readme.md
$:~/my-git/my-clone/my-git$ git status
On branch master
No commits yet
Changes to be committed:
  (use "git rm --cached <file>..." to unstage)
        new file:   file
        new file:   readme.md

$:~/my-git/my-clone/my-git$ git reset -- readme.md
$:~/my-git/my-clone/my-git$ git status
On branch master
No commits yet
Changes to be committed:
  (use "git rm --cached <file>..." to unstage)
        new file:   file

4.3 `git checkout -- <filename>`取消对文件的修改

$:~/my-git/my-clone/my-git$ echo 'hhh' > file
$:~/my-git/my-clone/my-git$ git status
On branch master
No commits yet
Changes to be committed:
  (use "git rm --cached <file>..." to unstage)
        new file:   file
Changes not staged for commit:
  (use "git add <file>..." to update what will be committed)
  (use "git restore <file>..." to discard changes in working directory)
        modified:   file
        
$:~/my-git/my-clone/my-git$ git checkout -- file
$:~/my-git/my-clone/my-git$ git status
On branch master
No commits yet
Changes to be committed:
  (use "git rm --cached <file>..." to unstage)
        new file:   file

5. 远程仓库

5.1 添加远程仓库

git remote add [shortname] [url]

5.2 从远程仓库抓取数据到本地

git fetch [remote-name]从远程仓库中拉取所有本地仓库中还没有的数据

运行完成后，你就可以在本地访问该远程仓库中的所有分支，将其中某个分支合并到本地，或者只是取出某个分支。

如果是克隆了一个仓库，此命令会自动将远程仓库归于 origin 名下。所以，git fetch origin 会抓取从你上次克隆以来别人上传到此远程仓库中的所有更新（或是上次 fetch 以来别人提交的更新）。有一点很重要，需要记住，fetch 命令只是将远端的数据拉到本地仓库，并不自动合并到当前工作分支，只有当你确实准备好了，才能手工合并。

如果设置了某个分支用于跟踪某个远端仓库的分支，可以使用 git pull 命令自动抓取数据下来，然后将远端分支自动合并到本地仓库中当前分支。在日常工作中我们经常这么用，既快且好。实际上，默认情况下git clone 命令本质上就是自动创建了本地的 master 分支用于跟踪远程仓库中的 master 分支（假设远程仓库确实有 master 分支）。所以一般我们运行 git pull，目的都是要从原始克隆的远端仓库中抓取数据后，合并到工作目录中的当前分支。

5.3 推送数据到远程仓库

git push [remote-name(origin)] [branch-name(master)]将本地仓库中的数据推送到远程仓库

只有在所克隆的服务器上有写权限，或者同一时刻没有其他人在推数据，这条命令才会如期完成任务。如果在你推数据前，已经有其他人推送了若干更新，那你的推送操作就会被驳回。你必须先把他们的更新抓取到本地，合并到自己的项目中，然后才可以再次推送

5.4 查看远程仓库信息`git remote show [remote-name]`

$ git remote show origin
    * remote origin
    URL: git://github.com/schacon/ticgit.git
    Remote branch merged with 'git pull' while on branch master
    master
    Tracked remote branches
    master
    ticgit

5.5 远程仓库的删除和重命名

git remote rename <OldName> <NewName> 命令修改某个远程仓库在本地的简称.

git remote rm <repositoryName>删库跑路

6.标签

Git 使用的标签有两种类型：轻量级的（lightweight）和含附注的（annotated）。轻量级标签就像是个不会变化的分支，实际上它就是个指向特定提交对象的引用。而含附注标签，实际上是存储在仓库中的一个独立对象，它有自身的校验和信息，包含着标签的名字，电子邮件地址和日期，以及标签说明，标签本身也允许使用 GNU Privacy Guard (GPG) 来签署或验证。一般我们都建议使用含附注型的标签，以便保留相关信息；当然，如果只是临时性加注标签，或者不需要旁注额外信息，用轻量级标签也没问题。

6.1 含附注的标签

git tag -a v1.4 -m 'my version 1.4'

-a 即annotated含附注的
-m 选项则指定了对应的标签说明，Git 会将此说明一同保存在标签对象中可以使用 git show 命令查看相应标签的版本信息，并连同显示打标签时的提交对象

如果你有自己的私钥，还可以用 GPG 来签署标签，只需要把之前的 -a 改为 -s （译注：取 signed 的首字母）即可

6.2 轻量级标签

实际上就是一个保存着对应提交对象的校验和信息的文件。要创建这样的标签，一个 -a，-s 或 -m 选项都不用，直接给出标签名字即可：

6.3 分享标签

默认情况下git push 并不会把标签传送到远端服务器上，显式命令格式如同推送分支，运行 git push origin [tagname] 即可

$ git push origin --tags
#推送所有标签

git命令别名 $ git config –global alias.ci commit 现在，如果要输入 git commit 只需键入 git ci 即可 —

基于Jekyll和Github Page搭建个人博客

2020-12-05T00:00:00+00:00

1.Jekyll

Jekyll是一种简单的、适用于博客的、静态网站生成引擎。它使用一个模板目录作为网站布局的基础框架，支持Markdown、Textile等标记语言的解析，提供了模板、变量、插件等功能，最终生成一个完整的静态Web站点。说白了就是，只要安装Jekyll的规范和结构，不用写html，就可以生成网站。

安装jekyll

#安装Ruby
sudo apt-get install ruby-full  zlib1g-dev build-essential

#使用gem安装jekyll和bundler
gem install jekyll bundler

使用jekyll搭建网页

#创建项目目录
jekyll new my-page

cd my-page

bundle install

#编译并启动jekyll服务
bundle exec jekyll serve

#

浏览器输入 localhost:4000 测试是否开启成功

发布新文章：将在_post文件夹下添加.md文件，其中文件顶部加上以下头部

#注意冒号后有空格

---
layout: post
date: yyyy-mm-dd
title: "Your title"
tags: "blog"
categories: jekyll update
---

2.Github Pages

安装git和ssh

sudo apt install git 
sudo apt install openssh

设置标识

git config --global user.name "myname"
git config --global user.email "myemail"

创建ssh密钥对

ssh-keygen
#按提示一直回车

cd ～/.ssh

#将公钥写入authoried_keys
cat id_rsa.pub > authorized_keys

进入Github添加SSH keys

依次点击 settings
ssh and gpg keys
new ssh key

测试公钥是否添加成功

ssh -T git@github.com

#以下为登陆成功
Hi <yourid>! You've successfully authenticated, but GitHub does not provide shell access.

新建仓库（用来托管个人博客项目）

1.设置Repository name(你的id.github.io) 2.勾选public 3.Create repository

将刚刚的项目推到新建仓库

cd my-page
git init
git add .
git commit -m "first commit"
git branch -M main
git remote add origin https://github.com/<YourGithubID>/<YourRepositoryName>.git
git push -u origin main

#可能会验证你的github帐号密码

部署Github Pages

进入刚刚新建的仓库 settingss 下拉 Github Pages大标题的Source下，选择main分支，并save

至此，基于Jekyll和Github Page搭建个人博客就搭建好了。

一杯茶的功夫应该就部署好了

访问地址如下：

#id换成自己的
https://<YourGithubId>.github.io

Ubuntu双系统及几种服务的搭建