冯晟的博客
0%

发表于 分类于
本文字数： 166 阅读时长 ≈ 1 分钟

Mac下
PyCharm Community Edition–>Preference–>Tools–>Python Integrated Tools， 把Default test runner换为pytest就可以了

image

正常情况下如下图
image

image

如果无法正常使用，则可能你最开始用unittest进行了测试 则需要按照下图删除使用过的测试文件即可
image
image

发表于 分类于
本文字数： 381 阅读时长 ≈ 1 分钟

1、安装JSK

2、安装zookeeper

1
2
3
4
5
6
7
8
brew install zookeeper

// 后台启动
brew services start zookeeper

// 非后台启动
zkServer start

image

3、安装kafka

1
2
3
4
5
6
7
brew install kafka

// 后台启动
brew services start kafka

// 非后台启动
zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties & kafka-server-start /usr/local/etc/kafka/server.properties

image

发表于 更新于 分类于
本文字数： 3.4k 阅读时长 ≈ 3 分钟

一：kafka producer

　

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
from kafka import KafkaProducer
from kafka.errors import kafka_errors
import traceback

json_list = {"test": 1}
producer = KafkaProducer(
    bootstrap_servers=['kafka.aws.bigdata.yidianshihui.com:9092'],
    # key和value序列化
    key_serializer=lambda k: json.dumps(k).encode(),
    value_serializer=lambda v: json.dumps(v).encode()
    )

future = producer.send(
    'custom_msg',
    # key='test',  # 同一个key值，会被送至同一个分区
    value=json_list,
    # value=json.dumps(json_list).encode("utf-8"),
    partition=random.randint(0, 3)  # 向多分区发送数据（注意：分区需存在，如果不存在需要通过标题四的方法去创建分区）
)  # 向分区1发送消息

try:
    future.get(timeout=10) # 监控是否发送成功
except kafka_errors:  # 发送失败抛出kafka_errors
    traceback.format_exc()

阅读全文 »

发表于 分类于
本文字数： 2.9k 阅读时长 ≈ 3 分钟

##一、使用 brew 安装

1、 确定 brew 是否有 etcd 包：

1
brew search etcd

当然肯定有这个包，这样做的好处是养成一个好的习惯，避免盲目使用 brew install balabala

阅读全文 »

发表于 更新于 分类于
本文字数： 2.5k 阅读时长 ≈ 2 分钟

前言

有两台服务器，S1和S2，Linux操作系统，S1和S2IP不同，但是可以相互访问。

S2需要访问S1的文件系统，换言之，S1中有文件夹被分享给S2使用。

准备工作

假设 S1的ip为 192.168.1.2，要分享为公共文件夹的目录为 /tmp/share

假设 S2的ip为 192.168.1.3，接受上传文件的目录为 /usr/tomcat/here

运行场景

在实际使用中，直接向 192.168.1.3 的 /usr/tomcat/here 中保存文件，或者删除文件，都相当于在 192.168.1.2 /tmp/share中进行操作

阅读全文 »

发表于 分类于
本文字数： 939 阅读时长 ≈ 1 分钟

Mysql5.7使用group by查询时order by无效问题
第一种写法：

1
2
3
4
5
6
7
8
9
10
SELECT
	*
FROM
	user_paper_relation
WHERE
	paper_id = ""
GROUP BY
	examer_id
ORDER BY
	total_score DESC

问题：发现先执行的group by，后执行order by，我要的结果是先排序再分组。

第二种写法：

1
2
3
4
5
6
SELECT
	*
FROM
	( SELECT * FROM user_paper_relation WHERE paper_id = ""  ORDER BY consuming_time DESC ) u
GROUP BY
	u.examer_id

问题：本以为将排序写成一个子查询应该会先排序后分组，执行后发现问题同第一种写法一样。

第三种写法（最终解决的写法）：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
SELECT
	a.*
FROM
	(
	SELECT
		*
	FROM
		user_paper_relation
	WHERE
		paper_id = ""
	ORDER BY
		consuming_time
		LIMIT 0,
		300
	) a
GROUP BY
	a.examer_id

解决方式：在子查询中添加LIMIT 0,300则可使子查询语句即排序执行完再进行分组。

问题原因

1
2
3
4
5
原因：在mysql5.7中，如果不加limit，系统会把order by优化掉。
在mysql5.7手册的8.2.2.1中有解释：
子查询的优化是使用半连接的策略完成的(The optimizer uses semi-join strategies to improve subquery execution)
使用半连接进行优化，子查询语句必须满足一些标准(In MySQL, a subquery must satisfy these criteria to be handled as a semi-join)。
其中一个标准是:必须不是一个包含了limit和order by的语句(It must not have ORDER BY with LIMIT.)

原文链接：https://blog.csdn.net/weiwoyonzhe/article/details/82888281