'''

df = pd.read_csv(file) #读取文件

org_topics = df['category'].unique().tolist() #保存文本原始的话题标签

M = df.shape[0] #文本数

alpha = np.zeros(K) #alpha是LDA模型的一个超参数，是对话题概率的预估计，这里取文本数据中各话题的比例作为alpha值，实际可以通过模型训练得到

beta = np.zeros(1000) #beta是LDA模型的另一个超参数，是词汇表中单词的概率分布，这里取各单词在所有文本中的比例作为beta值，实际也可以通过模型训练得到

#计算各话题的比例作为alpha值

for k, topic in enumerate(org_topics):

alpha[k] = df[df['category'] == topic].shape[0] / M

df.drop('category', axis=1, inplace=True)

n = df.shape[0] #n为文本数量

text = []

words = []

for i in df['text'].values:

t = i.translate(str.maketrans('', '', string.punctuation)) #去除文本中的标点符号

t = [j for j in t.split() if j not in stopwords.words('english')] #去除文本中的停止词

t = [j for j in t if len(j) > 3] #长度小于等于3的单词大多是无意义的，直接去除

text.append(t) #将处理后的文本保存到文本列表中

words.extend(set(t)) #将文本中所包含的单词保存到单词列表中

words = list(set(words)) #去除单词列表中的重复单词

words_cnt = np.zeros(len(words)) #用来保存单词的出现频次

#循环计算words列表中各单词出现的词频

for i in range(len(text)):

t = text[i] #取出第i条文本

for w in t:

ind = words.index(w) #取出第i条文本中的第t个单词在单词列表中的索引

words_cnt[ind] += 1 #对应位置的单词出现频次加一

sort_inds = np.argsort(words_cnt)[::-1] #对单词出现频次降序排列后取出其索引值

words = [words[ind] for ind in sort_inds[:1000]] #将出现频次前1000的单词保存到words列表

#去除文本text中不在词汇表words中的单词

for i in range(len(text)):

t = []

for w in text[i]:

if w in words:

ind = words.index(w)

t.append(w)

beta[ind] += 1 #统计各单词在文本中的出现频次

text[i] = t

beta /= np.sum(beta) #除以文本的总单词数得到各单词所占比例，作为beta值

'''

M = len(text) #文本数

V = len(words) #单词数

N_MK = np.zeros((M, K)) #文本-话题计数矩阵

N_KV = np.zeros((K, V)) #话题-单词计数矩阵

N_M = np.zeros(M) #文本计数向量

N_K = np.zeros(K) #话题计数向量

Z_MN = [] #用来保存每条文本的每个单词所在位置处抽样得到的话题

#算法20.2的步骤(2)，对每个文本的所有单词抽样产生话题，并进行计数

for m in range(M):

zm = []

t = text[m]

for n, w in enumerate(t):

v = words.index(w)

z = np.random.randint(K)

zm.append(z)

N_MK[m, z] += 1

N_M[m] += 1

N_KV[z, v] += 1

N_K[z] += 1

Z_MN.append(zm)

#算法20.2的步骤(3)，多次迭代进行吉布斯抽样

for i in range(iters):

print('{}/{}'.format(i+1, iters))

for m in range(M):

t = text[m]

for n, w in enumerate(t):

v = words.index(w)

z = Z_MN[m][n]

N_MK[m, z] -= 1

N_M[m] -= 1

N_KV[z][v] -= 1

N_K[z] -= 1

p = [] #用来保存对K个话题的条件分布p(zi|z_i,w,alpha,beta)的计算结果

sums_k = 0

for k in range(K):

p_zk = (N_KV[k][v] + beta[v]) * (N_MK[m][k] + alpha[k]) #话题zi=k的条件分布p(zi|z_i,w,alpha,beta)的分子部分

sums_v = 0

sums_k += N_MK[m][k] + alpha[k] #累计(nmk + alpha_k)在K个话题上的和

for t in range(V):

sums_v += N_KV[k][t] + beta[t] #累计(nkv + beta_v)在V个单词上的和

p_zk /= sums_v

p.append(p_zk)

p = p / sums_k

p = p / np.sum(p) #对条件分布p(zi|z_i,w,alpha,beta)进行归一化，保证概率的总和为1

new_z = np.random.choice(a=K, p=p) #根据以上计算得到的概率进行抽样，得到新的话题

Z_MN[m][n] = new_z #更新当前位置处的话题为上面抽样得到的新话题

#更新计数

N_MK[m, new_z] += 1

N_M[m] += 1

N_KV[new_z, v] += 1

N_K[new_z] += 1

#算法20.2的步骤(4)，利用得到的样本计数，估计模型的参数theta和phi

theta = np.zeros((M, K))

phi = np.zeros((K, V))

for m in range(M):

sums_k = 0

for k in range(K):

theta[m, k] = N_MK[m][k] + alpha[k] #参数theta的分子部分

sums_k += theta[m, k] #累计(nmk + alpha_k)在K个话题上的和，参数theta的分母部分

theta[m] /= sums_k #计算参数theta

for k in range(K):

sums_v = 0

for v in range(V):

phi[k, v] = N_KV[k][v] + beta[v] #参数phi的分子部分

sums_v += phi[k][v] #累计(nkv + beta_v)在V个单词上的和，参数phi的分母部分

phi[k] /= sums_v #计算参数phi