Models List Model Paper Convolutional Click Prediction Model [CIKM 2015]A Convolutional Click Prediction Model Factorization-supported Neural Network [ECIR 2016]Deep Learning over Multi-field Categorical Data: A Case Study on User Response Prediction Product-based Neural Network [ICDM 201 ...

FM(Factorization Machines)传统的LR算法是线性模型，想要提取非线性关系，要么通过GBDT来提取非线性特征，要么手动构建非线性特征。 FM直接显示的构建交叉特征，直接建模二阶关系： 公式如下： y(\mathbf{x}) = w_0+ \sum_{i=1}^n w_i x_i + \sum_{i=1}^n \sum_{j=i+1}^n w_{ij} x_i x_j其中$w_{ij}$是二阶关系的参数，其个数是$\frac{n(n-1)}{2}$，复杂度是$O(n^2)$ 优化时间复杂度，矩阵分解提供了一种解决思路，$w_{ij} = \langle \mathbf{v ...

资源 完整代码+详细代码注释：github 参考论文： Attention Is All You Need 参考实现 tensorflow2.0 offical tutorials/text/transformer 原理Transformer模型来自论文Attention Is All You Need。这个模型的应用场景是机器翻译，借助Self-Attention机制和Position Encoding可以替代传统Seq2Seq模型中的RNN结构。由于Transformer的优异表现，后续OpenAI GPT和BERT模型都使用了Transformer的Decoder部分。 Tran ...

12import tensorflow as tfimport numpy as np 123456# 这两种效果等价np.random.seed(10)a = np.random.randint(0,9,(2, 1, 4, 3))b = np.random.randint(0,9,(2, 8, 3, 4))print(tf.matmul(a, b).shape)print(tf.matmul(tf.tile(a, [1, 8, 1, 1]), b).shape) (2, 8, 4, 4) (2, 8, 4, 4) 12345# 要广播的话，首先维度个数要一致a = np.reshape(ra ...

tensorflow2.0设计理念 ref: https://blog.tensorflow.org/2019/01/what-are-symbolic-and-imperative-apis.html Symbolic (or Declarative) APIsSequential APIs1234567891011121314151617import tensorflow as tfmnist = tf.keras.datasets.mnist(x_train, y_train), (x_test, y_test) = mnist.load_data()x_train, x_test = ...

BiRNN+Attention 完整代码在github此处对于注意力机制的实现参照了论文 Feed-Forward Networks with Attention Can Solve Some Long-Term Memory Problems 此处实现的网络结构： 基于tensorflow2.0的keras实现自定义 Attention layer这是tensorflow2.0推荐的写法，继承Layer，自定义Layer 需要注意的几点： 如果需要使用到其他Layer结构或者Sequential结构，需要在init()函数里赋值 在build()里面构建权重参数， 每个参数需要赋值 ...

TextRNN 完整代码在githubTextCNN原始论文： Convolutional Neural Networks for Sentence Classification TextCNN 的网络结构： 基于tensorflow2.0的keras实现自定义model这是tensorflow2.0推荐的写法，继承Model，使模型子类化 需要注意的几点： 如果需要使用到其他Layer结构或者Sequential结构，需要在init()函数里赋值 在model没有fit前，想调用summary函数时显示模型各层shape时，则需要自定义一个函数去build下模型，类似下面代码 ...

动态规划简单 53.最大连续子序列和 | leetcode 12dp[i] = max(dp[i-1]+nums[i], nums[i]) return max(dp) 198.打家劫舍 | leetcode | 输入非负一维数组，不能连续两个数相邻，求最大和 12dp[i] = max(dp[i-1],dp[i-2]+nums[i]) return dp[-1] 中等 3.无重复字符的最长子串 | leetcode | 给定一个字符串，请你找出其中不含有重复字符的 最长子串 的长度。 1234567# dp[i]表示以i位置结尾的字符最长无重复字串长度if i - dp[ ...

问题描述 现在有一组数，不知道这组数的总量有多少，请描述一种算法能够在这组数据中随机抽取k个数，使得每个数被取出来的概率相等。 蓄水池算法原理随机抽样需要实现在n个元素中取k个元素时，每个元素被取中的概率都是相同的，即蓄水池算法可以在不知道n为多大的情况下保证每个元素被取中的概率相同。假设i是蓄水池算法取样的第i个元素，推导如下： 对于第i个数（i<=k)，元素直接进入池中，每个元素进入池子的概率都是1 第k+1个元素不被放进池子的概率=1-第k+1个元素被选中的概率$\times$第i个元素被选中的概率 = $1 - \frac{k}{k+1}*\frac{1}{k} = 1- ...

目标函数 \begin{aligned} L^{(t)} & = \sum_{i=1}^n l(y_i, \bar{y}_i^t ) + \Omega(f_t) \\ & = \sum_{i=1}^n l(y_i, \bar{y}_i^{t-1} + f_t(x_i)) + \gamma T + \frac{1}{2}\lambda\sum_{j=1}^Tw_j^2 \end{aligned}其中L(t)表示第t轮迭代的目标函数，由损失函数和正则项两部分组成： $l(y_i, \bar{y}_i^{t})$ 表示损失函数，当损失函数是平方误差时，即同最小二乘ca ...