从零构建现代深度学习框架(TinyDL-0.01)

/** * 支持，1，标量;2.向量;3，矩阵， *

 * 暂不支持，更高纬度的张量，更高维的通过Tensor来继承简单实现 */public class NdArray {protected Shape shape;/**     * 真实存储数据，使用float32     */private float[][] matrix;}/** * 表示矩阵或向量的形状 */public class Shape {/**     * 表示多少行     */public int row = 1;/**     * 表示多少列     */public int column = 1;public int[] dimension;}

 /**     * 函数的前向传播     *     * @param inputs     * @return     */    public abstract NdArray forward(NdArray... inputs);
    /**     * 函数的后向传播，求导     *     * @param yGrad     * @return     */    public abstract List backward(NdArray yGrad);

public class Sigmoid extends Function {    @Override    public NdArray forward(NdArray... inputs) {        return inputs[0].sigmoid();    }
    @Override    public Listbackward(NdArray yGrad) {        NdArray y = getOutput().getValue();        return Collections.singletonList(yGrad.mul(y).mul(NdArray.ones(y.getShape()).sub(y)));    }
    @Override    public int requireInputNum() {        return 1;    }}

** * 数学中的变量的抽象 */public class Variable {    private String name;
    private NdArray value;
    /**     * 梯度     */    private NdArray grad;
    /**     * 保持是函数对象生成了当前Variable     */    private Function creator;
    private boolean requireGrad = true;
    /**     * 变量的反向传播     */    public void backward() {}}

public interface LayerAble {
    String getName();
    Shape getXInputShape();
    Shape getYOutputShape();
    void init();
    Variable forward(Variable... inputs);
    MapgetParams();
    void addParam(String paramName, Parameter value);
    Parameter getParamBy(String paramName);
    void clearGrads();
}
/** * 表示由层组合起来的更大的神经网络的块 */public abstract class Block implements LayerAble 
/** * 表示神经网络中具体的层 */public abstract class Layer extends Function implements LayerAble