llama-cpp-K2-FAST2 / src /llama-memory.cpp

llama.cpp k2-fast2: MBZUAI model/K2Horizon + FAST2 sliding-window override

c59fd93 verified about 1 month ago

1.53 kB

#include "llama-memory.h"

llama_memory_status llama_memory_status_combine(llama_memory_status s0, llama_memory_status s1) {
    bool has_update = false;

    switch (s0) {
        case LLAMA_MEMORY_STATUS_SUCCESS:
            {
                has_update = true;
                break;
            }
        case LLAMA_MEMORY_STATUS_NO_UPDATE:
            {
                break;
            }
        case LLAMA_MEMORY_STATUS_FAILED_PREPARE:
        case LLAMA_MEMORY_STATUS_FAILED_COMPUTE:
            {
                return s0;
            }
    }

    switch (s1) {
        case LLAMA_MEMORY_STATUS_SUCCESS:
            {
                has_update = true;
                break;
            }
        case LLAMA_MEMORY_STATUS_NO_UPDATE:
            {
                break;
            }
        case LLAMA_MEMORY_STATUS_FAILED_PREPARE:
        case LLAMA_MEMORY_STATUS_FAILED_COMPUTE:
            {
                return s1;
            }
    }

    // if either status has an update, then the combined status has an update
    return has_update ? LLAMA_MEMORY_STATUS_SUCCESS : LLAMA_MEMORY_STATUS_NO_UPDATE;
}

bool llama_memory_status_is_fail(llama_memory_status status) {
    switch (status) {
        case LLAMA_MEMORY_STATUS_SUCCESS:
        case LLAMA_MEMORY_STATUS_NO_UPDATE:
            {
                return false;
            }
        case LLAMA_MEMORY_STATUS_FAILED_PREPARE:
        case LLAMA_MEMORY_STATUS_FAILED_COMPUTE:
            {
                return true;
            }
    }

    return false;
}

	#include "llama-memory.h"

	llama_memory_status llama_memory_status_combine(llama_memory_status s0, llama_memory_status s1) {
	bool has_update = false;

	switch (s0) {
	case LLAMA_MEMORY_STATUS_SUCCESS:
	{
	has_update = true;
	break;
	}
	case LLAMA_MEMORY_STATUS_NO_UPDATE:
	{
	break;
	}
	case LLAMA_MEMORY_STATUS_FAILED_PREPARE:
	case LLAMA_MEMORY_STATUS_FAILED_COMPUTE:
	{
	return s0;
	}
	}

	switch (s1) {
	case LLAMA_MEMORY_STATUS_SUCCESS:
	{
	has_update = true;
	break;
	}
	case LLAMA_MEMORY_STATUS_NO_UPDATE:
	{
	break;
	}
	case LLAMA_MEMORY_STATUS_FAILED_PREPARE:
	case LLAMA_MEMORY_STATUS_FAILED_COMPUTE:
	{
	return s1;
	}
	}

	// if either status has an update, then the combined status has an update
	return has_update ? LLAMA_MEMORY_STATUS_SUCCESS : LLAMA_MEMORY_STATUS_NO_UPDATE;
	}

	bool llama_memory_status_is_fail(llama_memory_status status) {
	switch (status) {
	case LLAMA_MEMORY_STATUS_SUCCESS:
	case LLAMA_MEMORY_STATUS_NO_UPDATE:
	{
	return false;
	}
	case LLAMA_MEMORY_STATUS_FAILED_PREPARE:
	case LLAMA_MEMORY_STATUS_FAILED_COMPUTE:
	{
	return true;
	}
	}

	return false;
	}