Try to make the pipe code even more robust

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2080 d4fa192b-c00b-0410-8231-f00ffab90ce4

Flush the threads shmlog before we try to make up a reponse, so that
we know what transactions trigger problems in that code.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2079 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix ticket #166, debian package issues

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2078 d4fa192b-c00b-0410-8231-f00ffab90ce4

Go over pipe's polling code and try to do it right in one go by
actually paying attention to what goes on.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2077 d4fa192b-c00b-0410-8231-f00ffab90ce4

Oops, last commit included some debugging

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2076 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remember to move numeric status when we filter one http to another.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2075 d4fa192b-c00b-0410-8231-f00ffab90ce4

Initialize the obj->ws before we use it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2074 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the objects and their http header into storage instead of
malloc'ing them.

This should reduce the N(nobj) swap-loading considerably.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2073 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the workerthreads log from malloc to stack.

Dump sizes of various structures on startup.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2072 d4fa192b-c00b-0410-8231-f00ffab90ce4

Eliminate a & which I tend to forget every single time.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2071 d4fa192b-c00b-0410-8231-f00ffab90ce4

We always want to go through vcl_fetch(), even on error 503

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2070 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add VCL action "esi" and a vrt file to contain it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2069 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the number of restarts a parameter.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2068 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add the first stab at a "restart" mechanism.

The intent is to be able to do things like:

backend b1 {
set backend.host = "fs.freebsd.dk";
set backend.port = "82";
}
backend b2 {
set backend.host = "fs.freebsd.dk";
set backend.port = "81";
}
backend b3 {
set backend.host = "fs.freebsd.dk";
set backend.port = "80";
}

sub vcl_recv {
remove req.http.cookie;
if (req.restarts == 0) {
set req.backend = b1;
} else if (req.restarts == 1) {
set req.backend = b2;
} else {
set req.backend = b3;
}
}

sub vcl_fetch {
if (obj.status != 200) {
restart;
}
}

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2067 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add req.restarts variable.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2066 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add "restart" action for most VCL methods.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2065 d4fa192b-c00b-0410-8231-f00ffab90ce4

Evict backend-health code which had strayed fra from it's proper place.

cache_fetch.c now reports the response code or a indicative negative
status for failed requests to the backend code.

Any timeouts, keepalives or other overhead processing of health codes
should happen in a thread in the backend handling.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2064 d4fa192b-c00b-0410-8231-f00ffab90ce4

More caching of HTTP status

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2063 d4fa192b-c00b-0410-8231-f00ffab90ce4

Cache the numeric status code.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2062 d4fa192b-c00b-0410-8231-f00ffab90ce4

Significantly reduce level of paranoia.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2061 d4fa192b-c00b-0410-8231-f00ffab90ce4

We may not have a worker thread here, we could be called from the
acceptor code on a timeout.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2060 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove unused #includes

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2059 d4fa192b-c00b-0410-8231-f00ffab90ce4

nitpicking

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2058 d4fa192b-c00b-0410-8231-f00ffab90ce4

Set the poll'ed fd to -1 when we halfclose the fd to avoid
an infinite loop on certain OS's.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2057 d4fa192b-c00b-0410-8231-f00ffab90ce4

Another cleanup commit:

Get rid of the httptag enum, we can use the HTTP_T values instead.

Introduce WSP macro to wrap log entries which has a session.

Add our own vctyp() character classifier to simplify HTTP protocol
message parsing.

Unify http_DissectRequest() and http_DissectResponse() processing.

Unify writing of the 5 byte SHMLOG header and other minor cleanups
to shmlog code.

Silence some signed/unsigned/int width warnings in FlexeLint

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2056 d4fa192b-c00b-0410-8231-f00ffab90ce4

Complete the split of HTTP-editing and HTTP-transmission functions.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2055 d4fa192b-c00b-0410-8231-f00ffab90ce4

Initial split of code which transfer HTTP protocol messages
over sockets and things which manipulate them in memory.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2054 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the WS_ prototypes down where they belong.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2053 d4fa192b-c00b-0410-8231-f00ffab90ce4

Push the http structure out of the early bits of the reception code.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2052 d4fa192b-c00b-0410-8231-f00ffab90ce4

Preparation for implementation of restarts: Move the ws from http to
the containing object (session or obj).

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2051 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use CHECK_OBJ_ORNULL().

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2050 d4fa192b-c00b-0410-8231-f00ffab90ce4

don't make acl's const, they are not.

Reported by: Martin Aspeli <optilude@gmx.net>

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2049 d4fa192b-c00b-0410-8231-f00ffab90ce4

More txt'ing

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2048 d4fa192b-c00b-0410-8231-f00ffab90ce4

another place we can use Tlen

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2047 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use the new txt type more extensively, it does improve readability a bit.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2046 d4fa192b-c00b-0410-8231-f00ffab90ce4

Convert the received request and pipelined bytes into txt's.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2045 d4fa192b-c00b-0410-8231-f00ffab90ce4

struct http_hdr is more than that, it is a general text handle, so
typedef it as "txt" instead.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2044 d4fa192b-c00b-0410-8231-f00ffab90ce4

More flexelint nit-picking of various sorts

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2043 d4fa192b-c00b-0410-8231-f00ffab90ce4

Constify a lot of the VRT API

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2042 d4fa192b-c00b-0410-8231-f00ffab90ce4

Mega-Const'ification

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2041 d4fa192b-c00b-0410-8231-f00ffab90ce4

If the C-compiler fails, we don't know if it created the output file or not.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2040 d4fa192b-c00b-0410-8231-f00ffab90ce4

Constification

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2039 d4fa192b-c00b-0410-8231-f00ffab90ce4

Constification of certain storage functions

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2038 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make Tim_format() take a double time argument

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2037 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the arguments to CLI functions const-const.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2036 d4fa192b-c00b-0410-8231-f00ffab90ce4

Catch up with sys/queue.h changes

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2035 d4fa192b-c00b-0410-8231-f00ffab90ce4

The previous commit made things worse rather than better, as some systems
have a <sys/queue.h> that differs in small but important details from what
we expect.  Replace our "queue.h" (which was taken from NetBSD) with a new
"vqueue.h" which is based on FreeBSD's <sys/queue.h> with the debugging
taken out and a "V" prefix added to everything.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2033 d4fa192b-c00b-0410-8231-f00ffab90ce4

Portability: use -lsocket / -lns on systems that need it (read Solaris),
use <sys/queue.h> instead of our own if present.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2032 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use a config cache.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2031 d4fa192b-c00b-0410-8231-f00ffab90ce4

New more paranoid settings for FlexeLint

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2030 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the logic visible for FlexeLint

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2029 d4fa192b-c00b-0410-8231-f00ffab90ce4

Misc changes:

A couple of XXX comments
Some returnvalue asserts
Some pdiff() uses
Change WRK_Flush() to return unsigned

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2028 d4fa192b-c00b-0410-8231-f00ffab90ce4

Unnecessary check

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2027 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bail if we get unknown address families

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2026 d4fa192b-c00b-0410-8231-f00ffab90ce4

Assert return values of system{calls,functions}

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2025 d4fa192b-c00b-0410-8231-f00ffab90ce4

typo

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2024 d4fa192b-c00b-0410-8231-f00ffab90ce4

Polish

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2023 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use pdiff() to guard against negative point differences

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2022 d4fa192b-c00b-0410-8231-f00ffab90ce4

Two consts is one const too many.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2021 d4fa192b-c00b-0410-8231-f00ffab90ce4

More const polishing

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2020 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make id type "int"

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2019 d4fa192b-c00b-0410-8231-f00ffab90ce4

Const'ifcation

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2018 d4fa192b-c00b-0410-8231-f00ffab90ce4

Polish shmlog:

The id argument is a file descriptor, so it should be typed "int".
We must have a fmt argument.
Use pdiff.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2017 d4fa192b-c00b-0410-8231-f00ffab90ce4

When we take the difference between two pointers, the result is technically
signed.  pdiff() makes sure we never get a negative value.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2016 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use the correct shmlog function.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2015 d4fa192b-c00b-0410-8231-f00ffab90ce4

The first of a long sequence of committs, inspired by cranking up FlexeLints
nitpicking to new heights:

Make sure VRT_int_string() has enough room and assert that this was the case.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2014 d4fa192b-c00b-0410-8231-f00ffab90ce4

Re-enable the code causing bug #161 (which is now fixed)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2013 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fixes bug #161.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2012 d4fa192b-c00b-0410-8231-f00ffab90ce4

Actually, we cannot touch objects on deathrow, so just ignore
any object with heap_idx == 0.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2011 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove an assert which isn't valid:  we could try to LRU_Touch an
object on deathrow.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2010 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the cli_timeout a parameter.  The master will wait this long
for the client to reply on the internal CLI pipe.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2009 d4fa192b-c00b-0410-8231-f00ffab90ce4

Update random and round-robin backends to use the new convenience functions.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2008 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add code to VCC to output an identifier for each simple backend which
varnishd can use to decide if a backend state can be shared between
multiple VCL programs.

Originally the idea was to calculate a strong hash over the tokens
which define the backend.

Considering the relatively short lengths of backend declarations
and the infrequency of comparisons, we have opted for an extremely
weak hash instead:  We simply output the space separted tokens as
a string.

The net change in code for simple backends is marginal, but for
complex backends this will be a lot simpler to implement.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2007 d4fa192b-c00b-0410-8231-f00ffab90ce4

Our first cut at a LRU processing contained a three way race and can
cause Really Weird Problems if you really provoke it.

+++ Redo from start +++

LRU processing is only relevant for objects which are in the cache and
on the EXP binary heap so we merge the LRU functionality with the EXP
code in order to share locks and object reference counts.

Another thing we overlooked in the first implementation is that the VCL
callout for LRU should be able to examine the client information for
the session which tries to push stuff out, so that QoS/DoS issues can be
considered:

sub vcl_dicard {
if (client.bandwidth > 10 mb/s) {
keep;
}
}

(which sort of indicates that "error" should be a legal action as well)

To enable this, pass the session into the stevedore when we try to
allocate space and temporarily substitute the target object for its
own object while we call vcl_discard().

The outcome of an attempt to make space can take three values, did,
didn't and couldn't.  In the latter case there is no point in trying
again and again, in particular if the cause is incurable, such as
the requested size being larger than the storage.   We still need to
handle failure to allocate storage for that case rather than core dump.

When looking for targets to nuke, we only consider objects on the
binheap which has reference count of 1, objects with higher reference
counts would not free space.

We take prospective targets off the binheap, but retain their
refcount, and tag them with a magic marker while we ponder their
destiny.

It is quite possible that another session could pick the object up
via the cache while we do so, and therefore attempts to update the
ttl or shift them in the lru chain must ignore objects which has
the magic marker.  If the object is kept, the updated ttl will
automatically take effect when we reinsert it in the binheap.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2006 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a couple of statistics counters for LRU

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2005 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix a NULL pointer dereference which cannot currently happen.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2004 d4fa192b-c00b-0410-8231-f00ffab90ce4

Reverse the logic in r1997 from !is_get to is_head.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1998 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix another cornercase that fell out as part of the pass->fetch rewrite:

If we pass a HEAD request, we should not rewrite it to GET and not expect
a body either.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1997 d4fa192b-c00b-0410-8231-f00ffab90ce4

Unbreak header ordering.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1994 d4fa192b-c00b-0410-8231-f00ffab90ce4

When a workerthread dies of old age, make sure to nuke the mutex it may
have in its cached nobjhead.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1991 d4fa192b-c00b-0410-8231-f00ffab90ce4

Part of this commit sneaked into the previous #1985:

Close a supposedly rare memory leak: when we loose the race to create
an objhead, we need to free the hash-string we created before our
second attempt.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1990 d4fa192b-c00b-0410-8231-f00ffab90ce4

Partially revert previous optimization: it wasn't.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1985 d4fa192b-c00b-0410-8231-f00ffab90ce4

Polish, including use of CHECK_OBJ_ORNULL()

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1983 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use CHECK_OBJ_ORNULL() macro

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1982 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add CHECK_OBJ_ORNULL() macro

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1981 d4fa192b-c00b-0410-8231-f00ffab90ce4

Polish while reading review.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1980 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add an experimental runtime parameter for the lru_timeout.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1979 d4fa192b-c00b-0410-8231-f00ffab90ce4

A temporary work-around for #161

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1978 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't leak 50 bytes when creating the new Date: header.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1977 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't copy the Date: header from the object to the reply

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1976 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move implicit reference to first backend to the xref code.

Don't panic if no backend.port is specified.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1975 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix an extremely fine C-standard point and remove the vcc_FreeToken()
prototype

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1974 d4fa192b-c00b-0410-8231-f00ffab90ce4

vcc_FreeToken() is no longer necessary

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1973 d4fa192b-c00b-0410-8231-f00ffab90ce4

Avoid a double free when we encounter a 'include' directive.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1972 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't core dump if VCL tries to compare NULL pointers, just let the
comparison fail.  This typically happens if a paticular header is
not present.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1971 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix a brain-o in my last commit.  "cls" is a flag for closing the fd,
not for generating Content-Length: header.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1970 d4fa192b-c00b-0410-8231-f00ffab90ce4

Added some checks for NULL-pointers.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1969 d4fa192b-c00b-0410-8231-f00ffab90ce4

After we moved pass to use the same code as fetch, we have run into
a unnecessary connection timeout wait when the returned object does
not have a body.

Rework the "does this response have a body" logic to be more in line
with the RFC.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1968 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a http_GetProto() function

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1967 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use VBE_CheckFd() convenience function

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1966 d4fa192b-c00b-0410-8231-f00ffab90ce4