Convert the received request and pipelined bytes into txt's.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2045 d4fa192b-c00b-0410-8231-f00ffab90ce4

struct http_hdr is more than that, it is a general text handle, so
typedef it as "txt" instead.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2044 d4fa192b-c00b-0410-8231-f00ffab90ce4

More flexelint nit-picking of various sorts

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2043 d4fa192b-c00b-0410-8231-f00ffab90ce4

Constify a lot of the VRT API

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2042 d4fa192b-c00b-0410-8231-f00ffab90ce4

Mega-Const'ification

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2041 d4fa192b-c00b-0410-8231-f00ffab90ce4

If the C-compiler fails, we don't know if it created the output file or not.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2040 d4fa192b-c00b-0410-8231-f00ffab90ce4

Constification

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2039 d4fa192b-c00b-0410-8231-f00ffab90ce4

Constification of certain storage functions

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2038 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make Tim_format() take a double time argument

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2037 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the arguments to CLI functions const-const.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2036 d4fa192b-c00b-0410-8231-f00ffab90ce4

Catch up with sys/queue.h changes

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2035 d4fa192b-c00b-0410-8231-f00ffab90ce4

The previous commit made things worse rather than better, as some systems
have a <sys/queue.h> that differs in small but important details from what
we expect.  Replace our "queue.h" (which was taken from NetBSD) with a new
"vqueue.h" which is based on FreeBSD's <sys/queue.h> with the debugging
taken out and a "V" prefix added to everything.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2033 d4fa192b-c00b-0410-8231-f00ffab90ce4

Portability: use -lsocket / -lns on systems that need it (read Solaris),
use <sys/queue.h> instead of our own if present.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2032 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use a config cache.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2031 d4fa192b-c00b-0410-8231-f00ffab90ce4

New more paranoid settings for FlexeLint

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2030 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the logic visible for FlexeLint

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2029 d4fa192b-c00b-0410-8231-f00ffab90ce4

Misc changes:

A couple of XXX comments
Some returnvalue asserts
Some pdiff() uses
Change WRK_Flush() to return unsigned

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2028 d4fa192b-c00b-0410-8231-f00ffab90ce4

Unnecessary check

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2027 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bail if we get unknown address families

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2026 d4fa192b-c00b-0410-8231-f00ffab90ce4

Assert return values of system{calls,functions}

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2025 d4fa192b-c00b-0410-8231-f00ffab90ce4

typo

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2024 d4fa192b-c00b-0410-8231-f00ffab90ce4

Polish

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2023 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use pdiff() to guard against negative point differences

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2022 d4fa192b-c00b-0410-8231-f00ffab90ce4

Two consts is one const too many.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2021 d4fa192b-c00b-0410-8231-f00ffab90ce4

More const polishing

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2020 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make id type "int"

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2019 d4fa192b-c00b-0410-8231-f00ffab90ce4

Const'ifcation

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2018 d4fa192b-c00b-0410-8231-f00ffab90ce4

Polish shmlog:

The id argument is a file descriptor, so it should be typed "int".
We must have a fmt argument.
Use pdiff.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2017 d4fa192b-c00b-0410-8231-f00ffab90ce4

When we take the difference between two pointers, the result is technically
signed.  pdiff() makes sure we never get a negative value.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2016 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use the correct shmlog function.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2015 d4fa192b-c00b-0410-8231-f00ffab90ce4

The first of a long sequence of committs, inspired by cranking up FlexeLints
nitpicking to new heights:

Make sure VRT_int_string() has enough room and assert that this was the case.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2014 d4fa192b-c00b-0410-8231-f00ffab90ce4

Re-enable the code causing bug #161 (which is now fixed)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2013 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fixes bug #161.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2012 d4fa192b-c00b-0410-8231-f00ffab90ce4

Actually, we cannot touch objects on deathrow, so just ignore
any object with heap_idx == 0.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2011 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove an assert which isn't valid:  we could try to LRU_Touch an
object on deathrow.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2010 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the cli_timeout a parameter.  The master will wait this long
for the client to reply on the internal CLI pipe.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2009 d4fa192b-c00b-0410-8231-f00ffab90ce4

Update random and round-robin backends to use the new convenience functions.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2008 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add code to VCC to output an identifier for each simple backend which
varnishd can use to decide if a backend state can be shared between
multiple VCL programs.

Originally the idea was to calculate a strong hash over the tokens
which define the backend.

Considering the relatively short lengths of backend declarations
and the infrequency of comparisons, we have opted for an extremely
weak hash instead:  We simply output the space separted tokens as
a string.

The net change in code for simple backends is marginal, but for
complex backends this will be a lot simpler to implement.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2007 d4fa192b-c00b-0410-8231-f00ffab90ce4

Our first cut at a LRU processing contained a three way race and can
cause Really Weird Problems if you really provoke it.

+++ Redo from start +++

LRU processing is only relevant for objects which are in the cache and
on the EXP binary heap so we merge the LRU functionality with the EXP
code in order to share locks and object reference counts.

Another thing we overlooked in the first implementation is that the VCL
callout for LRU should be able to examine the client information for
the session which tries to push stuff out, so that QoS/DoS issues can be
considered:

sub vcl_dicard {
if (client.bandwidth > 10 mb/s) {
keep;
}
}

(which sort of indicates that "error" should be a legal action as well)

To enable this, pass the session into the stevedore when we try to
allocate space and temporarily substitute the target object for its
own object while we call vcl_discard().

The outcome of an attempt to make space can take three values, did,
didn't and couldn't.  In the latter case there is no point in trying
again and again, in particular if the cause is incurable, such as
the requested size being larger than the storage.   We still need to
handle failure to allocate storage for that case rather than core dump.

When looking for targets to nuke, we only consider objects on the
binheap which has reference count of 1, objects with higher reference
counts would not free space.

We take prospective targets off the binheap, but retain their
refcount, and tag them with a magic marker while we ponder their
destiny.

It is quite possible that another session could pick the object up
via the cache while we do so, and therefore attempts to update the
ttl or shift them in the lru chain must ignore objects which has
the magic marker.  If the object is kept, the updated ttl will
automatically take effect when we reinsert it in the binheap.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2006 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a couple of statistics counters for LRU

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2005 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix a NULL pointer dereference which cannot currently happen.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2004 d4fa192b-c00b-0410-8231-f00ffab90ce4

Reverse the logic in r1997 from !is_get to is_head.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1998 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix another cornercase that fell out as part of the pass->fetch rewrite:

If we pass a HEAD request, we should not rewrite it to GET and not expect
a body either.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1997 d4fa192b-c00b-0410-8231-f00ffab90ce4

Unbreak header ordering.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1994 d4fa192b-c00b-0410-8231-f00ffab90ce4

When a workerthread dies of old age, make sure to nuke the mutex it may
have in its cached nobjhead.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1991 d4fa192b-c00b-0410-8231-f00ffab90ce4

Part of this commit sneaked into the previous #1985:

Close a supposedly rare memory leak: when we loose the race to create
an objhead, we need to free the hash-string we created before our
second attempt.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1990 d4fa192b-c00b-0410-8231-f00ffab90ce4

Partially revert previous optimization: it wasn't.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1985 d4fa192b-c00b-0410-8231-f00ffab90ce4

Polish, including use of CHECK_OBJ_ORNULL()

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1983 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use CHECK_OBJ_ORNULL() macro

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1982 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add CHECK_OBJ_ORNULL() macro

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1981 d4fa192b-c00b-0410-8231-f00ffab90ce4

Polish while reading review.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1980 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add an experimental runtime parameter for the lru_timeout.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1979 d4fa192b-c00b-0410-8231-f00ffab90ce4

A temporary work-around for #161

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1978 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't leak 50 bytes when creating the new Date: header.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1977 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't copy the Date: header from the object to the reply

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1976 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move implicit reference to first backend to the xref code.

Don't panic if no backend.port is specified.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1975 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix an extremely fine C-standard point and remove the vcc_FreeToken()
prototype

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1974 d4fa192b-c00b-0410-8231-f00ffab90ce4

vcc_FreeToken() is no longer necessary

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1973 d4fa192b-c00b-0410-8231-f00ffab90ce4

Avoid a double free when we encounter a 'include' directive.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1972 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't core dump if VCL tries to compare NULL pointers, just let the
comparison fail.  This typically happens if a paticular header is
not present.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1971 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix a brain-o in my last commit.  "cls" is a flag for closing the fd,
not for generating Content-Length: header.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1970 d4fa192b-c00b-0410-8231-f00ffab90ce4

Added some checks for NULL-pointers.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1969 d4fa192b-c00b-0410-8231-f00ffab90ce4

After we moved pass to use the same code as fetch, we have run into
a unnecessary connection timeout wait when the returned object does
not have a body.

Rework the "does this response have a body" logic to be more in line
with the RFC.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1968 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a http_GetProto() function

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1967 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use VBE_CheckFd() convenience function

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1966 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a convenience function more for backend methods:

VBE_CheckFd(): Check that a filedescriptor is reusable.

Right now we simply poll it with a zero timeout, and if there are
any events, we can't reuse it.

This check may need refinement down the road.

One option would be to attempt to write a CRNL onto the fd and see
that it works.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1965 d4fa192b-c00b-0410-8231-f00ffab90ce4

Go over the simple backend and make it more readable.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1964 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a VBE_TryConnect() which tries to connected to a given backend+addrinfo
combination.  This will be necessary in most if not all backend methods,
so it should be generic.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1963 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make init an optional method for backends

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1962 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make updatehealth an optional method for backends

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1961 d4fa192b-c00b-0410-8231-f00ffab90ce4

Call the init methods of all backend styles.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1960 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use FREE_OBJ() and REPLACE() macros

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1959 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use REPLACE macro to manipulate malloc'ed string variables.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1958 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a REPLACE() macro, for manipulating malloced string variables.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1957 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make regular expressions case insensitive.

This is not optimal, but a better compromise than the alternative.

DNS names are case insensitive, but URLs are not.

However, URLs are very often filenames and having files which differ
only in case is already asking for trouble.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1956 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fixes #157. Always replace Date with current time on varnish server.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1955 d4fa192b-c00b-0410-8231-f00ffab90ce4

Additional markup fixes, bump date

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1949 d4fa192b-c00b-0410-8231-f00ffab90ce4

Man page fixes
* Close list in varnishreplay.1
* Remove macro after Cm, as this cancelled the effect of Cm

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1948 d4fa192b-c00b-0410-8231-f00ffab90ce4

Debian package: Rename library and development packages to reflect soname

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1946 d4fa192b-c00b-0410-8231-f00ffab90ce4

Debian package: Fix lintian warnings
* Add magic tag in varnish.postinst for debhelper
* Remove old overrides, add two overrides for update-rc.d

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1945 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bump debian version-revision to 1.1.2-1

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1944 d4fa192b-c00b-0410-8231-f00ffab90ce4

Install man pages into the correct directory.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1943 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make sure to initialize t_end if we drop sessions.

Fixes #132

Many thanks to Janis Putrams for debugging this.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1942 d4fa192b-c00b-0410-8231-f00ffab90ce4

* Added recognition of HEAD responses.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1941 d4fa192b-c00b-0410-8231-f00ffab90ce4

Added health checks for individual servers within a balanced backend cluster.
The health checks work the same as for a general backend. The worse the health of
an individual server within a balanced backend, the less likely it will be to get new
connections.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1940 d4fa192b-c00b-0410-8231-f00ffab90ce4

Limit the width to a sensible value so text will still be readable when you
maximize your browser window.
Add formatting for <emphasis>.
Correct whitespace handling for <screen>.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1939 d4fa192b-c00b-0410-8231-f00ffab90ce4

Forgot to update MANIFEST.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1938 d4fa192b-c00b-0410-8231-f00ffab90ce4

* Added POD.
* Moved Varnish::Test::Server::Connection to its own module file.
* Removed TODO which was not too exciting anyway.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1937 d4fa192b-c00b-0410-8231-f00ffab90ce4

* Added information about test framework to "Inside Varnish".

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1936 d4fa192b-c00b-0410-8231-f00ffab90ce4

* Set statedir to /var/lib, to conform to debian packaging standards.

* Removed -n switch from varnish defaults file and varnishlog init script.
  Use the default instance name instead.  This makes sure varnish utilities work
  without having to use the -n switch for the default instance.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1935 d4fa192b-c00b-0410-8231-f00ffab90ce4

Missing 0

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1934 d4fa192b-c00b-0410-8231-f00ffab90ce4

Copy-paste error.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1933 d4fa192b-c00b-0410-8231-f00ffab90ce4

* Added Makefile.PL to test framework.
* Moved varnish-regress.pl to subdirectory "bin".
* Minor POD additions.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1932 d4fa192b-c00b-0410-8231-f00ffab90ce4

Added support for load balancing among backends in varnish. It is still experimental
and very basic, but it should be ready for testing. Two strategies for load balancing
are implemented: a simple round robin, and a simple weighted random. The following
is an example configuration in vcl. The weight parameter for random is optional. Default
is equal weight.

backend foo {
set backend.host = "foo.bar.com";
set backend.port = "http";
}

backend_round_robin rr {
set backend.set = {
{ "foo1.bar.com", "http" }
{ "foo2.bar.com", "http" }
{ "foo3.bar.com", "http" }
};
}

backend_random rrr {
set backend.set = {
{ "foo1.bar.com", "http", 0.3 }
{ "foo2.bar.com", "http", 0.6 }
{ "foo3.bar.com", "http", 0.1 }
};
}

sub vcl_recv {
if {req.http.host ~ "foo"} {
req.backend = foo;
} elseif {req.http.host ~ "bar"} {
req.backend = rr;
} else {
req.backend = rrr;
}
}

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1931 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix typo that made worker process panic whenever a request came in without
a Host: header.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1930 d4fa192b-c00b-0410-8231-f00ffab90ce4

Readability

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1928 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add missing files.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1927 d4fa192b-c00b-0410-8231-f00ffab90ce4

Tabify

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1926 d4fa192b-c00b-0410-8231-f00ffab90ce4

Improve readability.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1925 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add style information for <screen>, and fix marker placement for ordered
lists.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1924 d4fa192b-c00b-0410-8231-f00ffab90ce4