Bring up-to-date.  Still lacks descriptions for management commands and
run-time parameters.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1006 d4fa192b-c00b-0410-8231-f00ffab90ce4

Forgot about embedded CLI commands here.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1005 d4fa192b-c00b-0410-8231-f00ffab90ce4

The buckets_per_mutex parameter was removed in r813.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1004 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use generic param setting stuff

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1003 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the listen depth a paramter.

Clean up the paramter stuff even more.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1002 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add -p param=value command line argument.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1001 d4fa192b-c00b-0410-8231-f00ffab90ce4

Generalize parameter setting at start up.

Give the managers main a struct cli and use that to call into
the paramter stuff for setting listen address.  More params to follow.

When setting the listen address, check that getaddrinfo() doesn't
hate it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1000 d4fa192b-c00b-0410-8231-f00ffab90ce4

Open and close the listen socket when we start and stop the child.

Make the listen address a parameter.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@999 d4fa192b-c00b-0410-8231-f00ffab90ce4

Rename the config.* CLI command family to vcl.*.  It is more intuitive
that way and we may eventually want a config file for varnishd to
control obscure parameters.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@998 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the shmlog'ing of vcl execution a parameter.

VCL tracing is responsible for a very large fraction of the shmlog
records and will generally only be used for debugging of VCL code.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@997 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a base64 decoder.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@996 d4fa192b-c00b-0410-8231-f00ffab90ce4

Eliminate the session_grace thing, the inter-request interval is to
large in general (think RTT) for this to make sense, it costs a syscall
and if a delay is used, at least two context switches.

We still capture sessions that do pipe-line avoiding the context switch
in that case, without incurring the syscall overhead.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@995 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove the SessionReuse shmem tag, we have little or no benefit from
knowing this at the end of a request.

Instead put the address + port in the ReqStart shmtag where it does
a lot of good.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@994 d4fa192b-c00b-0410-8231-f00ffab90ce4

Disable session_grace for now.

It is not clear if this is a benefit or not.  There seems to be a significant
(100msec ?) inter-request gap and seeting the grace period that long
means tying up worker threads doing basically nothing.

Setting a short timeout (10msec) results in an extra system call which
practically never does anything good.

Unless benefit is shown, this stuff should be removed again.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@993 d4fa192b-c00b-0410-8231-f00ffab90ce4

fix more stats

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@992 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix stats.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@991 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add missing SessionReuse log entries

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@990 d4fa192b-c00b-0410-8231-f00ffab90ce4

Improve portability: Since all log strings are NUL terminated we do not
need to use REG_STARTEND any more.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@989 d4fa192b-c00b-0410-8231-f00ffab90ce4

Allow session_grace to be set to zero

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@988 d4fa192b-c00b-0410-8231-f00ffab90ce4

Try to avoid sending EOF'ed or ready sessions to the herder.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@987 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add XXX comment

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@986 d4fa192b-c00b-0410-8231-f00ffab90ce4

Print '-' if we don't have an IP# on startup.

Also skip IP# from SessionReuse records.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@985 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix sendfile() on Linux:

 - use the correct headers
 - don't duplicate WRK_Flush()
 - pass the offset correctly

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@984 d4fa192b-c00b-0410-8231-f00ffab90ce4

Avoid parking a worker thread on trailing space

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@983 d4fa192b-c00b-0410-8231-f00ffab90ce4

If after handling a request we find anything in our input buffer,
don't waste time putting the session on the herder, but go right
back and take the next request in the current worker thread.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@982 d4fa192b-c00b-0410-8231-f00ffab90ce4

Overhaul NCSA logging.

Reduce memory footprint by only allocating space for a fd first time
we see it.  Few if any servers will ever see 64k fd's in use.

Move the sbuf into the logline structure for simplicity.

Access the logline structure through a pointer instead of indexing
the array all the time.

Reduce amount of malloc/free traffic for performance.

Use the "cooked" SHMlog api where the length, fd, etc are broken out
as arguments for us.  Pass the FILE* where we want the stuff to
go as private data (stdout for now).

Add FlexeLint files.

Now over to Anders again...

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@981 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fixed timestamp so thats it's correct. PHK added a new variable to ReqEnd that contains a correct endtime.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@980 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add the end time as timestamp to the ReqEnd SHM record.

Vector failures of the the FIRST case via DONE as well to
avoid code duplication.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@979 d4fa192b-c00b-0410-8231-f00ffab90ce4

Dike out Linux senfile, it doesn't work.

Isolated by: Xing Li <xing@litespeedtech.com>

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@978 d4fa192b-c00b-0410-8231-f00ffab90ce4

Double the default workspace for the benefit of Blackberris and other
low-bandwidth devices which for some reason include their entire
lifehistory in the HTTP requests.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@977 d4fa192b-c00b-0410-8231-f00ffab90ce4

Made the code more robust but fixing a bug that caused coredumps. Haven't seen dumps after fix.

Cleared some unused variables.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@976 d4fa192b-c00b-0410-8231-f00ffab90ce4

Distinguish the explanation for the first request from the one used
on subsequent requests.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@975 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix timestamps in shm tag StatSess for sessions with no requests.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@974 d4fa192b-c00b-0410-8231-f00ffab90ce4

chunksize is in kilobytes

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@973 d4fa192b-c00b-0410-8231-f00ffab90ce4

There may be error returns from kevent, don't assert there are none.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@972 d4fa192b-c00b-0410-8231-f00ffab90ce4

Implement sendfile() support for Linux.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@971 d4fa192b-c00b-0410-8231-f00ffab90ce4

fix typo

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@970 d4fa192b-c00b-0410-8231-f00ffab90ce4

Getting somewhere. I now have a "full" logline. Apart from writing usernames caught by the auth header, the logline is complete.
I have now cleared up my obvious memoryleaks also.

The code looks like it has been through a shredder, and needs massive cleaning before alpha.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@969 d4fa192b-c00b-0410-8231-f00ffab90ce4

If we have more threads than the max, kill one if we can.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@968 d4fa192b-c00b-0410-8231-f00ffab90ce4

remember to close pipes

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@967 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use a pipe for synchronization instead.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@966 d4fa192b-c00b-0410-8231-f00ffab90ce4

Redo the worker thread pool locking a bit, all the while cursing
pthreads deficient API design for it's shortcomings.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@965 d4fa192b-c00b-0410-8231-f00ffab90ce4

Embellish the mutex debugging a bit

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@964 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move LOCK/UNLOCK macros to cache.h where they belong.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@963 d4fa192b-c00b-0410-8231-f00ffab90ce4

Ignore kevent error return entries

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@962 d4fa192b-c00b-0410-8231-f00ffab90ce4

Only expire when the timer fires

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@961 d4fa192b-c00b-0410-8231-f00ffab90ce4

Piggy-back kevent changes on kevent wait call

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@960 d4fa192b-c00b-0410-8231-f00ffab90ce4

Avoid a startup-race

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@959 d4fa192b-c00b-0410-8231-f00ffab90ce4

Cleaned up User-Agent and Referer. Both should now work correct. As far as I can see, I only have the timestamp left for a sane loggline.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@958 d4fa192b-c00b-0410-8231-f00ffab90ce4

Check for sendfile().

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@957 d4fa192b-c00b-0410-8231-f00ffab90ce4

Reduce syscall footprint of expiry and hangman

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@956 d4fa192b-c00b-0410-8231-f00ffab90ce4

Avoid a clock_gettime() call

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@955 d4fa192b-c00b-0410-8231-f00ffab90ce4

braino in last commit.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@954 d4fa192b-c00b-0410-8231-f00ffab90ce4

Save more time() calls

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@953 d4fa192b-c00b-0410-8231-f00ffab90ce4

A avoid a time(NULL) call

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@952 d4fa192b-c00b-0410-8231-f00ffab90ce4

Do stats on sendfile/write split.

Add param for minimum size of object before we will sendfile it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@951 d4fa192b-c00b-0410-8231-f00ffab90ce4

Started to fix output of User-Agent. It was all over the place. Found what I was doing wrong and fixed it.

Should work with correct User-Agent now.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@950 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the fetchers chunksize a parameter, but keep the default at 128k

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@949 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add an extra bucket and make it clear how the number was chosen.

Remove extra sanitychecking.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@948 d4fa192b-c00b-0410-8231-f00ffab90ce4

Missing commit message from previous commit:

Fix a logic bug which allowed storage objects to be trampled on:
the last bucket may contain object smaller than we want.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@947 d4fa192b-c00b-0410-8231-f00ffab90ce4

Handle zero length storage objects correctly:  Don't let them exist.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@946 d4fa192b-c00b-0410-8231-f00ffab90ce4

Insert a bunch of asserts to try to catch anything going wrong

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@945 d4fa192b-c00b-0410-8231-f00ffab90ce4

Pick up uint32_t from <stdint.h> instead of <sys/types.h>

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@944 d4fa192b-c00b-0410-8231-f00ffab90ce4

Logging for status & response was swapped for generated errors.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@943 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove debugging messages.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@942 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add stats counters for large and small free fragments.

Remove debugging

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@941 d4fa192b-c00b-0410-8231-f00ffab90ce4

remove "age", it was effectively unused.  Revisit the idea later.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@940 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't clear alloc, it will be done in due time.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@939 d4fa192b-c00b-0410-8231-f00ffab90ce4

Split the freelist by size.

Use 32 buckets for now, with a 4k pagesize that takes us to 128k
which matches the fetchers default chunksize.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@938 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove debug entry

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@937 d4fa192b-c00b-0410-8231-f00ffab90ce4

Read more than one session pointer at a time from the pipe and
handle them all with one kevent call.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@936 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't use binary address anyway, we only want the IP number part
and splitting that out of the binary part is not worth the
trouble.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@935 d4fa192b-c00b-0410-8231-f00ffab90ce4

Account for header bytes in error and 304 responses.

Remove unhelpful debug entry.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@934 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move some setup code to first state now that we have it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@933 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move a bunch of work from the acceptor thread to the worker thread
for better scaling.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@932 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move CRC32 into libvarnish

Use it for hashing srcaddr as well.  Hash the sockaddr instead
of the ascii representation.

Add a primitive mutex tracking facility which writes debug
records to the shmlog if enabled.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@931 d4fa192b-c00b-0410-8231-f00ffab90ce4

Give the stats summation its own mutex

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@930 d4fa192b-c00b-0410-8231-f00ffab90ce4

Reduce traffic on the wrk_mtx, saving some syscalls along the way:

Make a thread-reaper-thread which examines the tail end of the queue
and kicks threads which are too old so the wake up and die.

This allows us to assume that a thread on the free queue is always
waiting on its condvar, so we don't need to hold the mutex when we
signal the condvar.

As a result, the woken thread stands a chance to grab the mutex
and a little song and dance between the two threads is avoided.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@929 d4fa192b-c00b-0410-8231-f00ffab90ce4

Grab the r_recv timestamp at the right time.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@928 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't bother with SO_NOSIGPIPE, it doesn't always work and we
have ignored the signal anyway.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@927 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove unused timestamp "t0" and save a syscall per request.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@926 d4fa192b-c00b-0410-8231-f00ffab90ce4

Save a systemcall by using the same timestamp twice.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@925 d4fa192b-c00b-0410-8231-f00ffab90ce4

Give pool threads 120 second timeout, 10 was close to silly.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@924 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix the poll acceptor, we need to cache the fd as sp->fd might
change to -1 under us.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@923 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix buglet in -i/-x name matching

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@922 d4fa192b-c00b-0410-8231-f00ffab90ce4

Allow '-' in identifiers.

For further study: should we accept RFC2616's definition of "token" ?

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@921 d4fa192b-c00b-0410-8231-f00ffab90ce4

Mark responses with Set-Cookie as "pass"

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@920 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add support for inspecting response headers.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@919 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix the same issue as in the kqueue acceptor:  By the time we get
here the filedescriptor may already be closed, so accept EBADF.

Reported by: Xing Li <xing@litespeedtech.com>

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@918 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix a bug in chunked fetching:

With very short chunks, in this case 3 characters, our buffer may
contain not only the chunk length and the chunk data, but also the
next chunk length.

If the short chunk is the last chunk before the zero length chunk
at the end, unconditionally trying to fill the buffer before parsing
the length may hang because we already have everything there is to
have in the buffer.

The fix is to always try to parse the buffer before adding to it.

While here, tighten up and improve error checks of the code.

Reported by: Xing Li <xing@litespeedtech.com>

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@917 d4fa192b-c00b-0410-8231-f00ffab90ce4

escape control characters in SLT_Debug as %XX

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@916 d4fa192b-c00b-0410-8231-f00ffab90ce4

Added more outputdata, fixed memory leaks (I think).

Code still not Alpha ready, but I think most concepts work now.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@915 d4fa192b-c00b-0410-8231-f00ffab90ce4

Go through all asserts and mark those which indicate missing code with
xxx or XXX.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@914 d4fa192b-c00b-0410-8231-f00ffab90ce4

Introduce LOCK() and UNLOCK() macros which does the right thing
with pthread_mutex_{lock,unlock}()

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@913 d4fa192b-c00b-0410-8231-f00ffab90ce4

Give xxxasserts their own backend with a different message.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@912 d4fa192b-c00b-0410-8231-f00ffab90ce4

Split assert into "static check" and "missing code" variants.

The "missing code" variants have xxx prefix

Introduce AN() (assert non-null) variant as well.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@911 d4fa192b-c00b-0410-8231-f00ffab90ce4

This is a workaround for what is probably a race in FreeBSD RELENG_6
socket dismantling.

There is no way that close(2) should ever be able to return EINVAL,
but we've seen it.

Specifically assert on EBADF which is the check we're really after.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@910 d4fa192b-c00b-0410-8231-f00ffab90ce4

Handle backend failure in pass mode

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@909 d4fa192b-c00b-0410-8231-f00ffab90ce4

These are not used.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@908 d4fa192b-c00b-0410-8231-f00ffab90ce4

don't service cached objects the last second of their lifetime.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@907 d4fa192b-c00b-0410-8231-f00ffab90ce4