Add a non-blocking mode to the log reader.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1025 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a man page.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1024 d4fa192b-c00b-0410-8231-f00ffab90ce4

Umm, what have I been smoking?  varnishstat is not a logger and does not
support VSL_ARGS.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1023 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bring up-to-date.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1022 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove stray -a description.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1021 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bring up-to-date.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1020 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bump date and add cross-references to all log programs.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1019 d4fa192b-c00b-0410-8231-f00ffab90ce4

-c collides with one of the standard VSL options, so replace it with -1,
which has the opposite meaning (IMHO, the continuous display is the most
useful)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1018 d4fa192b-c00b-0410-8231-f00ffab90ce4

Sort options correctly.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1017 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bring up-to-date, and sort options correctly.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1016 d4fa192b-c00b-0410-8231-f00ffab90ce4

Sort options correctly.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1015 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix usage string.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1014 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add -V option, fix usage string.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1013 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add the ability to write to a file (it was previously documented but not
implemented).
Fix the usage string.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1012 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a -a option to control append / overwrite when writing to a file.
Fix the usage string.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1011 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a usage string for the standard VSL options.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1010 d4fa192b-c00b-0410-8231-f00ffab90ce4

Tweak storage file size calculations.  Avoid overflow when calculating 80%
of available storage on 32-bit Linux (most fields in struct statfs are long
instead of int64_t as in BSD)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1009 d4fa192b-c00b-0410-8231-f00ffab90ce4

Just in case.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1008 d4fa192b-c00b-0410-8231-f00ffab90ce4

Expand keywords.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1007 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bring up-to-date.  Still lacks descriptions for management commands and
run-time parameters.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1006 d4fa192b-c00b-0410-8231-f00ffab90ce4

Forgot about embedded CLI commands here.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1005 d4fa192b-c00b-0410-8231-f00ffab90ce4

The buckets_per_mutex parameter was removed in r813.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1004 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use generic param setting stuff

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1003 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the listen depth a paramter.

Clean up the paramter stuff even more.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1002 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add -p param=value command line argument.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1001 d4fa192b-c00b-0410-8231-f00ffab90ce4

Generalize parameter setting at start up.

Give the managers main a struct cli and use that to call into
the paramter stuff for setting listen address.  More params to follow.

When setting the listen address, check that getaddrinfo() doesn't
hate it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1000 d4fa192b-c00b-0410-8231-f00ffab90ce4

Open and close the listen socket when we start and stop the child.

Make the listen address a parameter.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@999 d4fa192b-c00b-0410-8231-f00ffab90ce4

Rename the config.* CLI command family to vcl.*.  It is more intuitive
that way and we may eventually want a config file for varnishd to
control obscure parameters.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@998 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the shmlog'ing of vcl execution a parameter.

VCL tracing is responsible for a very large fraction of the shmlog
records and will generally only be used for debugging of VCL code.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@997 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a base64 decoder.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@996 d4fa192b-c00b-0410-8231-f00ffab90ce4

Eliminate the session_grace thing, the inter-request interval is to
large in general (think RTT) for this to make sense, it costs a syscall
and if a delay is used, at least two context switches.

We still capture sessions that do pipe-line avoiding the context switch
in that case, without incurring the syscall overhead.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@995 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove the SessionReuse shmem tag, we have little or no benefit from
knowing this at the end of a request.

Instead put the address + port in the ReqStart shmtag where it does
a lot of good.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@994 d4fa192b-c00b-0410-8231-f00ffab90ce4

Disable session_grace for now.

It is not clear if this is a benefit or not.  There seems to be a significant
(100msec ?) inter-request gap and seeting the grace period that long
means tying up worker threads doing basically nothing.

Setting a short timeout (10msec) results in an extra system call which
practically never does anything good.

Unless benefit is shown, this stuff should be removed again.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@993 d4fa192b-c00b-0410-8231-f00ffab90ce4

fix more stats

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@992 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix stats.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@991 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add missing SessionReuse log entries

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@990 d4fa192b-c00b-0410-8231-f00ffab90ce4

Improve portability: Since all log strings are NUL terminated we do not
need to use REG_STARTEND any more.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@989 d4fa192b-c00b-0410-8231-f00ffab90ce4

Allow session_grace to be set to zero

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@988 d4fa192b-c00b-0410-8231-f00ffab90ce4

Try to avoid sending EOF'ed or ready sessions to the herder.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@987 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add XXX comment

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@986 d4fa192b-c00b-0410-8231-f00ffab90ce4

Print '-' if we don't have an IP# on startup.

Also skip IP# from SessionReuse records.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@985 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix sendfile() on Linux:

 - use the correct headers
 - don't duplicate WRK_Flush()
 - pass the offset correctly

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@984 d4fa192b-c00b-0410-8231-f00ffab90ce4

Avoid parking a worker thread on trailing space

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@983 d4fa192b-c00b-0410-8231-f00ffab90ce4

If after handling a request we find anything in our input buffer,
don't waste time putting the session on the herder, but go right
back and take the next request in the current worker thread.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@982 d4fa192b-c00b-0410-8231-f00ffab90ce4

Overhaul NCSA logging.

Reduce memory footprint by only allocating space for a fd first time
we see it.  Few if any servers will ever see 64k fd's in use.

Move the sbuf into the logline structure for simplicity.

Access the logline structure through a pointer instead of indexing
the array all the time.

Reduce amount of malloc/free traffic for performance.

Use the "cooked" SHMlog api where the length, fd, etc are broken out
as arguments for us.  Pass the FILE* where we want the stuff to
go as private data (stdout for now).

Add FlexeLint files.

Now over to Anders again...

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@981 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fixed timestamp so thats it's correct. PHK added a new variable to ReqEnd that contains a correct endtime.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@980 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add the end time as timestamp to the ReqEnd SHM record.

Vector failures of the the FIRST case via DONE as well to
avoid code duplication.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@979 d4fa192b-c00b-0410-8231-f00ffab90ce4

Dike out Linux senfile, it doesn't work.

Isolated by: Xing Li <xing@litespeedtech.com>

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@978 d4fa192b-c00b-0410-8231-f00ffab90ce4

Double the default workspace for the benefit of Blackberris and other
low-bandwidth devices which for some reason include their entire
lifehistory in the HTTP requests.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@977 d4fa192b-c00b-0410-8231-f00ffab90ce4

Made the code more robust but fixing a bug that caused coredumps. Haven't seen dumps after fix.

Cleared some unused variables.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@976 d4fa192b-c00b-0410-8231-f00ffab90ce4

Distinguish the explanation for the first request from the one used
on subsequent requests.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@975 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix timestamps in shm tag StatSess for sessions with no requests.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@974 d4fa192b-c00b-0410-8231-f00ffab90ce4

chunksize is in kilobytes

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@973 d4fa192b-c00b-0410-8231-f00ffab90ce4

There may be error returns from kevent, don't assert there are none.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@972 d4fa192b-c00b-0410-8231-f00ffab90ce4

Implement sendfile() support for Linux.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@971 d4fa192b-c00b-0410-8231-f00ffab90ce4

fix typo

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@970 d4fa192b-c00b-0410-8231-f00ffab90ce4

Getting somewhere. I now have a "full" logline. Apart from writing usernames caught by the auth header, the logline is complete.
I have now cleared up my obvious memoryleaks also.

The code looks like it has been through a shredder, and needs massive cleaning before alpha.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@969 d4fa192b-c00b-0410-8231-f00ffab90ce4

If we have more threads than the max, kill one if we can.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@968 d4fa192b-c00b-0410-8231-f00ffab90ce4

remember to close pipes

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@967 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use a pipe for synchronization instead.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@966 d4fa192b-c00b-0410-8231-f00ffab90ce4

Redo the worker thread pool locking a bit, all the while cursing
pthreads deficient API design for it's shortcomings.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@965 d4fa192b-c00b-0410-8231-f00ffab90ce4

Embellish the mutex debugging a bit

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@964 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move LOCK/UNLOCK macros to cache.h where they belong.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@963 d4fa192b-c00b-0410-8231-f00ffab90ce4

Ignore kevent error return entries

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@962 d4fa192b-c00b-0410-8231-f00ffab90ce4

Only expire when the timer fires

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@961 d4fa192b-c00b-0410-8231-f00ffab90ce4

Piggy-back kevent changes on kevent wait call

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@960 d4fa192b-c00b-0410-8231-f00ffab90ce4

Avoid a startup-race

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@959 d4fa192b-c00b-0410-8231-f00ffab90ce4

Cleaned up User-Agent and Referer. Both should now work correct. As far as I can see, I only have the timestamp left for a sane loggline.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@958 d4fa192b-c00b-0410-8231-f00ffab90ce4

Check for sendfile().

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@957 d4fa192b-c00b-0410-8231-f00ffab90ce4

Reduce syscall footprint of expiry and hangman

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@956 d4fa192b-c00b-0410-8231-f00ffab90ce4

Avoid a clock_gettime() call

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@955 d4fa192b-c00b-0410-8231-f00ffab90ce4

braino in last commit.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@954 d4fa192b-c00b-0410-8231-f00ffab90ce4

Save more time() calls

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@953 d4fa192b-c00b-0410-8231-f00ffab90ce4

A avoid a time(NULL) call

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@952 d4fa192b-c00b-0410-8231-f00ffab90ce4

Do stats on sendfile/write split.

Add param for minimum size of object before we will sendfile it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@951 d4fa192b-c00b-0410-8231-f00ffab90ce4

Started to fix output of User-Agent. It was all over the place. Found what I was doing wrong and fixed it.

Should work with correct User-Agent now.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@950 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the fetchers chunksize a parameter, but keep the default at 128k

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@949 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add an extra bucket and make it clear how the number was chosen.

Remove extra sanitychecking.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@948 d4fa192b-c00b-0410-8231-f00ffab90ce4

Missing commit message from previous commit:

Fix a logic bug which allowed storage objects to be trampled on:
the last bucket may contain object smaller than we want.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@947 d4fa192b-c00b-0410-8231-f00ffab90ce4

Handle zero length storage objects correctly:  Don't let them exist.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@946 d4fa192b-c00b-0410-8231-f00ffab90ce4

Insert a bunch of asserts to try to catch anything going wrong

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@945 d4fa192b-c00b-0410-8231-f00ffab90ce4

Pick up uint32_t from <stdint.h> instead of <sys/types.h>

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@944 d4fa192b-c00b-0410-8231-f00ffab90ce4

Logging for status & response was swapped for generated errors.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@943 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove debugging messages.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@942 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add stats counters for large and small free fragments.

Remove debugging

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@941 d4fa192b-c00b-0410-8231-f00ffab90ce4

remove "age", it was effectively unused.  Revisit the idea later.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@940 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't clear alloc, it will be done in due time.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@939 d4fa192b-c00b-0410-8231-f00ffab90ce4

Split the freelist by size.

Use 32 buckets for now, with a 4k pagesize that takes us to 128k
which matches the fetchers default chunksize.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@938 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove debug entry

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@937 d4fa192b-c00b-0410-8231-f00ffab90ce4

Read more than one session pointer at a time from the pipe and
handle them all with one kevent call.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@936 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't use binary address anyway, we only want the IP number part
and splitting that out of the binary part is not worth the
trouble.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@935 d4fa192b-c00b-0410-8231-f00ffab90ce4

Account for header bytes in error and 304 responses.

Remove unhelpful debug entry.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@934 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move some setup code to first state now that we have it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@933 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move a bunch of work from the acceptor thread to the worker thread
for better scaling.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@932 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move CRC32 into libvarnish

Use it for hashing srcaddr as well.  Hash the sockaddr instead
of the ascii representation.

Add a primitive mutex tracking facility which writes debug
records to the shmlog if enabled.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@931 d4fa192b-c00b-0410-8231-f00ffab90ce4

Give the stats summation its own mutex

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@930 d4fa192b-c00b-0410-8231-f00ffab90ce4

Reduce traffic on the wrk_mtx, saving some syscalls along the way:

Make a thread-reaper-thread which examines the tail end of the queue
and kicks threads which are too old so the wake up and die.

This allows us to assume that a thread on the free queue is always
waiting on its condvar, so we don't need to hold the mutex when we
signal the condvar.

As a result, the woken thread stands a chance to grab the mutex
and a little song and dance between the two threads is avoided.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@929 d4fa192b-c00b-0410-8231-f00ffab90ce4

Grab the r_recv timestamp at the right time.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@928 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't bother with SO_NOSIGPIPE, it doesn't always work and we
have ignored the signal anyway.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@927 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove unused timestamp "t0" and save a syscall per request.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@926 d4fa192b-c00b-0410-8231-f00ffab90ce4