Part of this commit leaked into the previous commit:

We don't use splay trees.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1052 d4fa192b-c00b-0410-8231-f00ffab90ce4

Keep track of shmlog mutex contests

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1051 d4fa192b-c00b-0410-8231-f00ffab90ce4

Oops, off by one.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1050 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use the worker pools in round-robin fashion.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1049 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix logic bug so we don't reap worker threads all the time.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1048 d4fa192b-c00b-0410-8231-f00ffab90ce4

Whitespace

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1047 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make sure we get the error messages from a dying child.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1046 d4fa192b-c00b-0410-8231-f00ffab90ce4

Set sockopts on the listen socket and probe the accepted socket (once)
to see which we do not need to set there because they are inherited.

This could potentially save three syscalls per session.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1045 d4fa192b-c00b-0410-8231-f00ffab90ce4

Update the parameter list in the man page, and add reminders to keep the
lists in synch.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1044 d4fa192b-c00b-0410-8231-f00ffab90ce4

Possibly better logic.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1043 d4fa192b-c00b-0410-8231-f00ffab90ce4

Embellish the parameter descriptions somewhat.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1042 d4fa192b-c00b-0410-8231-f00ffab90ce4

Change statistics from gauge to counter

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1041 d4fa192b-c00b-0410-8231-f00ffab90ce4

Duh!  We need to count stats in per workerthread and summarize into
session, otherwise we cannot correctly summarize into srcaddr and global.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1040 d4fa192b-c00b-0410-8231-f00ffab90ce4

Preallocate a srcaddr per workerthread to speed up locked section.

Remember to free preallocated storage in workerthread.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1039 d4fa192b-c00b-0410-8231-f00ffab90ce4

Account directly into the session.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1038 d4fa192b-c00b-0410-8231-f00ffab90ce4

use miniobj on srcaddr's

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1037 d4fa192b-c00b-0410-8231-f00ffab90ce4

make flexelint marginally happier

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1036 d4fa192b-c00b-0410-8231-f00ffab90ce4

twiddle explanations and defaults.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1035 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use srcaddr mutex for srcaddr stats update to reduce contention on stat_mtx

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1034 d4fa192b-c00b-0410-8231-f00ffab90ce4

Give the srcaddr stats an overhaul.

Make the number of buckets a parameter (needs restart though).

Make the ttl a parameter and have zero disable srcaddr accounting.

Give each hash bucket its own mutex.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1033 d4fa192b-c00b-0410-8231-f00ffab90ce4

VCL configs change relatively seldom so we can cache the requests
VCL reference in the worker thread when the request is done and
with a cheap check reuse it for the next request handled by this
thread.

This should reduce mutex contention.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1032 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make it possible to have multiple worker pools.

The acceptor selects the pool based on filedescriptor modulus
number of pools.

This is an attempt to reduce lock contention.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1031 d4fa192b-c00b-0410-8231-f00ffab90ce4

fix debug locks

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1030 d4fa192b-c00b-0410-8231-f00ffab90ce4

Wrap mutex more completely so that experimentation becomes easier.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1029 d4fa192b-c00b-0410-8231-f00ffab90ce4

wrap line

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1028 d4fa192b-c00b-0410-8231-f00ffab90ce4

correctly round INT32_MAX down to page boundary

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1027 d4fa192b-c00b-0410-8231-f00ffab90ce4

Rename -1 to -f, and add a -1 option meaning "once".  It currently does not
work very well; it should use a non-curses method to display the ranking.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1026 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a non-blocking mode to the log reader.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1025 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a man page.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1024 d4fa192b-c00b-0410-8231-f00ffab90ce4

Umm, what have I been smoking?  varnishstat is not a logger and does not
support VSL_ARGS.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1023 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bring up-to-date.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1022 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove stray -a description.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1021 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bring up-to-date.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1020 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bump date and add cross-references to all log programs.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1019 d4fa192b-c00b-0410-8231-f00ffab90ce4

-c collides with one of the standard VSL options, so replace it with -1,
which has the opposite meaning (IMHO, the continuous display is the most
useful)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1018 d4fa192b-c00b-0410-8231-f00ffab90ce4

Sort options correctly.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1017 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bring up-to-date, and sort options correctly.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1016 d4fa192b-c00b-0410-8231-f00ffab90ce4

Sort options correctly.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1015 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix usage string.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1014 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add -V option, fix usage string.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1013 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add the ability to write to a file (it was previously documented but not
implemented).
Fix the usage string.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1012 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a -a option to control append / overwrite when writing to a file.
Fix the usage string.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1011 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a usage string for the standard VSL options.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1010 d4fa192b-c00b-0410-8231-f00ffab90ce4

Tweak storage file size calculations.  Avoid overflow when calculating 80%
of available storage on 32-bit Linux (most fields in struct statfs are long
instead of int64_t as in BSD)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1009 d4fa192b-c00b-0410-8231-f00ffab90ce4

Just in case.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1008 d4fa192b-c00b-0410-8231-f00ffab90ce4

Expand keywords.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1007 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bring up-to-date.  Still lacks descriptions for management commands and
run-time parameters.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1006 d4fa192b-c00b-0410-8231-f00ffab90ce4

Forgot about embedded CLI commands here.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1005 d4fa192b-c00b-0410-8231-f00ffab90ce4

The buckets_per_mutex parameter was removed in r813.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1004 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use generic param setting stuff

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1003 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the listen depth a paramter.

Clean up the paramter stuff even more.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1002 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add -p param=value command line argument.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1001 d4fa192b-c00b-0410-8231-f00ffab90ce4

Generalize parameter setting at start up.

Give the managers main a struct cli and use that to call into
the paramter stuff for setting listen address.  More params to follow.

When setting the listen address, check that getaddrinfo() doesn't
hate it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@1000 d4fa192b-c00b-0410-8231-f00ffab90ce4

Open and close the listen socket when we start and stop the child.

Make the listen address a parameter.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@999 d4fa192b-c00b-0410-8231-f00ffab90ce4

Rename the config.* CLI command family to vcl.*.  It is more intuitive
that way and we may eventually want a config file for varnishd to
control obscure parameters.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@998 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the shmlog'ing of vcl execution a parameter.

VCL tracing is responsible for a very large fraction of the shmlog
records and will generally only be used for debugging of VCL code.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@997 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a base64 decoder.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@996 d4fa192b-c00b-0410-8231-f00ffab90ce4

Eliminate the session_grace thing, the inter-request interval is to
large in general (think RTT) for this to make sense, it costs a syscall
and if a delay is used, at least two context switches.

We still capture sessions that do pipe-line avoiding the context switch
in that case, without incurring the syscall overhead.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@995 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove the SessionReuse shmem tag, we have little or no benefit from
knowing this at the end of a request.

Instead put the address + port in the ReqStart shmtag where it does
a lot of good.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@994 d4fa192b-c00b-0410-8231-f00ffab90ce4

Disable session_grace for now.

It is not clear if this is a benefit or not.  There seems to be a significant
(100msec ?) inter-request gap and seeting the grace period that long
means tying up worker threads doing basically nothing.

Setting a short timeout (10msec) results in an extra system call which
practically never does anything good.

Unless benefit is shown, this stuff should be removed again.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@993 d4fa192b-c00b-0410-8231-f00ffab90ce4

fix more stats

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@992 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix stats.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@991 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add missing SessionReuse log entries

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@990 d4fa192b-c00b-0410-8231-f00ffab90ce4

Improve portability: Since all log strings are NUL terminated we do not
need to use REG_STARTEND any more.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@989 d4fa192b-c00b-0410-8231-f00ffab90ce4

Allow session_grace to be set to zero

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@988 d4fa192b-c00b-0410-8231-f00ffab90ce4

Try to avoid sending EOF'ed or ready sessions to the herder.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@987 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add XXX comment

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@986 d4fa192b-c00b-0410-8231-f00ffab90ce4

Print '-' if we don't have an IP# on startup.

Also skip IP# from SessionReuse records.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@985 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix sendfile() on Linux:

 - use the correct headers
 - don't duplicate WRK_Flush()
 - pass the offset correctly

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@984 d4fa192b-c00b-0410-8231-f00ffab90ce4

Avoid parking a worker thread on trailing space

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@983 d4fa192b-c00b-0410-8231-f00ffab90ce4

If after handling a request we find anything in our input buffer,
don't waste time putting the session on the herder, but go right
back and take the next request in the current worker thread.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@982 d4fa192b-c00b-0410-8231-f00ffab90ce4

Overhaul NCSA logging.

Reduce memory footprint by only allocating space for a fd first time
we see it.  Few if any servers will ever see 64k fd's in use.

Move the sbuf into the logline structure for simplicity.

Access the logline structure through a pointer instead of indexing
the array all the time.

Reduce amount of malloc/free traffic for performance.

Use the "cooked" SHMlog api where the length, fd, etc are broken out
as arguments for us.  Pass the FILE* where we want the stuff to
go as private data (stdout for now).

Add FlexeLint files.

Now over to Anders again...

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@981 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fixed timestamp so thats it's correct. PHK added a new variable to ReqEnd that contains a correct endtime.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@980 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add the end time as timestamp to the ReqEnd SHM record.

Vector failures of the the FIRST case via DONE as well to
avoid code duplication.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@979 d4fa192b-c00b-0410-8231-f00ffab90ce4

Dike out Linux senfile, it doesn't work.

Isolated by: Xing Li <xing@litespeedtech.com>

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@978 d4fa192b-c00b-0410-8231-f00ffab90ce4

Double the default workspace for the benefit of Blackberris and other
low-bandwidth devices which for some reason include their entire
lifehistory in the HTTP requests.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@977 d4fa192b-c00b-0410-8231-f00ffab90ce4

Made the code more robust but fixing a bug that caused coredumps. Haven't seen dumps after fix.

Cleared some unused variables.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@976 d4fa192b-c00b-0410-8231-f00ffab90ce4

Distinguish the explanation for the first request from the one used
on subsequent requests.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@975 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix timestamps in shm tag StatSess for sessions with no requests.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@974 d4fa192b-c00b-0410-8231-f00ffab90ce4

chunksize is in kilobytes

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@973 d4fa192b-c00b-0410-8231-f00ffab90ce4

There may be error returns from kevent, don't assert there are none.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@972 d4fa192b-c00b-0410-8231-f00ffab90ce4

Implement sendfile() support for Linux.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@971 d4fa192b-c00b-0410-8231-f00ffab90ce4

fix typo

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@970 d4fa192b-c00b-0410-8231-f00ffab90ce4

Getting somewhere. I now have a "full" logline. Apart from writing usernames caught by the auth header, the logline is complete.
I have now cleared up my obvious memoryleaks also.

The code looks like it has been through a shredder, and needs massive cleaning before alpha.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@969 d4fa192b-c00b-0410-8231-f00ffab90ce4

If we have more threads than the max, kill one if we can.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@968 d4fa192b-c00b-0410-8231-f00ffab90ce4

remember to close pipes

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@967 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use a pipe for synchronization instead.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@966 d4fa192b-c00b-0410-8231-f00ffab90ce4

Redo the worker thread pool locking a bit, all the while cursing
pthreads deficient API design for it's shortcomings.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@965 d4fa192b-c00b-0410-8231-f00ffab90ce4

Embellish the mutex debugging a bit

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@964 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move LOCK/UNLOCK macros to cache.h where they belong.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@963 d4fa192b-c00b-0410-8231-f00ffab90ce4

Ignore kevent error return entries

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@962 d4fa192b-c00b-0410-8231-f00ffab90ce4

Only expire when the timer fires

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@961 d4fa192b-c00b-0410-8231-f00ffab90ce4

Piggy-back kevent changes on kevent wait call

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@960 d4fa192b-c00b-0410-8231-f00ffab90ce4

Avoid a startup-race

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@959 d4fa192b-c00b-0410-8231-f00ffab90ce4

Cleaned up User-Agent and Referer. Both should now work correct. As far as I can see, I only have the timestamp left for a sane loggline.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@958 d4fa192b-c00b-0410-8231-f00ffab90ce4

Check for sendfile().

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@957 d4fa192b-c00b-0410-8231-f00ffab90ce4

Reduce syscall footprint of expiry and hangman

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@956 d4fa192b-c00b-0410-8231-f00ffab90ce4

Avoid a clock_gettime() call

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@955 d4fa192b-c00b-0410-8231-f00ffab90ce4

braino in last commit.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@954 d4fa192b-c00b-0410-8231-f00ffab90ce4

Save more time() calls

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@953 d4fa192b-c00b-0410-8231-f00ffab90ce4