You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-10-29 - 13:35

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot3s.osadl.org (updated Wed Oct 29, 2025 00:45:14)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
786472996834,4cyclictest792372-21sshd21:02:070
786480996334,20cyclictest800432-21modprobe23:39:592
786472996325,33cyclictest787790-21latency_hist19:35:020
786472996325,33cyclictest787790-21latency_hist19:35:020
786472996231,10cyclictest794785-21latency_hist21:50:010
786472996220,38cyclictest0-21swapper/019:20:030
786472996220,38cyclictest0-21swapper/019:20:020
786472996125,31cyclictest3237915-1kworker/0:2H23:15:010
786480995937,15cyclictest801496-21install00:00:002
786472995930,24cyclictest793289-21latency_hist21:20:030
786480995830,16cyclictest235-21systemd-journal23:20:012
786480995830,16cyclictest235-21systemd-journal23:20:002
78647299582,18cyclictest798369-21systemctl23:00:000
786472995821,32cyclictest795774-21latency_hist22:10:030
786472995820,34cyclictest1-21systemd23:18:330
786472995820,34cyclictest1-21systemd23:18:320
786472995816,38cyclictest0-21swapper/022:15:020
786472995732,21cyclictest796893-21cat22:30:010
786472995732,21cyclictest796893-21cat22:30:010
786472995640,13cyclictest793938-21sshd21:34:320
786485995526,13cyclictest799405-21cron23:20:013
786485995526,13cyclictest799405-21cron23:20:003
786485995521,28cyclictest796298-21munin-run22:19:593
786480995537,7cyclictest797086-21unin-run22:35:012
786480995535,15cyclictest790838-21munin-plugin-st20:35:012
786480995535,15cyclictest790838-21munin-plugin-st20:35:002
786472995534,17cyclictest798212-21latency_hist22:55:020
786472995534,17cyclictest798212-21latency_hist22:55:010
786472995531,20cyclictest799691-21/usr/sbin/munin23:25:000
786472995523,28cyclictest797394-21latency_hist22:40:010
786472995523,28cyclictest0-21swapper/020:00:010
786472995521,29cyclictest0-21swapper/020:10:320
786485995430,14cyclictest0-21swapper/323:40:003
786485995427,13cyclictest798110-21cut22:55:013
786485995427,13cyclictest798110-21cut22:55:003
786480995433,15cyclictest789011-21sendmail20:00:002
786480995431,14cyclictest798108-21munin-run22:55:002
786480995431,14cyclictest798108-21munin-run22:55:002
786480995427,22cyclictest803317-21munin-plugin-st00:35:012
786480995425,23cyclictest794993-21munin-plugin-st21:55:012
786480995425,23cyclictest794993-21munin-plugin-st21:55:002
786472995440,11cyclictest800692-21sshd23:42:320
786472995440,10cyclictest801461-21cron00:00:010
786472995434,16cyclictest363-21snmpd22:40:280
786472995430,20cyclictest789579-21cat20:10:020
786472995429,21cyclictest798888-21latency_hist23:10:020
786472995419,30cyclictest0-21swapper/019:45:020
786485995333,9cyclictest801483-21munin-run00:00:013
786485995333,14cyclictest306-21in:imuxsock22:35:003
786480995333,11cyclictest1-21systemd20:55:002
786480995327,22cyclictest796882-21latency_hist22:30:022
786480995327,22cyclictest796882-21latency_hist22:30:012
786475995337,12cyclictest235-21systemd-journal21:10:001
786472995337,13cyclictest790558-21sshd20:27:020
786472995336,13cyclictest794173-21sshd21:35:330
786472995336,13cyclictest794173-21sshd21:35:320
786472995331,17cyclictest787608-21ls19:30:020
786472995317,12cyclictest802879-21sed00:25:020
786485995224,23cyclictest801741-21sshd00:03:323
786480995230,16cyclictest235-21systemd-journal21:15:002
786472995240,9cyclictest800958-21cron23:50:010
786472995240,9cyclictest800958-21cron23:50:000
786472995237,12cyclictest788734-21sshd19:53:320
786472995236,12cyclictest803035-21sshd00:28:330
786472995232,16cyclictest792333-21latency_hist21:00:040
786472995232,16cyclictest792333-21latency_hist21:00:030
786472995232,16cyclictest790843-21/usr/sbin/munin20:35:010
786472995232,16cyclictest790843-21/usr/sbin/munin20:35:010
786472995232,14cyclictest0-21swapper/023:35:020
786472995231,17cyclictest363-21snmpd21:06:090
786485995132,13cyclictest235-21systemd-journal19:45:003
786485995131,15cyclictest235-21systemd-journal22:30:013
786485995131,15cyclictest235-21systemd-journal22:30:013
786485995129,17cyclictest272-21dbus-daemon21:00:013
786485995129,17cyclictest272-21dbus-daemon21:00:003
786485995118,7cyclictest37-21ksoftirqd/320:48:533
786485995118,7cyclictest37-21ksoftirqd/320:48:523
786480995134,9cyclictest792133-21systemctl21:00:012
786480995134,9cyclictest792133-21systemctl21:00:002
786480995134,12cyclictest797360-21true22:40:002
786480995134,12cyclictest235-21systemd-journal19:20:012
786480995134,12cyclictest235-21systemd-journal19:20:012
786480995132,9cyclictest1-21systemd22:05:012
786480995132,9cyclictest1-21systemd22:05:002
786480995132,15cyclictest798355-21modprobe23:00:012
786480995132,13cyclictest272-21dbus-daemon00:40:012
786480995131,16cyclictest793689-21sshd21:29:322
786480995131,14cyclictest272-21dbus-daemon21:35:002
786480995130,15cyclictest799144-21munin-plugin-st23:15:002
786472995139,9cyclictest797871-21munin-run22:50:000
786472995139,9cyclictest791064-21sshd20:37:330
786472995138,10cyclictest792890-21sshd21:12:320
786472995138,10cyclictest789266-21sshd20:02:330
786472995138,10cyclictest363-21snmpd22:02:260
786472995138,10cyclictest363-21snmpd22:02:260
786472995136,11cyclictest786675-21munin-run19:15:000
786472995135,11cyclictest799937-21/usr/sbin/munin23:30:010
786472995135,11cyclictest790094-21munin-run20:20:010
786472995133,13cyclictest791789-21latency_hist20:50:020
786472995133,13cyclictest791789-21latency_hist20:50:020
786472995133,12cyclictest802522-21cron00:20:010
786472995131,16cyclictest793809-21sort21:30:010
786472995128,18cyclictest787390-21latency_hist19:25:020
786485995029,14cyclictest791876-21true20:55:003
786480995030,14cyclictest235-21systemd-journal00:10:022
786480995030,14cyclictest235-21systemd-journal00:10:012
786480995029,16cyclictest235-21systemd-journal22:25:002
786480995029,16cyclictest0-21swapper/200:20:012
786480995029,12cyclictest787968-21modprobe19:39:592
786480995028,16cyclictest794250-21unin-run21:40:012
786480995028,16cyclictest794250-21unin-run21:40:012
786480995026,16cyclictest1-21systemd23:05:012
786480995025,19cyclictest796293-21modprobe22:19:592
786480995024,21cyclictest801798-21cut00:05:022
786472995037,10cyclictest791842-21sshd20:52:050
786472995037,10cyclictest1-21systemd22:35:010
786472995031,13cyclictest0-21swapper/023:05:010
786472995030,16cyclictest788070-21cat19:40:020
786472995022,25cyclictest0-21swapper/022:20:010
786472995018,28cyclictest0-21swapper/020:45:010
786485994931,12cyclictest790837-21munin-plugin-st20:35:003
786485994931,12cyclictest790837-21munin-plugin-st20:35:003
786485994928,17cyclictest798356-21modprobe23:00:003
786485994926,17cyclictest788006-21true19:40:013
786485994925,18cyclictest1-21systemd20:10:013
786485994924,20cyclictest791368-21grep20:45:003
786485994922,21cyclictest272-21dbus-daemon23:05:023
786480994935,8cyclictest1-21systemd21:10:012
786480994931,11cyclictest796035-21true22:15:012
786480994929,13cyclictest281-21systemd-logind20:10:022
786480994927,11cyclictest797856-21modprobe22:50:002
786480994926,18cyclictest787467-21munin-plugin-st19:30:002
786480994926,15cyclictest799069-21latency_hist23:10:032
786480994924,21cyclictest800175-21cron23:35:012
786480994923,20cyclictest800762-21latency_hist23:45:022
786472994937,9cyclictest788481-21sshd19:48:320
786472994935,10cyclictest795252-21munin-run22:00:000
786472994932,13cyclictest801737-21sshd00:02:390
786485994827,10cyclictest795246-21sendmail22:00:003
786485994824,19cyclictest1-21systemd21:50:003
786485994823,15cyclictest797855-21munin-plugin-st22:49:593
786485994820,17cyclictest786943-21modprobe19:20:003
786485994820,17cyclictest786943-21modprobe19:20:003
786480994835,10cyclictest795978-21cat22:10:022
786480994829,14cyclictest793174-21sh21:20:002
786480994828,16cyclictest791335-21sshd20:41:322
786480994827,14cyclictest791679-21grep20:50:022
786480994827,14cyclictest791679-21grep20:50:012
786480994821,21cyclictest802278-21unin-run00:15:002
78647599487,8cyclictest23-21ksoftirqd/123:40:011
786475994834,10cyclictest272-21dbus-daemon20:25:011
786475994829,16cyclictest799446-21systemd-run23:20:011
786475994829,16cyclictest799446-21systemd-run23:20:011
786472994835,9cyclictest363-21snmpd21:44:470
786472994834,11cyclictest796538-21sshd22:21:330
786472994833,11cyclictest363-21snmpd00:33:220
786485994729,8cyclictest235-21systemd-journal20:00:003
786485994729,14cyclictest795003-21systemd-run21:55:023
786485994729,14cyclictest795003-21systemd-run21:55:013
786485994724,15cyclictest803574-21sh00:40:003
786480994732,11cyclictest788768-21systemd-run19:55:012
786480994730,12cyclictest1-21systemd22:00:002
786480994729,13cyclictest787720-21grep19:35:012
786480994729,13cyclictest787720-21grep19:35:002
786480994727,11cyclictest272-21dbus-daemon21:05:002
786480994726,16cyclictest789797-21true20:15:002
786480994726,16cyclictest235-21systemd-journal23:55:012
786480994723,19cyclictest794484-21latency_hist21:45:002
786480994721,21cyclictest800083-21sed23:30:032
78647599474,4cyclictest131rcu_preempt00:35:011
786475994717,17cyclictest794201-21modprobe21:40:011
786475994717,17cyclictest794201-21modprobe21:40:001
786472994738,6cyclictest801195-21sshd23:52:320
786472994734,9cyclictest363-21snmpd23:39:000
786472994724,19cyclictest790454-21sed20:25:010
786485994631,12cyclictest797582-21sshd22:43:333
786485994629,12cyclictest791091-21latency_hist20:40:003
786485994627,14cyclictest1-21systemd00:10:013
786485994627,14cyclictest1-21systemd00:10:003
786485994627,13cyclictest786681-21true19:15:003
786485994624,16cyclictest793178-21cat21:20:013
786485994616,25cyclictest795543-21cat22:05:013
786485994616,25cyclictest795543-21cat22:05:013
786485994610,5cyclictest131rcu_preempt20:15:003
786480994631,7cyclictest802807-21cut00:25:002
786480994631,10cyclictest790040-21cron20:20:002
786480994629,10cyclictest803154-21cat00:30:012
786480994628,14cyclictest790295-21sshd20:20:322
786480994627,15cyclictest794725-21cron21:50:002
786480994626,12cyclictest0-21swapper/220:39:592
786472994637,6cyclictest801997-21sshd00:09:330
786472994637,6cyclictest801997-21sshd00:09:320
786472994634,9cyclictest363-21snmpd21:53:420
786472994634,9cyclictest363-21snmpd21:53:410
786472994633,9cyclictest363-21snmpd00:11:400
786472994630,12cyclictest803540-21sshd00:36:320
786472994624,17cyclictest786559-21latency_hist19:10:020
786485994529,12cyclictest1-21systemd21:30:003
786485994528,14cyclictest798892-21munin-run23:10:003
786485994527,15cyclictest802500-21sshd00:17:383
786485994527,13cyclictest794197-21cron21:40:013
786485994527,13cyclictest794197-21cron21:40:003
786485994526,6cyclictest1-21systemd23:45:003
786485994526,13cyclictest799145-21munin-plugin-st23:15:003
786485994525,14cyclictest787721-21cut19:35:003
786485994525,14cyclictest787721-21cut19:35:003
786485994523,13cyclictest792407-21true21:05:003
786485994522,16cyclictest801219-21munin-plugin-st23:55:003
786485994520,20cyclictest800174-21cron23:35:003
786480994534,8cyclictest790549-21sshd20:25:312
786480994534,6cyclictest1-21systemd22:45:012
786480994531,7cyclictest235-21systemd-journal19:15:012
786480994531,10cyclictest800983-21munin-run23:50:012
786480994531,10cyclictest800983-21munin-run23:50:012
786480994525,15cyclictest788679-21grep19:50:022
786480994524,17cyclictest793556-21ls21:25:022
78647599452,9cyclictest0-21swapper/119:45:011
786475994510,6cyclictest131rcu_preempt19:10:321
786472994524,17cyclictest793568-21sed21:25:010
786485994431,9cyclictest793941-21cron21:35:013
786485994423,14cyclictest792652-21modprobe21:09:593
786480994427,13cyclictest787200-21cron19:24:592
786480994424,13cyclictest788251-21grep19:45:012
786485994328,12cyclictest803288-21sshd00:33:313
786485994323,15cyclictest1-21systemd23:50:013
786485994323,15cyclictest1-21systemd23:50:003
786485994321,17cyclictest793092-21latency_hist21:15:023
786485994321,17cyclictest786561-21grep19:10:023
786485994320,15cyclictest790054-21cron20:20:003
786485994319,18cyclictest793456-21munin-plugin-st21:25:003
786485994317,5cyclictest37-21ksoftirqd/320:00:263
78647599436,8cyclictest23-21ksoftirqd/123:56:331
786475994329,9cyclictest306-21in:imuxsock21:35:001
786475994329,11cyclictest788988-21sshd19:58:331
786475994327,12cyclictest235-21systemd-journal21:50:011
78647599432,6cyclictest0-21swapper/122:11:321
786475994326,12cyclictest272-21dbus-daemon22:50:001
786475994311,25cyclictest790836-21munin-plugin-st20:35:011
786475994311,25cyclictest790836-21munin-plugin-st20:35:001
786485994228,10cyclictest790598-21munin-run20:30:023
786485994227,10cyclictest797309-21sshd22:39:323
786485994224,11cyclictest803156-21wc00:30:023
786485994220,16cyclictest0-21swapper/322:06:323
786485994218,20cyclictest787215-21cut19:25:003
786480994225,8cyclictest799681-21munin-plugin-st23:24:592
786480994221,17cyclictest789293-21systemd-run20:05:012
786480994217,21cyclictest786415-21latency_hist19:10:012
78647599426,6cyclictest131rcu_preempt23:43:321
786475994225,12cyclictest0-21swapper/122:20:001
786485994129,9cyclictest799919-21sshd23:29:333
786485994129,9cyclictest794466-21sshd21:43:313
786485994129,9cyclictest788472-21sshd19:46:323
786485994127,6cyclictest796569-21modprobe22:25:013
786485994122,13cyclictest796016-21cron22:15:003
786485994120,16cyclictest799785-21latency_hist23:25:013
78647599415,6cyclictest131rcu_preempt19:34:331
78647599415,6cyclictest131rcu_preempt19:34:321
78647599415,3cyclictest131rcu_preempt00:05:001
78647599414,7cyclictest23-21ksoftirqd/119:35:321
78647599412,6cyclictest0-21swapper/120:55:021
78647599411,3cyclictest131rcu_preempt19:55:001
786485994031,5cyclictest788756-21munin-run19:55:003
786485994022,14cyclictest235-21systemd-journal00:15:013
786485994020,11cyclictest272-21dbus-daemon00:25:013
78647599404,4cyclictest131rcu_preempt23:32:161
786475994027,8cyclictest235-21systemd-journal21:45:001
786475994027,10cyclictest800954-21sshd23:49:321
786475994027,10cyclictest800954-21sshd23:49:311
786475994027,10cyclictest787209-21latency_hist19:25:011
78647599402,6cyclictest0-21swapper/121:30:021
786475994026,10cyclictest272-21dbus-daemon23:00:011
786485993929,8cyclictest37-21ksoftirqd/320:21:593
786475993920,14cyclictest0-21swapper/122:34:591
786475993917,4cyclictest23-21ksoftirqd/123:52:211
78647599391,5cyclictest131rcu_preempt19:45:021
78647599391,3cyclictest131rcu_preempt23:15:021
786485993824,11cyclictest787440-21sshd19:26:513
78647599381,4cyclictest131rcu_preempt00:21:331
78647599378,15cyclictest789789-21munin-plugin-st20:15:011
78647599373,5cyclictest131rcu_preempt20:48:301
78647599373,5cyclictest131rcu_preempt20:48:301
786475993728,5cyclictest790071-21sendmail20:20:001
786475993727,6cyclictest23-21ksoftirqd/120:05:001
786475993723,11cyclictest272-21dbus-daemon21:15:011
786475993712,19cyclictest802257-21modprobe00:15:001
78647599367,23cyclictest798652-21unin-run23:05:011
78647599365,22cyclictest795515-21modprobe22:05:011
78647599365,22cyclictest795515-21modprobe22:05:001
78647599364,17cyclictest798884-21modprobe23:10:001
786475993627,6cyclictest23-21ksoftirqd/122:30:011
786475993627,6cyclictest23-21ksoftirqd/122:30:001
786475993623,9cyclictest802012-21munin-plugin-st00:10:001
786475993623,9cyclictest802012-21munin-plugin-st00:10:001
786475993623,9cyclictest790558-21sshd20:27:011
786475993620,12cyclictest1-21systemd00:20:001
786475993618,14cyclictest272-21dbus-daemon22:45:001
786475993618,12cyclictest0-21swapper/120:39:591
786475993616,15cyclictest272-21dbus-daemon21:55:011
786475993616,15cyclictest272-21dbus-daemon21:55:011
786475993528,4cyclictest792090-21sshd20:56:321
786475993528,4cyclictest792090-21sshd20:56:321
786475993527,5cyclictest1-21systemd22:25:001
786475993524,7cyclictest23-21ksoftirqd/120:10:001
786475993516,15cyclictest272-21dbus-daemon22:00:011
78647599347,19cyclictest799939-21cut23:30:001
78647599345,16cyclictest793446-21modprobe21:25:001
786475993426,5cyclictest803192-21latency_hist00:30:011
786475993426,5cyclictest799670-21cron23:25:001
786475993424,7cyclictest803551-21sshd00:37:411
786475993424,6cyclictest797312-21cron22:40:011
786475993423,8cyclictest798158-21sed22:55:021
786475993423,8cyclictest798158-21sed22:55:011
786475993421,10cyclictest306-21in:imuxsock21:15:021
786475993420,11cyclictest235-21systemd-journal19:20:011
786475993420,11cyclictest235-21systemd-journal19:20:001
78647599315,20cyclictest795768-21modprobe22:09:591
786475993124,4cyclictest787447-21sshd19:28:321
78647599308,14cyclictest791359-21modprobe20:45:001
78647599304,15cyclictest1-21systemd21:05:011
78647599294,21cyclictest0-21swapper/119:10:011
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional