You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-30 - 14:05

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot3s.osadl.org (updated Tue Dec 30, 2025 00:45:09)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2146959998076,2cyclictest0-21swapper/019:40:030
2146964997323,13cyclictest2148008-21systemd-run19:30:011
214696499694,8cyclictest131rcu_preempt23:55:031
2146959996557,2cyclictest0-21swapper/022:50:030
2146964996147,10cyclictest2149791-21sshd20:03:311
2146964996147,10cyclictest2149791-21sshd20:03:301
2146964996144,14cyclictest2161193-21sshd23:44:301
2146959996155,4cyclictest0-21swapper/020:10:010
214697299606,27cyclictest2149006-21kworker/u8:220:00:022
2146964996052,4cyclictest2161434-21sshd23:47:311
2146959996054,3cyclictest0-21swapper/019:15:020
2146959996054,3cyclictest0-21swapper/019:15:010
2146959996045,9cyclictest0-21swapper/020:55:000
2146964995946,9cyclictest2161674-21sshd23:50:301
2146964995946,9cyclictest2161674-21sshd23:50:301
2146964995946,10cyclictest2156019-21sshd22:04:311
2146964995943,13cyclictest2162474-21sshd00:07:531
2146964995846,9cyclictest2160410-21sshd23:28:291
2146964995845,10cyclictest2162719-21sshd00:11:291
2146964995845,10cyclictest2155484-21sshd21:53:311
2146964995825,27cyclictest2160882-21latency_hist23:35:031
2146959995834,17cyclictest238-21systemd-journal00:10:000
2146964995745,9cyclictest2155720-21sshd21:55:311
2146964995644,9cyclictest364-21snmpd21:41:211
2146964995644,9cyclictest2159608-21sshd23:11:311
2146964995644,9cyclictest2151584-21sshd20:37:311
2146964995643,10cyclictest2158831-21sshd22:57:311
2146964995643,10cyclictest2150291-21sshd20:12:311
214697799553,6cyclictest2147452-21munin-run19:20:003
2146964995542,10cyclictest2163511-21sshd00:26:301
214696499551,3cyclictest131rcu_preempt19:20:021
2146964995446,4cyclictest2153648-21sshd21:15:321
2146964995442,9cyclictest364-21snmpd23:01:351
2146964995442,9cyclictest364-21snmpd23:01:351
2146964995442,9cyclictest2163293-21munin-run00:25:001
2146964995442,9cyclictest2151865-21sshd20:43:311
2146964995440,11cyclictest2157307-21sshd22:29:301
2146964995439,11cyclictest364-21snmpd19:20:491
2146964995438,11cyclictest2159365-21sshd23:07:421
2146972995336,12cyclictest1-21systemd00:35:012
2146964995342,9cyclictest364-21snmpd21:26:181
2146964995341,9cyclictest364-21snmpd21:46:221
2146964995341,9cyclictest364-21snmpd21:46:221
2146964995341,9cyclictest2157089-21/usr/sbin/munin22:25:011
2146964995340,10cyclictest364-21snmpd19:40:541
2146964995338,11cyclictest364-21snmpd20:20:001
2146964995337,12cyclictest670-21sendmail-mta19:54:271
2146964995333,13cyclictest2151096-21modprobe20:30:001
2146964995241,9cyclictest364-21snmpd22:11:271
2146964995240,9cyclictest364-21snmpd22:46:321
2146964995240,9cyclictest364-21snmpd22:46:321
2146964995240,9cyclictest364-21snmpd22:36:311
2146964995240,9cyclictest364-21snmpd22:31:301
2146964995240,9cyclictest364-21snmpd20:51:081
2146964995240,9cyclictest364-21snmpd00:36:541
2146964995239,10cyclictest364-21snmpd21:21:171
214695999524,10cyclictest2153701-21munin-run21:20:000
2146959995233,14cyclictest2161996-21sendmail00:00:000
2146959995225,19cyclictest238-21systemd-journal21:00:010
214695999521,32cyclictest131rcu_preempt20:15:010
2146964995139,9cyclictest364-21snmpd21:11:151
2146964995139,9cyclictest364-21snmpd21:11:151
2146964995136,10cyclictest2163786-21modprobe00:32:591
2146964995132,14cyclictest274-21cron21:00:001
214697799508,6cyclictest131rcu_preempt00:20:003
2146964995043,4cyclictest2162218-21sshd00:01:301
2146964995039,9cyclictest364-21snmpd23:36:421
2146964995039,9cyclictest364-21snmpd20:31:041
2146964995039,9cyclictest364-21snmpd20:31:041
2146964995038,9cyclictest364-21snmpd20:21:021
2146964995033,13cyclictest364-21snmpd22:06:391
2146964995027,19cyclictest2152295-21latency_hist20:50:031
2146964995027,19cyclictest2152295-21latency_hist20:50:021
2146964995013,10cyclictest23-21ksoftirqd/123:35:021
2146972994935,10cyclictest238-21systemd-journal19:19:592
2146964994942,4cyclictest2154691-21sshd21:36:311
2146964994936,9cyclictest364-21snmpd22:43:131
2146964994936,10cyclictest2158586-21modprobe22:52:401
2146964994935,10cyclictest364-21snmpd19:35:031
2146964994934,11cyclictest2148260-21systemd-run19:35:011
214695999492,42cyclictest2157835-21systemctl22:40:000
2146959994910,34cyclictest12-21ksoftirqd/019:20:020
214697799484,9cyclictest131rcu_preempt22:15:023
214697799482,11cyclictest2150336-21latency_hist20:15:013
2146964994837,8cyclictest364-21snmpd19:10:481
2146964994837,8cyclictest364-21snmpd19:10:471
2146964994834,10cyclictest364-21snmpd19:59:231
2146964994832,11cyclictest2150062-21munin-run20:10:001
2146959994833,8cyclictest309-21in:imuxsock20:44:590
2146977994732,12cyclictest2153704-21systemctl21:20:003
2146977994710,5cyclictest131rcu_preempt19:40:013
214697299478,35cyclictest2160742-21grep23:35:022
214697299478,35cyclictest2160742-21grep23:35:022
2146972994729,13cyclictest238-21systemd-journal00:25:002
2146964994732,12cyclictest2154674-21latency_hist21:35:031
2146959994728,12cyclictest309-21in:imuxsock22:50:010
2146959994728,12cyclictest309-21in:imuxsock22:50:010
214697299461,13cyclictest2150861-21true20:25:002
2146964994633,10cyclictest0-21swapper/123:22:451
2146964994631,12cyclictest2152885-21sshd21:00:301
2146959994632,8cyclictest309-21in:imuxsock22:55:020
2146977994526,13cyclictest238-21systemd-journal23:30:003
2146972994531,11cyclictest1-21systemd22:05:012
214697299452,5cyclictest131rcu_preempt20:56:302
2146964994534,8cyclictest364-21snmpd23:17:531
2146964994533,9cyclictest364-21snmpd21:06:351
2146959994532,9cyclictest2155744-21cron22:00:000
2146959994528,13cyclictest2149011-21sshd19:47:310
2146959994525,14cyclictest1-21systemd22:30:010
214695999452,11cyclictest2150584-21munin-run20:20:010
2146977994429,11cyclictest2164046-21cron00:40:013
214697799442,6cyclictest0-21swapper/300:25:003
214697299448,27cyclictest2151071-21kworker/u8:020:40:012
214697299444,3cyclictest131rcu_preempt23:45:022
2146972994427,12cyclictest2159643-21cut23:15:002
2146964994435,7cyclictest0-21swapper/122:15:031
2146964994435,7cyclictest0-21swapper/122:15:031
2146964994433,8cyclictest364-21snmpd00:15:541
2146964994432,9cyclictest0-21swapper/119:47:121
2146959994438,3cyclictest16950irq/224-800000021:55:010
2146959994436,5cyclictest16950irq/224-800000021:45:000
2146959994433,8cyclictest12-21ksoftirqd/000:20:000
2146959994432,9cyclictest12-21ksoftirqd/020:35:010
2146959994432,9cyclictest12-21ksoftirqd/020:35:010
2146959994430,9cyclictest2148238-21cron19:35:000
2146959994426,11cyclictest309-21in:imuxsock00:10:020
214695999442,5cyclictest131rcu_preempt23:15:020
2146959994412,11cyclictest12-21ksoftirqd/023:30:010
2146977994330,9cyclictest238-21systemd-journal23:50:023
2146977994330,9cyclictest238-21systemd-journal23:50:023
2146977994328,11cyclictest2152659-21tr21:00:003
2146977994326,13cyclictest2155554-21sed21:55:013
2146977994325,10cyclictest0-21swapper/321:45:003
2146977994323,15cyclictest275-21dbus-daemon20:05:013
2146977994323,15cyclictest275-21dbus-daemon20:05:013
214697799431,3cyclictest131rcu_preempt23:10:023
214697299435,32cyclictest2153419-21cron21:15:002
214697299435,32cyclictest2153419-21cron21:15:002
214697299431,5cyclictest131rcu_preempt19:34:592
2146959994336,4cyclictest16950irq/224-800000023:10:010
2146959994331,8cyclictest1-21systemd22:10:010
2146977994226,12cyclictest238-21systemd-journal22:45:013
214697799421,5cyclictest131rcu_preempt00:00:003
2146972994231,8cyclictest2152118-21sshd20:48:312
2146972994231,8cyclictest2152118-21sshd20:48:302
2146959994231,8cyclictest12-21ksoftirqd/023:40:000
2146959994228,10cyclictest309-21in:imuxsock19:25:020
2146959994221,15cyclictest238-21systemd-journal22:05:000
214697799414,4cyclictest131rcu_preempt20:20:013
214697299415,6cyclictest131rcu_preempt21:59:312
2146972994131,5cyclictest309-21in:imuxsock22:10:002
2146972994130,8cyclictest30-21ksoftirqd/221:50:012
2146972994130,8cyclictest30-21ksoftirqd/221:50:012
2146972994130,8cyclictest2155488-21sshd21:54:312
2146972994124,13cyclictest1-21systemd19:15:012
2146972994124,13cyclictest1-21systemd19:15:012
2146972994123,14cyclictest2153979-21systemd-run21:25:012
214697299412,20cyclictest0-21swapper/219:10:012
214697299411,11cyclictest238-21systemd-journal19:41:322
2146964994123,10cyclictest2146966-21cat19:10:011
2146959994128,9cyclictest238-21systemd-journal20:30:000
2146959994115,6cyclictest131rcu_preempt00:35:000
2146977994029,6cyclictest309-21in:imuxsock21:30:003
2146977994027,9cyclictest309-21in:imuxsock21:50:013
2146977994027,9cyclictest309-21in:imuxsock21:50:013
2146977994026,10cyclictest2156282-21cron22:10:003
2146977994018,5cyclictest131rcu_preempt22:55:003
214697299408,3cyclictest131rcu_preempt19:38:312
2146972994024,12cyclictest275-21dbus-daemon00:00:012
214697299401,5cyclictest0-21swapper/219:30:022
214695999404,6cyclictest131rcu_preempt21:15:030
214695999404,6cyclictest131rcu_preempt21:15:030
2146959994030,7cyclictest12-21ksoftirqd/000:27:300
2146959994029,7cyclictest2154208-21cron21:30:000
214695999402,6cyclictest311-21rs:main0
2146959994025,11cyclictest364-21snmpd21:36:200
214695999402,34cyclictest238-21systemd-journal21:09:590
214695999402,31cyclictest2159990-21cat23:20:020
214695999401,6cyclictest131rcu_preempt21:25:000
2146977993927,8cyclictest309-21in:imuxsock22:32:303
2146977993926,9cyclictest37-21ksoftirqd/300:10:313
2146977993924,10cyclictest1-21systemd19:35:013
2146977993919,14cyclictest1-21systemd23:45:013
214697299396,3cyclictest131rcu_preempt19:25:012
2146972993928,8cyclictest30-21ksoftirqd/200:39:222
2146972993928,5cyclictest30-21ksoftirqd/222:50:032
2146972993928,5cyclictest30-21ksoftirqd/222:50:032
214697299392,4cyclictest131rcu_preempt22:55:002
214697299392,3cyclictest131rcu_preempt23:40:012
2146972993923,11cyclictest2158846-21cron23:00:002
2146959993932,4cyclictest16950irq/224-800000023:55:020
2146959993932,4cyclictest16950irq/224-800000023:55:020
2146959993932,4cyclictest16950irq/224-800000019:59:590
2146959993926,9cyclictest12-21ksoftirqd/020:05:020
2146959993926,9cyclictest12-21ksoftirqd/020:05:020
214695999392,33cyclictest0-21swapper/020:50:020
214695999392,33cyclictest0-21swapper/020:50:020
2146959993922,13cyclictest410-21lldpd20:40:000
214697799383,3cyclictest131rcu_preempt23:50:003
2146977993829,6cyclictest309-21in:imuxsock20:35:013
2146977993829,6cyclictest309-21in:imuxsock20:35:013
2146977993826,8cyclictest2152390-21grep20:54:593
2146977993820,14cyclictest37-21ksoftirqd/300:05:013
214697299385,3cyclictest131rcu_preempt19:49:592
2146972993826,7cyclictest309-21in:imuxsock20:45:012
214697299382,4cyclictest131rcu_preempt20:51:322
2146972993824,10cyclictest2160471-21cat23:30:022
214697299382,3cyclictest131rcu_preempt22:20:022
214697299382,3cyclictest131rcu_preempt22:20:022
2146972993816,3cyclictest30-21ksoftirqd/222:45:012
2146972993810,3cyclictest131rcu_preempt20:17:012
2146959993829,5cyclictest2164061-21latency_hist00:40:010
2146959993825,10cyclictest2162231-21sshd00:03:300
2146959993823,8cyclictest309-21in:imuxsock20:25:000
2146959993821,13cyclictest1-21systemd22:35:000
2146977993728,5cyclictest2151641-21sh20:40:003
2146977993727,6cyclictest2158355-21munin-plugin-st22:50:013
2146977993727,6cyclictest2158355-21munin-plugin-st22:50:013
214697799372,4cyclictest131rcu_preempt20:05:023
214697799372,3cyclictest131rcu_preempt22:05:003
2146977993723,11cyclictest37-21ksoftirqd/319:30:003
2146977993718,15cyclictest238-21systemd-journal20:25:003
2146977993717,4cyclictest37-21ksoftirqd/323:19:593
2146977993716,16cyclictest275-21dbus-daemon00:35:013
214697799371,4cyclictest131rcu_preempt21:05:013
214697799371,32cyclictest2147038-21sed19:10:023
214697299374,3cyclictest131rcu_preempt23:10:012
2146972993726,8cyclictest2151256-21cat20:30:022
2146972993726,7cyclictest2149286-21/usr/sbin/munin19:55:012
214697299372,4cyclictest131rcu_preempt21:35:002
214697299372,31cyclictest1-21systemd20:15:002
2146972993722,10cyclictest2150055-21modprobe20:10:002
214697299371,3cyclictest131rcu_preempt21:45:022
2146972993712,7cyclictest131rcu_preempt22:30:012
214695999375,10cyclictest12-21ksoftirqd/022:15:010
2146959993726,9cyclictest12-21ksoftirqd/019:55:000
2146959993725,9cyclictest2147723-21sshd19:22:100
214695999372,31cyclictest2163356-21ls00:25:020
2146959993723,10cyclictest12-21ksoftirqd/023:34:300
2146959993723,10cyclictest12-21ksoftirqd/023:34:300
2146959993722,11cyclictest12-21ksoftirqd/023:45:010
2146959993721,12cyclictest2154447-21sshd21:32:310
2146959993720,14cyclictest1-21systemd19:45:000
214697799364,3cyclictest131rcu_preempt22:40:023
2146977993628,5cyclictest309-21in:imuxsock23:40:003
214697799361,5cyclictest131rcu_preempt21:25:023
214697299363,3cyclictest131rcu_preempt00:05:022
214697299362,5cyclictest131rcu_preempt22:23:302
214697299362,3cyclictest131rcu_preempt00:20:002
2146972993620,13cyclictest275-21dbus-daemon00:10:002
2146959993626,7cyclictest12-21ksoftirqd/023:50:020
2146959993626,7cyclictest12-21ksoftirqd/022:25:010
2146959993625,7cyclictest12-21ksoftirqd/023:05:020
2146959993625,7cyclictest12-21ksoftirqd/023:05:020
2146959993622,11cyclictest275-21dbus-daemon22:20:010
2146959993622,11cyclictest275-21dbus-daemon22:20:010
214697799355,3cyclictest131rcu_preempt19:45:003
2146977993523,9cyclictest37-21ksoftirqd/321:15:013
2146977993523,9cyclictest37-21ksoftirqd/321:15:013
2146977993522,10cyclictest2158869-21systemctl23:00:003
2146977993519,4cyclictest37-21ksoftirqd/319:15:013
2146977993519,4cyclictest37-21ksoftirqd/319:15:003
2146977993516,14cyclictest275-21dbus-daemon20:50:013
2146977993516,14cyclictest275-21dbus-daemon20:50:013
214697799351,3cyclictest131rcu_preempt21:35:023
214697299358,5cyclictest131rcu_preempt20:02:232
214697299358,5cyclictest131rcu_preempt20:02:222
214697299354,3cyclictest131rcu_preempt22:15:022
214697299353,3cyclictest131rcu_preempt23:21:302
2146972993524,8cyclictest2153814-21date21:20:022
2146972993524,7cyclictest2161575-21cut23:50:022
2146972993523,8cyclictest238-21systemd-journal23:18:312
2146972993521,10cyclictest2161743-21date23:55:022
2146972993521,10cyclictest2161743-21date23:55:022
2146972993521,10cyclictest0-21swapper/223:05:022
2146972993521,10cyclictest0-21swapper/223:05:022
2146972993520,11cyclictest275-21dbus-daemon00:30:012
2146972993520,11cyclictest238-21systemd-journal22:40:002
214695999352,5cyclictest364-21snmpd23:21:530
2146959993525,7cyclictest12-21ksoftirqd/021:01:100
214697799344,3cyclictest131rcu_preempt22:22:313
214697799343,3cyclictest131rcu_preempt20:00:013
2146977993419,11cyclictest2156801-21cat22:20:013
2146977993419,11cyclictest2156801-21cat22:20:003
214697799341,27cyclictest37-21ksoftirqd/300:30:013
214697299344,3cyclictest131rcu_preempt21:05:012
2146972993425,7cyclictest30-21ksoftirqd/200:15:022
2146972993425,5cyclictest2154722-21sh21:40:012
2146959993422,9cyclictest2155221-21sshd21:46:310
2146959993422,9cyclictest2155221-21sshd21:46:310
214697799336,3cyclictest131rcu_preempt20:30:013
214697799334,3cyclictest131rcu_preempt23:05:023
214697799334,3cyclictest131rcu_preempt23:05:023
2146977993321,9cyclictest2162507-21systemd-run00:10:003
2146977993320,9cyclictest2155769-21munin-plugin-st22:00:003
2146977993320,10cyclictest275-21dbus-daemon22:30:013
214697799331,5cyclictest131rcu_preempt23:32:303
214697799331,5cyclictest131rcu_preempt23:32:303
2146977993315,11cyclictest0-21swapper/323:15:003
214697799331,3cyclictest131rcu_preempt20:45:013
214697299333,4cyclictest131rcu_preempt22:34:312
214697299332,4cyclictest131rcu_preempt21:06:112
2146977993223,5cyclictest309-21in:imuxsock21:40:013
2146977993219,9cyclictest37-21ksoftirqd/321:09:593
214697799321,4cyclictest131rcu_preempt19:50:313
2146977993214,15cyclictest37-21ksoftirqd/323:25:003
214697299322,4cyclictest131rcu_preempt20:30:322
214697299322,4cyclictest131rcu_preempt20:30:322
2146959993223,7cyclictest0-21swapper/019:10:010
214697299312,3cyclictest131rcu_preempt21:28:312
214697799302,3cyclictest131rcu_preempt19:23:313
2146977992922,4cyclictest2149031-21latency_hist19:50:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional