You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-05-17 - 10:45

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack2slot7s.osadl.org (updated Sun May 17, 2026 00:43:04)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
3863765996338,22cyclictest1-21systemd22:00:020
3863766995042,5cyclictest3899740-21diskmemload00:00:001
3863765995045,3cyclictest3948223-21cut22:10:000
3863765994927,19cyclictest4037003-21cups-browsed00:38:480
3863765994925,21cyclictest3874206-21unixbench_singl19:41:060
3863766994839,6cyclictest4025623-21tail23:45:431
386376599483,27cyclictest4037003-21cups-browsed00:05:140
3863767994714,9cyclictest4050540-21ntpq00:15:562
3863766994739,5cyclictest3928208-21latency_hist21:45:031
3863766994738,6cyclictest4069359-21cut00:40:001
3863766994737,6cyclictest3938063-21unixbench_singl21:56:061
3863765994722,22cyclictest3907870-21sendmail21:20:010
3863765994623,20cyclictest3919950-21cut21:35:010
3863767994515,10cyclictest3985820-21ntpq22:55:532
3863767994515,10cyclictest3985820-21ntpq22:55:532
386376699456,3cyclictest0-21swapper/122:10:591
3863765994513,28cyclictest4006253-21ssh23:20:590
3863767994435,6cyclictest4016969-21latency_hist23:35:022
3863766994436,5cyclictest421-21dbus-daemon20:10:021
386376599443,2cyclictest4038372-21ntpq00:00:530
3863767994334,5cyclictest389226350kworker/u8:4+xprtiod20:55:012
386376599433,35cyclictest3885671-21ntpq20:20:550
3863765994324,12cyclictest12350irq/32-eth023:40:580
3863765994319,20cyclictest0-21swapper/022:26:070
3863765994310,29cyclictest3989941-21ssh23:00:550
3863765994310,29cyclictest3989941-21ssh23:00:550
3863767994236,3cyclictest0-21swapper/221:46:002
3863767994234,5cyclictest4037023-21ssh00:00:012
3863767994234,5cyclictest3903834-21ssh21:15:012
3863767994233,5cyclictest4058322-21kernelversion00:25:512
3863766994232,7cyclictest4061941-21tail00:30:441
3863766994232,7cyclictest4061941-21tail00:30:441
3863765994224,15cyclictest427-21polkitd21:28:230
386376599422,3cyclictest3949594-21ntpq22:10:550
386376599422,36cyclictest3909256-21ntpq21:20:550
386376599422,34cyclictest3899222-21ntpq21:06:000
386376599422,34cyclictest3866128-21ntpq19:15:540
3863765994222,17cyclictest3972473-21systemd-run22:40:010
386376599421,3cyclictest421-21dbus-daemon22:41:040
3863767994134,3cyclictest0-21swapper/221:31:002
3863767994116,5cyclictest4026255-21ntpq23:45:532
3863766994130,8cyclictest0-21swapper/119:30:021
3863766994129,8cyclictest421-21dbus-daemon22:26:011
3863765994130,6cyclictest151ktimers/019:35:550
386376599412,35cyclictest3881108-21ntpq20:05:520
386376599412,34cyclictest4002138-21ntpq23:16:000
386376599412,34cyclictest3896107-21ntpq20:55:540
386376599411,5cyclictest4010149-21ntpq23:25:530
386376599411,4cyclictest3901105-21ntpq21:10:550
386376599411,3cyclictest4058546-21ntpq00:25:540
386376599411,3cyclictest4050567-21ntpq00:15:570
386376599411,3cyclictest0-21swapper/023:10:590
386376599411,33cyclictest4054609-21ssh00:20:560
386376599411,14cyclictest3985991-21ntp_states22:55:590
386376599411,14cyclictest3985991-21ntp_states22:55:590
386376599410,4cyclictest3983022-21ssh22:52:070
386376599410,4cyclictest3983022-21ssh22:52:070
386376799409,11cyclictest3953720-21ssh22:15:582
3863767994033,4cyclictest3878753-21sendmail20:00:002
3863767994032,5cyclictest3890735-21munin-run20:40:012
3863767994031,6cyclictest516-21in:imuxsock00:32:292
3863767994031,6cyclictest516-21in:imuxsock00:32:292
3863767994010,9cyclictest3922927-21ssh21:37:592
386376599402,4cyclictest3879654-21ntpq20:00:540
386376599402,34cyclictest3897647-21ntpq21:00:550
3863765994022,15cyclictest4046049-21gltestperf00:10:470
386376599401,4cyclictest4034361-21ntpq23:55:580
386376599401,4cyclictest3867642-21ntpq19:20:520
386376599401,12cyclictest4062582-21ntpq00:30:540
386376599401,12cyclictest4062582-21ntpq00:30:540
386376599401,11cyclictest3891681-21ntpq20:40:560
386376599400,37cyclictest3886598-21/usr/sbin/munin20:25:430
386376599400,11cyclictest3935640-21ssh21:54:100
3863767993934,2cyclictest0-21swapper/223:35:572
3863767993930,6cyclictest0-21swapper/200:05:012
3863767993910,9cyclictest3882699-21ntpq20:10:552
3863767993910,9cyclictest3882699-21ntpq20:10:552
386376699397,24cyclictest4054582-21ssh00:20:551
386376699394,30cyclictest4014160-21ssh23:30:531
3863766993929,7cyclictest0-21swapper/121:00:011
386376599398,27cyclictest3965899-21/usr/sbin/munin22:30:590
386376599397,30cyclictest4020501-21ssh23:39:140
386376599393,3cyclictest3870697-21ntpq19:31:100
386376599392,32cyclictest3957725-21ntpq22:20:570
386376599391,6cyclictest3890150-21ntpq20:35:530
386376599391,4cyclictest3941459-21ntpq22:00:530
386376599391,4cyclictest3929368-21ntpq21:45:560
386376599391,4cyclictest3925337-21ntpq21:40:570
386376599391,13cyclictest3884122-21ntpq20:15:530
386376599391,13cyclictest3884122-21ntpq20:15:530
3863767993831,3cyclictest0-21swapper/222:10:582
3863767993829,6cyclictest2001030-21cups-browsed21:40:302
3863767993828,7cyclictest4046647-21processes00:11:002
3863767993812,11cyclictest3975252-21diskmemload22:42:412
3863766993831,4cyclictest0-21swapper/122:35:561
3863766993831,4cyclictest0-21swapper/120:40:011
3863766993828,7cyclictest2001030-21cups-browsed21:35:441
3863766993826,5cyclictest0-21swapper/122:20:531
3863766993826,4cyclictest3930150-21ssh21:46:211
386376599388,27cyclictest3894658-21ntpq20:50:540
386376599386,30cyclictest3978544-21ssh22:46:140
3863765993831,4cyclictest1056-21mta-sts-daemon22:15:520
386376599382,3cyclictest3876597-21ntpq19:50:520
386376599382,3cyclictest3876597-21ntpq19:50:520
3863765993823,12cyclictest0-21swapper/023:51:100
386376599381,7cyclictest4014879-21/usr/sbin/munin23:31:070
386376599381,4cyclictest3878149-21ntpq19:55:540
386376599381,3cyclictest3888728-21ntpq20:30:590
386376599381,13cyclictest3921243-21ntpq21:35:530
386376599381,10cyclictest4025652-21aten_r2power_fr23:45:430
386376599381,10cyclictest3993076-21ssh23:05:290
386376799379,9cyclictest3977330-21df_inode22:45:442
3863767993712,7cyclictest4002089-21ntpq23:15:582
3863767993712,5cyclictest4042369-21ssh00:05:522
3863767993711,8cyclictest1-21systemd00:25:012
3863766993729,3cyclictest0-21swapper/123:06:051
3863766993724,9cyclictest4001881-21missed_timers23:15:511
386376599372,4cyclictest3864605-21ntpq19:10:530
386376599371,4cyclictest3875165-21ntpq19:45:540
386376599371,4cyclictest3869124-21ntpq19:25:540
386376599371,3cyclictest3882597-21ntpq20:10:500
386376599371,3cyclictest3882597-21ntpq20:10:500
386376599370,7cyclictest3893705-21vmstat20:46:050
3863767993629,3cyclictest0-21swapper/221:25:572
3863767993629,3cyclictest0-21swapper/200:40:012
3863767993612,8cyclictest3893305-21sendmail_mailqu20:45:592
3863767993611,9cyclictest4030071-21sh23:50:532
3863767993611,8cyclictest3963540-21ssh22:28:222
3863767993610,8cyclictest1055-21mta-sts-daemon23:02:212
3863767993610,8cyclictest1055-21mta-sts-daemon23:02:212
3863766993628,5cyclictest3868286-21systemd-run19:25:011
3863766993628,5cyclictest1054-21mta-sts-daemon22:30:561
386376699361,28cyclictest3901149-21ssh21:10:561
3863767993529,3cyclictest0-21swapper/221:15:512
3863767993528,3cyclictest0-21swapper/223:41:002
3863767993528,3cyclictest0-21swapper/222:20:562
3863767993514,8cyclictest3969761-21ntpq22:35:582
3863767993512,8cyclictest3935602-21diskmemload21:54:072
3863767993510,9cyclictest3983820-21ssh22:53:412
3863767993510,9cyclictest3983820-21ssh22:53:412
3863767993510,8cyclictest3888234-21df20:30:462
3863767993510,7cyclictest3941564-21ntp_states22:00:572
386376699353,27cyclictest3953710-21sh22:15:581
386376699353,22cyclictest4058549-21ssh00:25:551
3863766993529,2cyclictest0-21swapper/100:10:551
3863766993524,8cyclictest3913975-21vmstat21:26:091
3863766993523,9cyclictest4050259-21latency00:15:501
386376799348,10cyclictest3939632-21sh21:59:052
3863767993428,3cyclictest0-21swapper/219:20:012
3863767993425,6cyclictest1-21systemd19:55:012
3863767993425,6cyclictest1-21systemd19:55:012
3863767993412,7cyclictest4012725-21diskmemload23:29:462
3863767993412,7cyclictest2001030-21cups-browsed19:26:202
3863766993426,5cyclictest4018888-21ssh23:36:061
3863766993426,5cyclictest3904527-21aten_r2power_fr21:15:451
3863766993423,7cyclictest2001025-21cupsd23:11:001
3863766993419,3cyclictest171rcu_preempt21:30:451
386376599341,4cyclictest3863777-21munin-run19:10:020
3863767993326,4cyclictest1054-21mta-sts-daemon22:05:492
3863767993322,7cyclictest421-21dbus-daemon23:15:022
3863767993319,11cyclictest3872229-21ntpq19:35:582
3863767993316,11cyclictest3994120-21ps23:06:002
3863767993312,4cyclictest3911000-21sh21:23:132
386376699339,6cyclictest0-21swapper/121:20:551
386376699334,21cyclictest3985883-21ssh22:55:551
386376699334,21cyclictest3985883-21ssh22:55:551
3863766993311,3cyclictest171rcu_preempt23:00:571
3863766993311,3cyclictest171rcu_preempt23:00:571
386376899323,11cyclictest0-21swapper/300:10:563
386376799326,8cyclictest3874213-21users19:41:062
3863767993225,4cyclictest3884744-21latency_hist20:20:002
3863767993225,4cyclictest3884744-21latency_hist20:20:002
3863767993225,3cyclictest0-21swapper/220:05:012
3863767993219,9cyclictest3885717-21ntpq20:20:572
3863767993215,12cyclictest3965716-21ssh22:30:532
3863766993224,5cyclictest3899740-21diskmemload00:01:001
3863766993223,6cyclictest261-21systemd-journal23:45:011
3863766993220,2cyclictest171rcu_preempt23:51:011
3863766993219,4cyclictest3874314-21latency_hist19:45:021
386376899315,7cyclictest0-21swapper/321:10:573
386376899312,9cyclictest0-21swapper/300:15:543
3863767993124,4cyclictest0-21swapper/223:20:492
3863766993125,3cyclictest0-21swapper/122:05:021
3863766993118,3cyclictest171rcu_preempt23:25:441
386376699311,5cyclictest0-21swapper/121:05:531
386376699311,3cyclictest3973742-21ssh22:40:551
386376899303,10cyclictest0-21swapper/321:25:533
3863767993022,3cyclictest1051-21mta-sts-daemon19:33:282
3863767993020,4cyclictest3875145-21ntpq19:45:532
3863767993014,10cyclictest3891002-21aten_r2power_cu20:40:432
386376699304,19cyclictest1055-21mta-sts-daemon20:00:561
386376699303,21cyclictest3981825-21ssh22:50:541
386376699303,21cyclictest3981825-21ssh22:50:541
3863766993022,5cyclictest3977232-21aten2.4-expect22:45:431
3863766993022,5cyclictest3945099-21fschecks_count22:05:471
3863766993022,4cyclictest0-21swapper/123:20:561
3863766993020,7cyclictest3933170-21missed_timers21:50:481
3863766993019,4cyclictest3866369-21mailstats19:16:031
3863766993013,3cyclictest171rcu_preempt19:31:101
386376899293,9cyclictest0-21swapper/300:05:583
386376899293,10cyclictest0-21swapper/323:00:573
386376899293,10cyclictest0-21swapper/323:00:573
386376899292,8cyclictest0-21swapper/322:05:293
386376899292,6cyclictest0-21swapper/322:45:543
386376899292,10cyclictest0-21swapper/322:15:553
386376899292,10cyclictest0-21swapper/322:10:593
386376799297,8cyclictest3895734-21diskstats20:55:472
3863767992922,5cyclictest0-21swapper/221:10:012
3863767992918,7cyclictest548-21gdbus21:02:522
386376699293,19cyclictest659-21snmpd19:45:531
3863766992923,3cyclictest0-21swapper/100:07:321
3863766992917,6cyclictest171rcu_preempt20:45:571
3863766992917,3cyclictest171rcu_preempt19:10:581
3863766992913,3cyclictest171rcu_preempt20:30:021
3863767992815,9cyclictest3887200-21ntpq20:25:562
3863767992814,10cyclictest3867751-21ntpq19:20:582
3863767992814,10cyclictest3864641-21ntpq19:10:552
386376699289,7cyclictest28-21ksoftirqd/120:40:521
386376699283,11cyclictest0-21swapper/119:55:521
3863766992818,4cyclictest3872389-21awk19:36:031
3863766992812,3cyclictest171rcu_preempt21:00:591
3863766992810,3cyclictest0-21swapper/120:20:561
386376899274,8cyclictest0-21swapper/300:20:583
386376899272,9cyclictest0-21swapper/323:31:013
386376899272,9cyclictest0-21swapper/322:30:593
386376899272,9cyclictest0-21swapper/300:26:023
386376699272,8cyclictest1055-21mta-sts-daemon20:10:541
386376699272,8cyclictest1055-21mta-sts-daemon20:10:541
386376899263,9cyclictest0-21swapper/323:20:523
386376899262,8cyclictest0-21swapper/323:40:553
386376899262,8cyclictest0-21swapper/320:40:533
386376899262,10cyclictest0-21swapper/321:30:593
386376899262,10cyclictest0-21swapper/321:15:573
386376899261,9cyclictest0-21swapper/323:55:523
386376699269,9cyclictest3884139-21ntp_kernel_pll_20:15:541
386376699269,9cyclictest3884139-21ntp_kernel_pll_20:15:541
3863766992619,4cyclictest3894256-21fschecks_count20:50:451
3863766992613,3cyclictest171rcu_preempt19:51:021
3863766992613,3cyclictest171rcu_preempt19:51:021
3863766992610,7cyclictest3884715-21kworker/u8:8+events_unbound20:30:461
386376899253,9cyclictest0-21swapper/300:35:593
386376899253,8cyclictest0-21swapper/322:55:573
386376899253,8cyclictest0-21swapper/322:55:573
3863767992514,7cyclictest3881127-21ntpq20:05:532
386376899243,6cyclictest0-21swapper/300:30:533
386376899243,6cyclictest0-21swapper/300:30:533
386376899243,12cyclictest0-21swapper/323:25:523
386376799249,9cyclictest3863947-21latency_hist19:10:032
3863766992410,2cyclictest171rcu_preempt19:10:021
386376899233,10cyclictest0-21swapper/323:45:523
386376899231,8cyclictest0-21swapper/323:15:583
386376899224,3cyclictest0-21swapper/320:25:533
386376899224,12cyclictest0-21swapper/322:35:583
386376899223,12cyclictest0-21swapper/323:10:573
386376899223,11cyclictest0-21swapper/323:35:563
386376899213,12cyclictest0-21swapper/322:00:523
386376899213,11cyclictest0-21swapper/322:20:543
386376899211,9cyclictest0-21swapper/319:20:533
386376899206,7cyclictest0-21swapper/321:35:553
386376899203,11cyclictest0-21swapper/323:51:033
386376899203,11cyclictest0-21swapper/322:40:573
386376899203,11cyclictest0-21swapper/321:45:553
386376899203,10cyclictest0-21swapper/321:10:023
386376899202,9cyclictest0-21swapper/321:00:543
386376899202,13cyclictest0-21swapper/321:20:463
386376899192,11cyclictest0-21swapper/322:25:563
386376899192,11cyclictest0-21swapper/321:41:023
386376899192,11cyclictest0-21swapper/300:00:523
386376899192,10cyclictest0-21swapper/323:05:553
386376899192,10cyclictest0-21swapper/321:56:003
386376899191,11cyclictest0-21swapper/322:50:533
386376899191,11cyclictest0-21swapper/322:50:533
386376899191,11cyclictest0-21swapper/321:50:523
386376899182,8cyclictest0-21swapper/319:35:523
386376899182,8cyclictest0-21swapper/319:15:563
386376899172,9cyclictest0-21swapper/320:45:573
386376899172,9cyclictest0-21swapper/319:55:543
386376899172,8cyclictest0-21swapper/320:50:513
386376899171,9cyclictest0-21swapper/319:10:553
386376899162,9cyclictest0-21swapper/320:10:513
386376899162,9cyclictest0-21swapper/320:10:513
386376899162,8cyclictest0-21swapper/319:40:563
386376899162,7cyclictest0-21swapper/319:45:513
386376899161,9cyclictest0-21swapper/319:50:543
386376899161,9cyclictest0-21swapper/319:50:543
386376899153,7cyclictest0-21swapper/320:30:583
386376899142,8cyclictest0-21swapper/320:05:543
386376899142,7cyclictest0-21swapper/319:31:063
386376899142,6cyclictest0-21swapper/320:20:513
386376899141,7cyclictest0-21swapper/320:15:523
386376899141,7cyclictest0-21swapper/320:15:523
386376899141,6cyclictest0-21swapper/319:25:553
386376899132,7cyclictest0-21swapper/320:35:513
386376899132,7cyclictest0-21swapper/320:00:513
386376899131,6cyclictest0-21swapper/320:55:533
38637689991,5cyclictest0-21swapper/319:10:033
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional