You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-15 - 20:09

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #c, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackcslot7s.osadl.org (updated Sun Mar 15, 2026 12:44:53)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
280365399525498,24cyclictest2854931-21turbostat09:39:551
280364999470448,19cyclictest2812732-21turbostat07:39:550
280365999469448,18cyclictest2845977-21turbostat09:14:553
280365999463455,5cyclictest2919998-21turbostat12:40:003
280365999463454,6cyclictest2914495-21turbostat12:25:003
280365999463440,20cyclictest2856953-21turbostat09:40:003
280365399460453,4cyclictest2851467-21turbostat09:29:551
280365999459435,21cyclictest2823170-21turbostat08:05:003
280365999458448,7cyclictest2883230-21turbostat10:55:003
280364999458450,5cyclictest2842515-21turbostat09:04:550
280365999457450,4cyclictest2907571-21turbostat12:05:003
280365599457448,6cyclictest2816255-21turbostat07:49:552
280365999455448,4cyclictest2853200-21turbostat09:30:003
280365999455447,5cyclictest2828366-21turbostat08:20:003
280365999453446,4cyclictest2863888-21turbostat10:00:003
280365999450443,4cyclictest2837320-21turbostat08:45:003
280365999450443,4cyclictest2824901-21turbostat08:10:003
280365999449441,5cyclictest2891876-21turbostat11:24:543
280365999448441,4cyclictest2886693-21turbostat11:05:003
280365999446439,4cyclictest2883230-21turbostat10:59:553
280365599446437,6cyclictest2879777-21turbostat10:49:552
280365399446437,6cyclictest2830097-21turbostat08:29:551
280364999445438,4cyclictest2844241-21turbostat09:09:550
280365999443436,4cyclictest2826634-21turbostat08:15:003
280365999442434,5cyclictest2878035-21turbostat10:44:553
280365999442423,16cyclictest2839045-21turbostat08:50:003
280365999441434,4cyclictest2840782-21turbostat08:55:003
280365999440433,4cyclictest2851467-21turbostat09:25:013
280365999438430,5cyclictest2918260-21turbostat12:35:003
280365999438430,5cyclictest2897116-21turbostat11:39:553
280365999437430,4cyclictest2858694-21turbostat09:45:003
280365999437429,4cyclictest2819715-21turbostat07:55:003
280365599437430,4cyclictest2881499-21turbostat10:54:552
280365999436429,4cyclictest2817971-21turbostat07:50:003
280365599435427,5cyclictest2907571-21turbostat12:09:552
280365599435427,5cyclictest2907571-21turbostat12:09:552
280365999434427,4cyclictest2900615-21turbostat11:49:553
280365999434427,4cyclictest2833555-21turbostat08:34:593
280365599432423,6cyclictest2884953-21turbostat11:04:552
280365999430423,4cyclictest2876309-21turbostat10:35:003
280365999429421,5cyclictest2831816-21turbostat08:30:013
280365999429420,6cyclictest2890150-21turbostat11:15:003
280365599428419,6cyclictest2914495-21turbostat12:29:552
280365599428419,6cyclictest2914495-21turbostat12:29:552
280365999426419,4cyclictest2867346-21turbostat10:14:553
280365999424417,4cyclictest2872545-21turbostat10:25:003
280365599424415,6cyclictest2826634-21turbostat08:19:552
280365999421414,4cyclictest2821439-21turbostat08:00:003
280365999420413,4cyclictest2860427-21turbostat09:50:003
280365999420412,5cyclictest2830097-21turbostat08:25:003
280365399418411,4cyclictest2863888-21turbostat10:04:551
280364999417410,4cyclictest2858694-21turbostat09:49:550
280364999416408,5cyclictest2803535-21turbostat07:14:550
280364999415408,4cyclictest2824901-21turbostat08:14:540
280365999414405,6cyclictest2853200-21turbostat09:34:553
280365599412389,20cyclictest2835590-21turbostat08:44:552
280365599410403,4cyclictest2809271-21turbostat07:29:562
280365999408399,6cyclictest2881499-21turbostat10:50:003
280365999407382,22cyclictest2893612-21turbostat11:29:553
280365599405398,4cyclictest2819715-21turbostat07:59:552
280365599404397,4cyclictest2862153-21turbostat09:59:552
280365999402394,5cyclictest2805317-21turbostat07:19:563
280365999402394,5cyclictest2805317-21turbostat07:19:553
280365599402395,4cyclictest2839045-21turbostat08:54:552
280365999401392,6cyclictest2812732-21turbostat07:35:003
280365999400393,4cyclictest2814527-21turbostat07:44:563
280365999400393,4cyclictest2814527-21turbostat07:44:553
280365999400391,6cyclictest2811004-21turbostat07:30:003
280365599400393,4cyclictest2918260-21turbostat12:39:552
280365999399378,18cyclictest2842515-21turbostat09:00:013
280365599395388,4cyclictest2849438-21turbostat09:24:552
280365999392371,18cyclictest2898852-21turbostat11:44:553
280365599392368,9cyclictest2811004-21turbostat07:34:552
280365599385363,19cyclictest2909299-21turbostat12:14:562
280365599384377,4cyclictest2847706-21turbostat09:19:552
280365599384351,19cyclictest2876309-21turbostat10:39:552
280365599383377,3cyclictest2904111-21turbostat11:59:552
280365999379372,4cyclictest2911027-21turbostat12:15:003
280365999378372,3cyclictest2878035-21turbostat10:40:003
280365599377370,4cyclictest2912759-21turbostat12:24:552
280365999373364,6cyclictest2865615-21turbostat10:05:003
280365999372366,3cyclictest2809271-21turbostat07:25:003
280364999364357,4cyclictest2823170-21turbostat08:09:550
280365999361354,4cyclictest2916223-21turbostat12:30:003
280365999361354,4cyclictest2916223-21turbostat12:30:003
280365999355346,6cyclictest2897116-21turbostat11:35:003
280365599355348,4cyclictest2865615-21turbostat10:09:552
280365999354348,3cyclictest2845977-21turbostat09:10:003
280365599354348,3cyclictest2869081-21turbostat10:19:552
280365999351346,3cyclictest2891876-21turbostat11:19:593
280365999351346,3cyclictest2891876-21turbostat11:19:593
280365999344338,3cyclictest2862153-21turbostat09:55:003
280364999344324,16cyclictest2911027-21turbostat12:19:550
280365999341334,4cyclictest2867346-21turbostat10:10:003
280365399337330,4cyclictest2890150-21turbostat11:19:551
280365399337330,4cyclictest2890150-21turbostat11:19:551
280365399335328,4cyclictest2860427-21turbostat09:54:551
280365599324317,4cyclictest2905851-21turbostat12:04:552
280365999323317,3cyclictest2870808-21turbostat10:20:013
280365999320313,4cyclictest2905851-21turbostat12:00:003
280365999320311,6cyclictest2902358-21turbostat11:54:553
280365999319310,6cyclictest2912759-21turbostat12:20:003
280365999318311,4cyclictest2814527-21turbostat07:40:003
280365999315309,3cyclictest2886693-21turbostat11:09:553
280365999314308,3cyclictest2909299-21turbostat12:10:013
280365999314308,3cyclictest2909299-21turbostat12:10:013
280365999313306,4cyclictest2872545-21turbostat10:29:553
280365999303295,5cyclictest2835590-21turbostat08:40:003
280365999291284,4cyclictest2849438-21turbostat09:20:003
280365999191173,12cyclictest2844241-21turbostat09:05:003
2802742212072,39sleep30-21swapper/307:05:223
2803309211379,24sleep20-21swapper/207:07:272
2803434211178,23sleep00-21swapper/007:09:010
2803455210976,23sleep10-21swapper/107:09:181
282886321020,11sleep234-21ksoftirqd/208:20:132
2803659999891,4cyclictest2805317-21turbostat07:15:003
28241602860,7sleep14497-21PK-Backend08:05:231
29105812840,5sleep10-21swapper/112:10:291
197399810,6rtkit-daemon4497-21PK-Backend08:55:121
28593522710,24sleep2341ksoftirqd/209:45:172
197399700,9rtkit-daemon1972-21rtkit-daemon11:36:450
197399670,8rtkit-daemon1972-21rtkit-daemon11:00:090
197399650,9rtkit-daemon1972-21rtkit-daemon12:08:480
197399650,9rtkit-daemon1972-21rtkit-daemon12:08:480
197399620,9rtkit-daemon1972-21rtkit-daemon10:30:430
197399620,8rtkit-daemon1972-21rtkit-daemon12:01:450
197399610,9rtkit-daemon1972-21rtkit-daemon11:52:360
2803653996016,39cyclictest2825245-21cat08:10:141
197399590,8rtkit-daemon1972-21rtkit-daemon10:27:550
2803653995720,33cyclictest2837404-21sed08:45:011
2803653995720,32cyclictest2886925-21/usr/sbin/munin11:05:251
2803653995617,35cyclictest2858678-21cron09:45:011
2803653995517,33cyclictest2913612-21pool-udisksd12:20:211
2803653995513,12cyclictest2850417-21if_err_enp2s009:20:191
2803653995512,12cyclictest2862637-21ls09:55:151
2803653995422,28cyclictest2844228-21dump-pmu-power09:05:001
2803653995418,31cyclictest2814715-21grep07:40:021
2803653995416,11cyclictest2883357-21cat10:55:021
2803653995413,13cyclictest2906089-21find12:00:101
2803653995413,12cyclictest2859037-21cat09:45:121
28606892530,5sleep00-21swapper/009:50:100
2803653995320,29cyclictest2834475-40apt-check08:35:281
2803653995318,31cyclictest2806126-21cpuspeed07:15:121
2803653995318,31cyclictest2806126-21cpuspeed07:15:121
2803653995313,13cyclictest438-20systemd-journal10:50:001
2803653995312,12cyclictest2828608-21basename08:20:101
280365399524,16cyclictest438-20systemd-journal07:15:021
2803653995218,30cyclictest1137-21runrttasks10:16:061
2803653995217,31cyclictest2846207-21/usr/sbin/munin09:10:201
2803653995215,11cyclictest2896625-21timerwakeupswit11:30:301
2803653995214,9cyclictest2811170-21cat07:30:011
2803653995211,11cyclictest2911489-21cstates12:15:131
28407812510,7chrt2840773-21perf08:55:010
2803653995115,31cyclictest2839164-21grep08:50:031
2803649995120,27cyclictest2856334-40lsb_release09:35:260
2803655995027,14cyclictest34-21ksoftirqd/207:15:262
2803655995027,14cyclictest34-21ksoftirqd/207:15:262
280365399504,43cyclictest2886710-21perf-exec11:05:011
2803653995014,6cyclictest2919983-21latency_hist12:40:021
2803653995010,12cyclictest2866663-21proc_pri10:05:251
280365399495,15cyclictest2904963-21missed_timers11:55:221
2803653994916,6cyclictest2828402-21latency_hist08:20:011
2803653994912,12cyclictest2914767-21cpu12:25:151
2803653994912,12cyclictest2914767-21cpu12:25:151
2803649994918,17cyclictest2851785-21cpuspeed09:25:120
280365399489,11cyclictest2844824-21cat09:05:141
280365399489,10cyclictest2832500-21basename08:30:171
280365399482,16cyclictest2893012-21python311:20:261
2803653994814,7cyclictest2883477-21acpi10:55:121
2803653994811,12cyclictest2917402-21needreboot12:30:241
280365399472,15cyclictest2879054-21ntp_states10:40:251
280365399472,14cyclictest2854331-21python309:30:271
280365399471,4cyclictest4497-21PK-Backend11:54:511
2803653994712,7cyclictest2871145-21cpuspeed10:20:131
2803653994622,20cyclictest4497-21PK-Backend11:13:531
2803653994613,7cyclictest1137-21runrttasks07:31:461
280365399461,13cyclictest438-20systemd-journal11:40:011
2803653994610,10cyclictest2849657-21date09:20:021
280365399454,15cyclictest4497-21PK-Backend10:30:001
280365399453,10cyclictest2069-21gnome-shell07:21:581
280365399452,12cyclictest2907808-21/usr/sbin/munin12:05:251
280365399452,12cyclictest2907808-21/usr/sbin/munin12:05:251
280365399451,13cyclictest2817701-21taskset07:46:391
2803655994432,9cyclictest34-21ksoftirqd/211:41:512
280365599443,11cyclictest34-21ksoftirqd/210:42:242
2803655994414,7cyclictest29027982grep11:50:122
280365399447,8cyclictest0-21swapper/111:45:181
280365399441,14cyclictest2816114-21taskset07:43:321
280365399441,14cyclictest2816114-21taskset07:43:321
280365399441,13cyclictest2818374-21grep07:50:131
280365399441,12cyclictest2899221-21grep11:40:131
280365399441,11cyclictest2822292-21/usr/sbin/munin08:00:221
2803653994410,6cyclictest2820534-21latency07:55:211
2803649994416,24cyclictest976-21rs:main0
2803655994325,6cyclictest34-21ksoftirqd/208:05:002
2803655994323,6cyclictest34-21ksoftirqd/208:27:012
28703522420,7sleep0161rcuc/010:15:300
280365599429,5cyclictest141rcu_preempt11:09:162
2803649994126,11cyclictest2916207-21cron12:30:000
2803649994126,11cyclictest2916207-21cron12:30:000
2803649994123,6cyclictest13-21ksoftirqd/011:47:060
2803649994123,6cyclictest13-21ksoftirqd/010:24:470
2803649994123,6cyclictest13-21ksoftirqd/008:30:020
2803649994123,6cyclictest13-21ksoftirqd/007:30:490
2803655994023,13cyclictest1-21systemd10:35:002
2803655994022,6cyclictest34-21ksoftirqd/209:40:192
2803655994020,6cyclictest34-21ksoftirqd/209:01:022
2803653994010,6cyclictest28952532chrt11:29:081
2803649994023,5cyclictest13-21ksoftirqd/009:34:120
2803649994021,6cyclictest13-21ksoftirqd/008:35:240
280365399392,12cyclictest2868925-21chrt10:13:211
280365399391,12cyclictest2840810-21systemd08:55:021
280364999397,14cyclictest141rcu_preempt12:10:300
2803649993928,7cyclictest2850196-21expr09:20:130
2803649993922,5cyclictest13-21ksoftirqd/010:04:520
2803649993922,13cyclictest2817251-21ntpq07:45:230
2803649993921,6cyclictest13-21ksoftirqd/010:50:010
2803649993910,12cyclictest141rcu_preempt12:35:010
280365599384,29cyclictest2890814-21hddtemp_smartct11:15:192
280365599384,29cyclictest2890814-21hddtemp_smartct11:15:182
2803655993825,9cyclictest2094-21JS10:49:102
2803655993823,11cyclictest2897102-21cron11:35:002
2803655993820,6cyclictest34-21ksoftirqd/210:00:382
2803655993820,6cyclictest34-21ksoftirqd/208:35:002
2803655993816,14cyclictest34-21ksoftirqd/207:40:022
280365399382,8cyclictest4497-21PK-Backend10:40:021
2803649993821,13cyclictest2887535-21memory11:05:190
2803649993819,6cyclictest13-21ksoftirqd/007:29:080
2803649993816,13cyclictest13-21ksoftirqd/012:20:120
2803649993816,13cyclictest13-21ksoftirqd/011:20:240
280365599372,7cyclictest2869102-21munin-run10:15:012
2803655993727,6cyclictest1081-21ntpd07:20:242
2803655993722,11cyclictest2854918-21apt-get09:35:012
2803655993721,5cyclictest34-21ksoftirqd/209:05:212
2803655993720,5cyclictest34-21ksoftirqd/209:27:202
280365599371,32cyclictest2902192-21chrt11:48:122
2803649993721,12cyclictest2867986-21entropy10:10:170
2803649993719,6cyclictest13-21ksoftirqd/011:16:350
2803649993719,6cyclictest13-21ksoftirqd/011:16:350
2803649993714,11cyclictest2896895-21systemd-udevd11:32:500
197399370,29rtkit-daemon13-21ksoftirqd/011:27:150
2803655993621,11cyclictest2874279-21apt-get10:30:002
2803655993620,5cyclictest34-21ksoftirqd/211:10:152
2803655993618,6cyclictest34-21ksoftirqd/207:50:232
2803655993618,5cyclictest34-21ksoftirqd/208:35:242
2803655993617,6cyclictest34-21ksoftirqd/211:25:012
280364999364,15cyclictest141rcu_preempt11:40:150
2803649993620,12cyclictest2879753-21cron10:45:010
2803649993620,12cyclictest2857674-21cat09:40:190
2803649993618,6cyclictest13-21ksoftirqd/007:59:180
280364999361,4cyclictest141rcu_preempt10:00:000
2803649993614,13cyclictest13-21ksoftirqd/008:25:020
280365599359,5cyclictest141rcu_preempt12:15:382
2803655993524,6cyclictest34-21ksoftirqd/209:35:242
2803655993520,11cyclictest2826214-21grep08:10:312
2803655993517,6cyclictest34-21ksoftirqd/208:57:042
280365599351,12cyclictest2838254-21strings08:45:202
280364999352,9cyclictest1137-21runrttasks10:52:580
2803649993519,11cyclictest2832228-21grep08:30:120
2803649993518,5cyclictest13-21ksoftirqd/009:12:590
2803655993426,5cyclictest0-21swapper/211:28:302
2803655993420,10cyclictest34-21ksoftirqd/210:20:252
2803655993420,10cyclictest2862136-21cron09:55:002
2803655993417,13cyclictest2918109-21seq12:33:222
2803649993418,12cyclictest2836921-21cat08:40:290
2803649993418,11cyclictest438-20systemd-journal11:10:510
2803649993414,6cyclictest13-21ksoftirqd/008:19:510
2803649993413,13cyclictest13-21ksoftirqd/012:00:010
2803649993412,14cyclictest13-21ksoftirqd/007:25:010
2803655993319,9cyclictest2814926-21grep07:40:122
2803655993319,9cyclictest2814926-21grep07:40:122
2803655993317,11cyclictest2847677-21seq09:14:562
280365599331,4cyclictest4497-21PK-Backend08:08:032
280364999332,5cyclictest141rcu_preempt12:35:290
2803649993323,6cyclictest2819705-21sh07:55:000
2803649993319,10cyclictest2883789-21expr10:55:150
2803649993318,11cyclictest2837752-21expr08:45:120
2803649993318,11cyclictest2823178-21munin-run08:05:010
2803649993314,14cyclictest13-21ksoftirqd/007:45:020
2803649993314,14cyclictest13-21ksoftirqd/007:45:010
2803655993220,8cyclictest2069-21gnome-shell10:56:092
2803653993225,4cyclictest4497-21PK-Backend10:30:451
2803649993221,7cyclictest2877051-21irqstats10:35:200
2803649993217,11cyclictest2806519-21cat07:15:200
2803649993217,11cyclictest2806519-21cat07:15:190
280365599311,4cyclictest0-21swapper/211:35:042
2803649993114,12cyclictest2865932-21cpuspeed10:05:120
2803649993017,9cyclictest2847685-21cron09:15:020
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional