You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-01-27 - 16:20

x86 Intel Atom E3845 @1910 MHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the alll highest latencies:
System rackdslot2.osadl.org (updated Fri Jan 27, 2023 12:46:27)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1095321700,8sleep12561699cyclictest12:25:001
230572142120,10sleep10-21swapper/107:05:021
1339911040,4ptp4l401ktimersoftd/307:05:503
25618997766,6cyclictest41-21ksoftirqd/307:15:203
25618997562,7cyclictest41-21ksoftirqd/309:45:173
25618997463,6cyclictest41-21ksoftirqd/312:00:133
25618997362,6cyclictest41-21ksoftirqd/309:55:173
55498710,13rtkit-daemon0-21swapper/007:08:520
25618997159,7cyclictest41-21ksoftirqd/310:25:243
25618996957,7cyclictest41-21ksoftirqd/308:05:193
25618996654,7cyclictest41-21ksoftirqd/308:25:183
25618996455,5cyclictest41-21ksoftirqd/309:25:153
25618996434,5cyclictest41-21ksoftirqd/310:00:193
25615996454,6cyclictest9-21ksoftirqd/008:35:190
25615996453,7cyclictest9-21ksoftirqd/011:50:110
25618996334,5cyclictest41-21ksoftirqd/307:30:223
25618996332,7cyclictest41-21ksoftirqd/311:30:173
25618996331,5cyclictest41-21ksoftirqd/310:20:003
25618996325,9cyclictest41-21ksoftirqd/308:20:463
25618996232,4cyclictest41-21ksoftirqd/310:45:013
25618996133,8cyclictest41-21ksoftirqd/308:40:373
25615996150,7cyclictest9-21ksoftirqd/012:10:120
25615996150,7cyclictest9-21ksoftirqd/007:10:130
250482613,45sleep20-21swapper/207:06:282
133991610,1ptp4l401ktimersoftd/310:30:213
25618996031,4cyclictest41-21ksoftirqd/310:05:273
25618996028,5cyclictest41-21ksoftirqd/309:40:003
25618996028,4cyclictest41-21ksoftirqd/310:20:373
25615996052,5cyclictest9-21ksoftirqd/007:35:200
25615996051,6cyclictest9-21ksoftirqd/010:05:170
25618995929,4cyclictest41-21ksoftirqd/311:25:283
25618995922,8cyclictest41-21ksoftirqd/308:50:233
25615995947,6cyclictest9-21ksoftirqd/011:25:130
25615995946,6cyclictest9-21ksoftirqd/008:45:130
25618995851,4cyclictest41-21ksoftirqd/310:55:053
25618995842,4cyclictest41-21ksoftirqd/311:00:313
25618995830,8cyclictest41-21ksoftirqd/312:35:153
25618995830,4cyclictest41-21ksoftirqd/307:55:193
25618995828,4cyclictest41-21ksoftirqd/309:10:003
25618995828,4cyclictest41-21ksoftirqd/309:10:003
25615995847,6cyclictest9-21ksoftirqd/009:50:160
224282580,4sleep122432-21latency_hist11:40:011
25618995741,4cyclictest41-21ksoftirqd/310:45:313
25618995727,4cyclictest41-21ksoftirqd/307:45:343
25618995727,4cyclictest41-21ksoftirqd/307:45:343
25618995725,5cyclictest41-21ksoftirqd/309:35:013
25618995723,8cyclictest41-21ksoftirqd/312:30:323
25618995627,7cyclictest41-21ksoftirqd/310:10:203
25618995627,4cyclictest41-21ksoftirqd/307:30:003
25618995626,8cyclictest41-21ksoftirqd/311:40:003
25618995626,7cyclictest41-21ksoftirqd/312:20:183
25618995624,9cyclictest41-21ksoftirqd/309:55:003
25618995623,7cyclictest41-21ksoftirqd/309:15:333
25618995623,5cyclictest41-21ksoftirqd/307:40:173
25615995544,5cyclictest9-21ksoftirqd/011:30:130
25615995543,6cyclictest9-21ksoftirqd/010:40:160
2561899547,8cyclictest41-21ksoftirqd/309:20:343
25618995447,4cyclictest41-21ksoftirqd/309:10:163
25618995441,4cyclictest41-21ksoftirqd/308:20:013
25618995438,4cyclictest41-21ksoftirqd/310:39:593
25618995425,4cyclictest41-21ksoftirqd/308:30:233
25618995424,4cyclictest41-21ksoftirqd/312:05:193
25618995424,4cyclictest41-21ksoftirqd/308:40:003
25618995324,4cyclictest41-21ksoftirqd/308:05:003
25618995323,4cyclictest41-21ksoftirqd/312:15:203
25618995321,8cyclictest41-21ksoftirqd/311:45:133
25618995321,8cyclictest41-21ksoftirqd/311:45:123
25618995319,5cyclictest41-21ksoftirqd/312:10:193
25618995317,11cyclictest41-21ksoftirqd/307:20:243
2561899525,9cyclictest41-21ksoftirqd/309:00:293
25618995223,4cyclictest41-21ksoftirqd/309:40:173
25618995222,7cyclictest41-21ksoftirqd/307:55:013
25618995222,4cyclictest41-21ksoftirqd/311:40:193
25618995220,5cyclictest41-21ksoftirqd/308:10:353
25618995216,8cyclictest41-21ksoftirqd/309:00:013
2561899515,3cyclictest41-21ksoftirqd/308:45:273
25618995137,7cyclictest41-21ksoftirqd/311:05:233
25618995137,4cyclictest41-21ksoftirqd/310:55:013
25618995119,5cyclictest41-21ksoftirqd/307:10:203
25618995116,5cyclictest41-21ksoftirqd/307:40:003
2561599517,5cyclictest9-21ksoftirqd/010:45:400
25618995015,8cyclictest41-21ksoftirqd/311:20:213
25618995015,11cyclictest41-21ksoftirqd/311:55:143
25615995045,3cyclictest9-21ksoftirqd/012:25:270
25615995042,4cyclictest9-21ksoftirqd/010:50:170
25615995040,5cyclictest9-21ksoftirqd/008:00:140
25618994914,5cyclictest41-21ksoftirqd/311:55:003
25617994928,18cyclictest33-21ksoftirqd/208:44:172
25615994937,7cyclictest9-21ksoftirqd/009:05:190
25615994937,7cyclictest9-21ksoftirqd/009:05:190
2561899483,4cyclictest121rcu_preempt12:25:293
25618994815,7cyclictest41-21ksoftirqd/311:15:153
25618994815,7cyclictest41-21ksoftirqd/311:10:413
25615994641,3cyclictest9-21ksoftirqd/010:20:370
25615994513,3cyclictest9-21ksoftirqd/009:25:250
2561799444,7cyclictest0-21swapper/208:10:162
25615994434,5cyclictest9-21ksoftirqd/010:00:160
25615994414,4cyclictest9-21ksoftirqd/009:10:280
25615994337,3cyclictest9-21ksoftirqd/008:20:000
25615994329,5cyclictest9-21ksoftirqd/012:00:300
25615994329,5cyclictest9-21ksoftirqd/011:20:210
25615994326,7cyclictest9-21ksoftirqd/008:10:350
25615994237,3cyclictest9-21ksoftirqd/009:20:010
25615994237,3cyclictest9-21ksoftirqd/009:00:300
25615994237,3cyclictest9-21ksoftirqd/008:00:010
25615994216,4cyclictest9-21ksoftirqd/010:30:260
25615994212,4cyclictest9-21ksoftirqd/012:05:350
2561799413,7cyclictest0-21swapper/212:20:142
2561799413,6cyclictest15778-21apt-get12:35:122
2561799412,6cyclictest0-21swapper/210:45:202
25617994112,4cyclictest31239-21cat09:40:172
25615994136,3cyclictest9-21ksoftirqd/009:35:350
25615994134,4cyclictest9-21ksoftirqd/008:20:290
2561599412,4cyclictest121rcu_preempt09:20:180
25615994110,4cyclictest9-21ksoftirqd/009:45:230
2561799408,7cyclictest28823-21cron10:45:002
2561799403,6cyclictest0-21swapper/210:10:142
25616994034,4cyclictest25-21ksoftirqd/112:00:001
25615994034,4cyclictest9-21ksoftirqd/011:00:350
2561799393,6cyclictest0-21swapper/210:20:282
2561799392,8cyclictest10041-21apt-get08:55:152
2561799392,6cyclictest0-21swapper/207:45:162
2561799392,6cyclictest0-21swapper/207:45:162
25617993911,4cyclictest14946-21expr12:30:322
25617993910,5cyclictest11818-21irqrtprio12:25:242
25616993932,4cyclictest25-21ksoftirqd/108:44:591
25615993933,4cyclictest9-21ksoftirqd/012:20:000
25615993933,4cyclictest9-21ksoftirqd/011:15:000
25615993933,4cyclictest9-21ksoftirqd/008:25:340
25615993933,3cyclictest9-21ksoftirqd/011:50:010
25615993933,3cyclictest9-21ksoftirqd/011:50:000
25615993932,4cyclictest9-21ksoftirqd/010:55:190
2561799389,4cyclictest22939-21ptp4l-jitter09:20:312
2561799389,4cyclictest15715-21irqrtprio10:15:242
2561799382,7cyclictest17019-21apt-get09:10:162
2561799382,7cyclictest0-21swapper/210:35:172
2561799382,6cyclictest0-21swapper/211:35:162
25617993813,5cyclictest25972-21open_files11:45:272
25617993813,5cyclictest25972-21open_files11:45:262
25616993831,4cyclictest12047-21cron09:00:001
2561599387,4cyclictest9-21ksoftirqd/010:35:290
2561599385,4cyclictest121rcu_preempt12:20:350
25615993833,3cyclictest9-21ksoftirqd/011:05:410
25615993833,3cyclictest9-21ksoftirqd/010:15:010
25615993833,3cyclictest9-21ksoftirqd/009:55:250
25615993833,3cyclictest9-21ksoftirqd/009:30:230
25615993833,3cyclictest9-21ksoftirqd/007:50:000
25615993833,3cyclictest9-21ksoftirqd/007:49:590
25615993832,4cyclictest9-21ksoftirqd/008:55:330
25615993832,4cyclictest9-21ksoftirqd/007:55:010
25615993832,3cyclictest9-21ksoftirqd/012:30:220
25615993831,4cyclictest9-21ksoftirqd/011:40:000
25615993831,4cyclictest9-21ksoftirqd/008:30:190
2561599381,5cyclictest9-21ksoftirqd/008:05:200
2561599381,3cyclictest121rcu_preempt11:20:000
2561799378,4cyclictest20157-21which08:05:322
2561799374,3cyclictest121rcu_preempt09:55:202
2561799373,6cyclictest28489-21apt-get08:25:172
2561799373,6cyclictest19800-21apt-get10:25:232
2561799372,7cyclictest22605-21apt-get11:40:132
2561799372,6cyclictest0-21swapper/209:00:192
2561799371,4cyclictest204-21systemd-journal11:30:172
25617993714,4cyclictest10245-21users11:10:412
2561799371,13cyclictest0-21swapper/207:10:192
25617993710,4cyclictest31008-21cat07:20:262
25617993710,4cyclictest2368-21sed10:55:312
25615993732,3cyclictest9-21ksoftirqd/011:55:150
25615993731,4cyclictest9-21ksoftirqd/010:25:300
25615993731,3cyclictest9-21ksoftirqd/010:15:200
25615993730,4cyclictest9-21ksoftirqd/012:35:140
2561799369,4cyclictest31099-21df_abs08:30:172
2561799369,4cyclictest2513-21cut07:30:012
2561799368,4cyclictest5011-21cpu07:35:202
2561799367,4cyclictest29440-21cut09:35:332
2561799363,7cyclictest28043-21apt-get07:15:192
2561799363,6cyclictest31897-21apt-get12:00:122
2561799362,6cyclictest0-21swapper/212:15:142
25617993613,4cyclictest33-21ksoftirqd/212:07:152
25617993612,3cyclictest3708-21fschecks_count09:50:212
25617993610,4cyclictest22622-21fschecks_time10:30:242
2561699361,2cyclictest0-21swapper/110:26:321
2561599363,4cyclictest9-21ksoftirqd/007:30:220
25615993631,3cyclictest9-21ksoftirqd/008:40:410
25615993630,3cyclictest9-21ksoftirqd/011:40:370
25615993630,3cyclictest9-21ksoftirqd/009:45:010
25615993630,3cyclictest9-21ksoftirqd/007:20:160
55498350,2rtkit-daemon553-21rtkit-daemon10:08:422
2561799359,4cyclictest27162-21/usr/sbin/munin11:50:312
2561799359,3cyclictest27291-21phc2sys-jitter08:20:462
25616993529,4cyclictest25-21ksoftirqd/110:59:371
25616993529,4cyclictest25-21ksoftirqd/109:45:241
25616993529,4cyclictest25-21ksoftirqd/107:35:181
25616993529,4cyclictest25-21ksoftirqd/107:16:311
25616993528,4cyclictest25-21ksoftirqd/107:52:011
25615993529,4cyclictest9-21ksoftirqd/007:25:230
25615993528,4cyclictest9-21ksoftirqd/007:40:200
25615993528,4cyclictest9-21ksoftirqd/007:19:230
55498340,2rtkit-daemon553-21rtkit-daemon10:02:322
2561799349,4cyclictest31109-21unixbench_multi11:55:352
2561799345,7cyclictest35592irq/91-enp1s0-T08:04:332
2561799343,6cyclictest7723-21apt-get08:50:142
25617993427,4cyclictest33-21ksoftirqd/209:16:212
25617993410,3cyclictest17591-21latency_hist11:29:592
25616993429,3cyclictest25-21ksoftirqd/111:50:241
25616993429,3cyclictest25-21ksoftirqd/108:10:081
25616993428,4cyclictest25-21ksoftirqd/108:15:261
25616993427,4cyclictest25-21ksoftirqd/112:38:381
25616993427,4cyclictest25-21ksoftirqd/111:32:131
25616993427,4cyclictest25-21ksoftirqd/108:34:531
25616993427,4cyclictest25-21ksoftirqd/107:40:141
25616993427,4cyclictest25-21ksoftirqd/107:31:301
25616993421,10cyclictest25-21ksoftirqd/110:54:121
25615993429,3cyclictest9-21ksoftirqd/008:50:180
2561799332,7cyclictest24047-21apt-get09:25:142
25617993327,3cyclictest33-21ksoftirqd/210:51:182
2561799332,6cyclictest11942-21apt-get07:50:192
25616993327,4cyclictest25-21ksoftirqd/110:05:581
25616993327,4cyclictest25-21ksoftirqd/108:40:001
25616993327,3cyclictest25-21ksoftirqd/112:11:231
25616993326,4cyclictest25-21ksoftirqd/111:46:451
25616993326,4cyclictest25-21ksoftirqd/111:46:451
25616993326,4cyclictest25-21ksoftirqd/109:35:101
25616993326,4cyclictest25-21ksoftirqd/109:33:301
25617993226,3cyclictest33-21ksoftirqd/209:48:342
25617993225,4cyclictest33-21ksoftirqd/211:02:472
25617993225,4cyclictest33-21ksoftirqd/209:34:472
25616993227,3cyclictest25-21ksoftirqd/110:40:011
25616993226,4cyclictest25-21ksoftirqd/112:08:341
25616993226,4cyclictest25-21ksoftirqd/112:00:201
25616993226,4cyclictest25-21ksoftirqd/111:41:291
25616993226,4cyclictest25-21ksoftirqd/111:23:131
25616993226,4cyclictest25-21ksoftirqd/110:40:001
25616993226,4cyclictest25-21ksoftirqd/108:04:531
25616993225,4cyclictest25-21ksoftirqd/111:12:541
25616993225,4cyclictest25-21ksoftirqd/109:58:551
25616993225,4cyclictest25-21ksoftirqd/108:45:131
25616993225,4cyclictest25-21ksoftirqd/108:26:501
25616993225,4cyclictest25-21ksoftirqd/107:20:411
2561799313,6cyclictest13257-21apt-get11:20:142
25617993123,5cyclictest33-21ksoftirqd/211:15:402
25616993125,4cyclictest5968-21cron11:05:011
25616993125,4cyclictest25-21ksoftirqd/110:23:011
25616993125,4cyclictest25-21ksoftirqd/110:15:411
25616993125,4cyclictest25-21ksoftirqd/107:56:381
25616993125,3cyclictest25-21ksoftirqd/109:22:521
25616993124,4cyclictest25-21ksoftirqd/112:27:421
25616993124,4cyclictest25-21ksoftirqd/109:44:141
2561799303,6cyclictest23599-21apt-get08:15:182
25617993024,4cyclictest33-21ksoftirqd/207:56:282
25617993024,3cyclictest33-21ksoftirqd/211:07:452
25617993024,3cyclictest33-21ksoftirqd/208:48:422
25617993024,3cyclictest33-21ksoftirqd/207:41:442
25617993023,4cyclictest33-21ksoftirqd/209:08:382
25617993023,4cyclictest33-21ksoftirqd/209:08:382
25617993023,4cyclictest33-21ksoftirqd/207:30:542
25616993025,3cyclictest25-21ksoftirqd/112:17:541
25616993024,4cyclictest25-21ksoftirqd/107:10:301
25616993023,4cyclictest25-21ksoftirqd/111:19:531
25616993023,4cyclictest25-21ksoftirqd/110:47:401
25616993023,4cyclictest25-21ksoftirqd/110:30:441
25616993023,4cyclictest25-21ksoftirqd/109:12:181
25617992923,4cyclictest33-21ksoftirqd/208:35:582
25616992923,4cyclictest25-21ksoftirqd/109:50:441
25616992923,4cyclictest25-21ksoftirqd/108:53:121
25616992923,4cyclictest25-21ksoftirqd/107:45:551
25616992923,4cyclictest25-21ksoftirqd/107:45:541
25616992922,4cyclictest25-21ksoftirqd/109:29:291
25616992921,5cyclictest19593-21grep08:05:271
25616992822,4cyclictest25-21ksoftirqd/109:03:471
25616992822,4cyclictest25-21ksoftirqd/108:22:001
25616992821,4cyclictest25-21ksoftirqd/111:28:521
25616992821,4cyclictest25-21ksoftirqd/109:09:491
25616992821,4cyclictest25-21ksoftirqd/109:09:491
25616992721,3cyclictest13268-21irqrtprio10:10:251
25616992720,4cyclictest25-21ksoftirqd/111:06:161
25616992619,4cyclictest25-21ksoftirqd/107:26:361
25617992419,3cyclictest33-21ksoftirqd/212:12:262
25616992417,4cyclictest25-21ksoftirqd/109:16:361
25616992217,3cyclictest25-21ksoftirqd/112:34:191
25616992115,4cyclictest25-21ksoftirqd/110:00:261
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional